Generación de imágenes con IA a partir de texto

Fecha lanzamiento

2021

Categoría

Exploración

Utilización de la red neuronal CLIP con propósito generativo

Iniciativa exploratoria para descubrir las posibilidades de la generación de imágenes a partir de texto. Para ello, usamos la red neuronal CLIP de OpenIA, que permite la clasificación de imágenes usando procesamiento de lenguaje natural, pero para un propósito distinto, inspirados por la iniciativa del artista generativo @advadnoun.

A partir de un texto (por ejemplo, "Cabaña en un prado con estilo 8bits"), la parte generadora del modelo inicia un espacio latente aleatorio que funciona a modo de coordenadas, para que CLIP "busque" en ese espacio latente el par imagen+texto. Para forzar el estilo gráfico deseado, determinamos como semilla una imagen propia y, al finalizar la generación, pasamos el resultado por un modelo de super resolución.

Ejemplo de la transformación de una imagen generada a partir de
            texto con Inteligencia Artificial.

Vídeo generado de la suma de las distintas transformaciones de la imagen original.

Resultado de la suma de transformaciones generada.

Materiales