Iniciativa exploratoria para descubrir las posibilidades de la generación de imágenes a partir de texto. Para ello, usamos la red neuronal CLIP de OpenIA, que permite la clasificación de imágenes usando procesamiento de lenguaje natural, pero para un propósito distinto, inspirados por la iniciativa del artista generativo @advadnoun.
A partir de un texto (por ejemplo, “Cabaña en un prado con estilo 8bits”), la parte generadora del modelo inicia un espacio latente aleatorio que funciona a modo de coordenadas, para que CLIP “busque” en ese espacio latente el par imagen+texto. Para forzar el estilo gráfico deseado, determinamos como semilla una imagen propia y, al finalizar la generación, pasamos el resultado por un modelo de super resolución.
Vídeo generado de la suma de las distintas transformaciones de la imagen original.
