El nuevo modelo de texto a imagen que debe conocer: DeepFloyd IF – TechCult

Si Adobe y DALL-E ya no se lo había puesto difícil a los diseñadores gráficos, hay una nueva IA en la ciudad. El nuevo modelo de texto a imagen que debe conocer es DeepFloyd IF. Conozca DeepFloyd IF, el último modelo de texto a imagen lanzado por el grupo de investigación DeepFloyd, respaldado por Estabilidad IA. Seguro que cambiará aún más las cosas para la IA generativa de imágenes.

floydprofundo, un grupo de investigación respaldado por Stability AI, ha anunciado el lanzamiento de su nuevo modelo de texto a imagen, DeepFloyd IF. Este modelo utiliza un poderoso método de difusión de píxeles en cascada para generar imágenes a partir de indicaciones textuales. Con su licencia no comercial permitida para la investigación, DeepFloyd IF brinda una oportunidad única para que los laboratorios de investigación examinen y experimenten con enfoques avanzados de generación de texto a imagen.

El modelo DeepFloyd IF incorpora la inteligencia del modelo de lenguaje grande T5-XXL-1.1, que permite para una cantidad significativa de capas de atención cruzada de texto e imagen, proporcionando una mejor alianza de imágenes y mensajes. Esto da como resultado un texto coherente y claro junto con objetos de diferentes propiedades que aparecen en varias relaciones espaciales.

• DeepFloyd IF es un modelo de texto a imagen que utiliza un método de difusión de píxeles en cascada para generar imágenes a partir de mensajes de texto.
• El modelo incorpora la inteligencia del modelo de lenguaje grande T5-XXL-1.1, lo que permite una mejor alianza de prontitud e imagen.
• DeepFloyd IF genera texto coherente y claro junto con objetos de diferentes propiedades que aparecen en diversas relaciones espaciales.
• El modelo tiene un alto grado de fotorrealismo, reflejado en su impresionante puntaje FID de disparo cero de 6.66 en el conjunto de datos COCO.
• DeepFloyd IF puede generar imágenes con relaciones de aspecto no estándar y permite traducciones de imagen a imagen sin disparo.
• El modelo puede crear una imagen a partir de un mensaje como "un oso de peluche con una camiseta que dice 'Deep Floyd'", opcionalmente en una variedad de estilos.
• DeepFloyd IF realiza la difusión varias veces, genera una imagen de 64x64px y luego la amplía a 256x256px y finalmente a 1024x1024px.
• DeepFloyd IF utiliza un modelo de lenguaje grande para comprender y representar indicaciones como un vector, lo que lo hace particularmente bueno para comprender indicaciones complejas y relaciones espaciales descritas en indicaciones.
• El modelo está disponible en código abierto y tiene una licencia que prohíbe el uso comercial.

Una de las diferencias clave entre DeepFloyd IF y otros modelos como Stable Diffusion y DALL-E 2 es que DeepFloyd IF utiliza un modelo de lenguaje grande para comprender y representar indicaciones como un vector. Debido al tamaño del modelo de lenguaje grande integrado en la arquitectura de DeepFloyd IF, el modelo es particularmente bueno para comprender indicaciones complejas e incluso relaciones espaciales descritas en avisos

DeepFloyd IF está disponible en código abierto y tiene una licencia que prohíbe el uso comercial, por ahora. La restricción probablemente estuvo motivada por el tenue estado legal actual de los modelos de arte generativo de IA. Hasta que esté disponible para uso comercial, así es como puede usar DeepFloyd IF:

1. Visita el Página de demostración de DeepFloyd IF.

2. Escriba el mensaje para el que desea una imagen.

3. Haga clic en Generar.

Esto generará una imagen para usted. Tenga en cuenta que esta es una demostración y podría no estar a la altura de lo que DeepFloyd es completamente capaz de hacer.

Con DeepFloyd IF, Stability AI y DeepFloyd han creado un nuevo modelo de texto a imagen potente y prometedor. Al incorporar la inteligencia del modelo T5 y usar un método de difusión de píxeles en cascada, el modelo genera imágenes fotorrealistas con un alto grado de precisión. A medida que la IA generativa continúa evolucionando, está claro que modelos como DeepFloyd IF desempeñarán un papel cada vez más importante en el campo.

Fuente: Blog de estabilidad AI