Нова модель перетворення тексту в зображення, про яку вам потрібно знати: DeepFloyd IF – TechCult
Різне / / May 06, 2023
Якщо Adobe і DALL-E ще не ускладнив роботу графічних дизайнерів, у місті з’явився новий ШІ. Нова модель перетворення тексту в зображення, про яку вам потрібно знати, це DeepFloyd IF. Зустрічайте DeepFloyd IF, останню модель перетворення тексту в зображення, випущену дослідницькою групою DeepFloyd за підтримки Стабільність ШІ. Це обов’язково ще більше потрясе ситуацію для ШІ, що генерує зображення.
![Нова модель перетворення тексту в зображення, яку вам потрібно знати про DeepFloyd IF](/f/7a0cf07ab02592c4f8428fb4308e5b78.png)
DeepFloyd, дослідницька група за підтримки Stability AI, оголосила про випуск своєї нової моделі перетворення тексту в зображення DeepFloyd IF. Ця модель використовує потужний метод каскадної дифузії пікселів для створення зображень із текстових підказок. Завдяки своїй некомерційній ліцензії, дозволеній дослідженням, DeepFloyd IF надає дослідницьким лабораторіям унікальну можливість вивчати та експериментувати з передовими підходами до створення тексту в зображенні.
Модель DeepFloyd IF включає в себе інтелект великої мовної моделі T5-XXL-1.1, що дозволяє для значної кількості шарів перехресної уваги між текстом і зображенням, забезпечуючи кращий альянс підказок і зображень. Це призводить до зв’язного та чіткого тексту поряд з об’єктами різних властивостей, що з’являються в різних просторових відношеннях.
- DeepFloyd IF — це модель перетворення тексту в зображення, яка використовує метод каскадної дифузії пікселів для створення зображень із текстових підказок.
- Модель включає в себе інтелект великої мовної моделі T5-XXL-1.1, що забезпечує кращий альянс оперативності та зображення.
- DeepFloyd IF генерує зв’язний і чіткий текст разом із об’єктами різних властивостей, що з’являються в різних просторових відношеннях.
- Модель має високий ступінь фотореалізму, що відображено в її вражаючій оцінці FID нульового кадру 6,66 на наборі даних COCO.
- DeepFloyd IF може генерувати зображення з нестандартним співвідношенням сторін і дозволяє здійснювати нульовий переклад зображення в зображення.
- Модель може створити образ із підказки, як-от «плюшевий ведмедик у сорочці з написом «Deep Floyd»» — за бажанням у різних стилях.
- DeepFloyd IF виконує дифузію кілька разів, генеруючи зображення розміром 64x64 пікселів, а потім масштабуючи його до 256x256 пікселів і, нарешті, до 1024x1024 пікселів.
- DeepFloyd IF використовує велику мовну модель для розуміння та представлення підказок у вигляді вектора, що робить його особливо ефективним для розуміння складних підказок і просторових зв’язків, описаних у підказках.
- Модель доступна у відкритому коді та ліцензована таким чином, що забороняє комерційне використання.
Однією з ключових відмінностей між DeepFloyd IF та іншими моделями, такими як Stable Diffusion і DALL-E 2, є те, що DeepFloyd IF використовує велика модель мови розуміти та представляти підказки як вектор. Завдяки розміру великої мовної моделі, вбудованої в архітектуру DeepFloyd IF, модель особливо добре розуміє складні підказки та навіть просторові відносини, описані в підказки.
На даний момент DeepFloyd IF доступний у відкритому коді та ліцензований у спосіб, який забороняє комерційне використання. Обмеження, ймовірно, було вмотивовано поточним слабким правовим статусом генеративних мистецьких моделей ШІ. Поки він не стане доступним для комерційного використання, ви можете використовувати DeepFloyd IF:
1. Відвідайте Демо-сторінка DeepFloyd IF.
![Відвідайте демонстраційну сторінку DeepFloyd IF | Нова модель перетворення тексту в зображення, про яку вам потрібно знати: DeepFloyd IF](/f/5f1251d9cc641916615182da3ee404ff.png)
2. Введіть запит, для якого потрібно створити зображення.
3. Натисніть на Генерувати.
![Натисніть Generate | Нова модель перетворення тексту в зображення, про яку вам потрібно знати: DeepFloyd IF](/f/49a7b558b993250f2ae47a243b1d3c47.png)
Це створить для вас зображення. Майте на увазі, що це демонстраційна версія, і вона може не відповідати можливостям DeepFloyd.
Завдяки DeepFloyd IF, Stability AI і DeepFloyd створили потужну та багатообіцяючу нову модель перетворення тексту в зображення. Використовуючи інтелект моделі T5 і використовуючи метод каскадної дифузії пікселів, модель генерує фотореалістичні зображення з високим ступенем точності. Оскільки генеративний ШІ продовжує розвиватися, очевидно, що такі моделі, як DeepFloyd IF, відіграватимуть дедалі важливішу роль у цій галузі.
Джерело: Блог Stability AI
![Алекс Крейг](/f/82c0af5dbedfba7e1fc95a8d7136c74d.jpg)
Алекс Крейг
Алекс керує пристрастю до технологій та ігрового контенту. Граючи в новітні відеоігри, слідкуючи за останніми технічними новинами чи залучаючи разом з іншими однодумцями в мережі, любов Алекса до технологій та ігор помітна в усьому, що він робить.
Алекс керує пристрастю до технологій та ігрового контенту. Граючи в новітні відеоігри, слідкуючи за останніми технічними новинами чи залучаючи разом з іншими однодумцями в мережі, любов Алекса до технологій та ігор помітна в усьому, що він робить.