Naujasis teksto į vaizdą modelis, kurį turite žinoti: „DeepFloyd IF“ – „TechCult“.

Jeigu Adobe ir DALL-E jau nebuvo sunku grafikos dizaineriams, mieste atsirado naujas AI. Naujasis teksto į vaizdą modelis, apie kurį turite žinoti, yra „DeepFloyd IF“. Susipažinkite su „DeepFloyd IF“ – naujausiu teksto į vaizdą modeliu, kurį išleido tyrimų grupė „DeepFloyd“, remiama Stabilumo AI. Tai neabejotinai dar labiau išjudins vaizdą kuriant AI.

DeepFloyd„Stability AI“ remiama tyrimų grupė paskelbė apie savo naujojo teksto į vaizdą modelio „DeepFloyd IF“ išleidimą. Šiame modelyje naudojamas galingas kaskadinis pikselių difuzijos metodas, kad būtų generuojami vaizdai iš tekstinių raginimų. Turėdama nekomercinę, moksliniams tyrimams leidžiamą licenciją, „DeepFloyd IF“ suteikia unikalią galimybę tyrimų laboratorijoms ištirti ir eksperimentuoti su pažangiais teksto į vaizdą generavimo metodais.

DeepFloyd IF modelis apima T5-XXL-1.1 didelės kalbos modelio intelektą, kuris leidžia daugybei teksto ir vaizdo kryžminio dėmesio sluoksnių, užtikrinant geresnį greitų ir vaizdų derinį. Taip gaunamas nuoseklus ir aiškus tekstas greta skirtingų savybių objektų, atsirandančių įvairiuose erdviniuose santykiuose.

• „DeepFloyd IF“ yra teksto į vaizdą modelis, kuris naudoja pakopinį pikselių sklaidos metodą vaizdams generuoti iš tekstinių raginimų.
• Modelis apima T5-XXL-1.1 didelės kalbos modelio intelektualumą, leidžiantį geriau suderinti greitą vaizdą ir vaizdą.
• DeepFloyd IF generuoja nuoseklų ir aiškų tekstą kartu su skirtingų savybių objektais, atsirandančiais įvairiuose erdviniuose santykiuose.
• Modelis pasižymi aukštu fotorealizmo laipsniu, kurį atspindi jo įspūdingas nulinio kadro FID balas – 6,66 COCO duomenų rinkinyje.
• „DeepFloyd IF“ gali generuoti vaizdus su nestandartiniais kraštinių santykiais ir leidžia nuliniu būdu perkelti vaizdą į vaizdą.
• Modelis gali sukurti vaizdą iš raginimo, pavyzdžiui, „meškiukas, dėvintis marškinius su užrašu „Deep Floyd“ – pasirinktinai įvairių stilių.
• „DeepFloyd IF“ atlieka difuziją kelis kartus, sugeneruodamas 64 x 64 pikselių vaizdą ir padidindamas jo mastelį iki 256 x 256 pikselių ir galiausiai iki 1024 x 1024 pikselių.
• „DeepFloyd IF“ naudoja didelį kalbos modelį, kad suprastų ir pateiktų raginimus kaip vektorių, todėl ypač gerai supranta sudėtingus raginimus ir raginimuose aprašytus erdvinius ryšius.
• Modelis yra atvirojo kodo ir licencijuotas tokiu būdu, kuris draudžia komercinį naudojimą.

Vienas iš pagrindinių skirtumų tarp „DeepFloyd IF“ ir kitų modelių, tokių kaip „Stable Diffusion“ ir „DALL-E 2“, yra tas, kad „DeepFloyd IF“ naudoja didelis kalbos modelis suprasti ir pavaizduoti raginimus kaip vektorių. Dėl didelės kalbos modelio dydžio, įterpto į DeepFloyd IF architektūrą, modelis yra toks ypač gerai supranta sudėtingus raginimus ir net erdvinius santykius, aprašytus raginimai.

„DeepFloyd IF“ yra atvirojo kodo ir licencijuota tokiu būdu, kuris šiuo metu draudžia komercinį naudojimą. Tikėtina, kad apribojimą lėmė dabartinis menkas generatyvaus AI meno modelių teisinis statusas. Kol jis nebus prieinamas komerciniam naudojimui, „DeepFloyd IF“ galite naudoti taip:

1. Aplankykite DeepFloyd IF demonstracinis puslapis.

2. Įveskite raginimą, kuriam norite vaizdo.

3. Spustelėkite Generuoti.

Tai sukurs jums vaizdą. Atminkite, kad tai yra demonstracinė versija ir gali neprilygti tam, ką visiškai sugeba „DeepFloyd“.

Naudodami „DeepFloyd IF“, „Stability AI“ ir „DeepFloyd“ sukūrė galingą ir daug žadantį naują teksto į vaizdą modelį. Naudojant T5 modelio intelektą ir naudojant pakopinės pikselių difuzijos metodą, modelis sukuria fotorealistinius vaizdus su dideliu tikslumu. Kadangi generatyvinis AI ir toliau vystosi, akivaizdu, kad tokie modeliai kaip DeepFloyd IF vaidins vis svarbesnį vaidmenį šioje srityje.

Šaltinis: Stabilumo AI tinklaraštis