Novi model pretvaranja teksta u sliku o kojem trebate znati: DeepFloyd IF – TechCult
Miscelanea / / May 06, 2023
Ako Adobe a DALL-E već nije otežao posao grafičkim dizajnerima, u gradu je nova AI. Novi model pretvaranja teksta u sliku koji trebate znati je DeepFloyd IF. Upoznajte DeepFloyd IF, najnoviji model pretvaranja teksta u sliku koji je objavila istraživačka grupa DeepFloyd, uz podršku Stabilnost AI. Sigurno će još više uzdrmati stvari za umjetnu inteligenciju koja stvara slike.
DeepFloyd, istraživačka skupina koju podupire Stability AI, najavila je izdavanje svog novog modela teksta u sliku, DeepFloyd IF. Ovaj model koristi moćnu metodu kaskadne difuzije piksela za generiranje slika iz tekstualnih upita. Sa svojom nekomercijalnom licencom dopuštenom za istraživanje, DeepFloyd IF pruža jedinstvenu priliku istraživačkim laboratorijima da ispituju i eksperimentiraju s naprednim pristupima generiranja teksta u sliku.
Model DeepFloyd IF uključuje inteligenciju velikog jezičnog modela T5-XXL-1.1, što omogućuje za značajnu količinu slojeva unakrsne pozornosti teksta i slike, pružajući bolji brzi i slikovni savez. To rezultira koherentnim i jasnim tekstom uz objekte različitih svojstava koji se pojavljuju u različitim prostornim odnosima.
- DeepFloyd IF je model teksta u sliku koji koristi metodu kaskadne difuzije piksela za generiranje slika iz tekstualnih upita.
- Model uključuje inteligenciju velikog jezičnog modela T5-XXL-1.1, omogućujući bolji brzi i slikovni savez.
- DeepFloyd IF stvara koherentan i jasan tekst uz objekte različitih svojstava koji se pojavljuju u različitim prostornim odnosima.
- Model ima visok stupanj fotorealizma, što se odražava u njegovoj impresivnoj FID ocjeni nultog snimanja od 6,66 na skupu podataka COCO.
- DeepFloyd IF može generirati slike s nestandardnim omjerima širine i visine slike i omogućuje nulti prijevod slike na sliku.
- Model može stvoriti sliku iz upita kao što je "plišani medo u majici s natpisom 'Deep Floyd'" — izborno u nizu stilova.
- DeepFloyd IF izvodi difuziju nekoliko puta, generirajući sliku od 64x64px i zatim povećavajući je na 256x256px i konačno na 1024x1024px.
- DeepFloyd IF koristi veliki jezični model za razumijevanje i predstavljanje upita kao vektora, što ga čini posebno dobrim u razumijevanju složenih upita i prostornih odnosa opisanih u upitima.
- Model je dostupan u otvorenom kodu i licenciran na način koji zabranjuje komercijalnu upotrebu.
Jedna od ključnih razlika između DeepFloyd IF i drugih modela kao što su Stable Diffusion i DALL-E 2 je ta što DeepFloyd IF koristi veliki jezični model razumjeti i prikazati upute kao vektor. Zbog veličine velikog jezičnog modela ugrađenog u arhitekturu DeepFloyd IF-a, model je posebno dobar u razumijevanju složenih upita, pa čak i prostornih odnosa opisanih u upita.
DeepFloyd IF je za sada dostupan u otvorenom kodu i licenciran na način koji zabranjuje komercijalnu upotrebu. Ograničenje je vjerojatno motivirano trenutnim slabim pravnim statusom generativnih umjetničkih modela umjetne inteligencije. Dok ne postane dostupan za komercijalnu upotrebu, ovako možete koristiti DeepFloyd IF:
1. Posjetiti DeepFloyd IF demo stranica.
2. Upišite upit za koji želite sliku.
3. Kliknite na Generirati.
Ovo će generirati sliku za vas. Imajte na umu da je ovo demo i da možda nije na razini onoga za što je DeepFloyd u potpunosti sposoban.
Uz DeepFloyd IF, Stability AI i DeepFloyd stvorili su moćan i obećavajući novi model teksta u sliku. Uključivanjem inteligencije modela T5 i korištenjem metode kaskadne difuzije piksela, model generira fotorealistične slike s visokim stupnjem točnosti. Kako se generativna umjetna inteligencija nastavlja razvijati, jasno je da će modeli poput DeepFloyd IF igrati sve važniju ulogu na terenu.
Izvor: Blog Stability AI
Alex Craig
Alexa pokreće strast prema tehnologiji i sadržaju igara. Bilo da se radi o igranju najnovijih videoigara, praćenju najnovijih tehnoloških vijesti ili angažiranju s drugim istomišljenicima na mreži, Alexova ljubav prema tehnologiji i igricama vidljiva je u svemu što on radi.
Alexa pokreće strast prema tehnologiji i sadržaju igara. Bilo da se radi o igranju najnovijih videoigara, praćenju najnovijih tehnoloških vijesti ili angažiranju s drugim istomišljenicima na mreži, Alexova ljubav prema tehnologiji i igricama vidljiva je u svemu što on radi.