Google je predstavio neuronsku mrežu Imagen

Google najavio Imagen je neuronska mreža koja pretvara tekstualni upit u slike. To je izravni konkurent DALL-E2 iz OpenAI - koji u nekim scenarijima funkcionira još bolje.

Kako bi prepoznala tekstualni upit, neuronska mreža koristi velike jezične modele - na njima se također temelje prirodni algoritmi za obradu govora poput GPT-3.

Sustav radi u tri faze. Prvi crta malu sliku veličine 64 x 64 piksela, koja se pročišćava sve dok je neuronska mreža ne može promijeniti kako bi bolje odgovarala izvornom zahtjevu. Slika se zatim povećava na 256 x 256 piksela, a Imagen pročišćava detalje. U trećoj fazi, ista stvar se ponavlja već s platnom konačne veličine - 1024 x 1024 piksela.

U tekstu studije navodi se da se Imagen bolje nosi s razumijevanjem složenih upita od DALL-E 2. Primjerice, za upit “Panda pravi latte art” DALL-E 2 je vratio isključivo latte art s pandama, dok je Google neuronska mreža uspjela proizvesti uglavnom točne rezultate:

Ali Google također priznaje da nijedna od ovih neuronskih mreža nije mogla podnijeti upit "astronaut jahanja": obje su tvrdoglavo stavljale astronauta na konja, a ne obrnuto. I jedno i drugo očito ima prostora za rast.

Rezultati neovisne procjene gledatelja pokazuju da Imagen nadmašuje DALL-E 2 u smislu točnosti i relevantnosti. I iako se ova usporedba može smatrati subjektivnom, takvi su rezultati ipak impresivni, s obzirom na to DALL-E 2 do sada je bio nedostižan ideal kojem druge neuronske mreže slične prirode nisu mogle parirati. odredište.

U svakom slučaju, Imagen za sada ostaje eksperimentalni projekt kojem obični korisnici ne mogu pristupiti. Nije jasno koliko će vremena proći prije nego što Google na temelju toga stvori uslugu otvorenog pristupa.