A Google DeepMind bemutatta a Genie 4-et, a Genie-sorozat következő világmodelljét. A DeepMind október 27-i blogbejegyzése szerint a modell valós időben generál bejárható, irányítható világokat, és a képpel együtt a hangot is előállítja: a környezet zajait, a zenét és a szereplők párbeszédét. A cég szerint ez az első valós idejű világmodelljük, amely saját maga generál hangot. Egyelőre csak kiválasztott tesztelők próbálhatják.
Világmodellnek azokat a rendszereket nevezik, amelyek nem egy kész videót készítenek, hanem képkockáról képkockára szimulálják, mi történik a világban, miközben a felhasználó beavatkozik. A Genie 4-ben a felhasználó a szokásos billentyűkkel mozog és forgatja a kamerát, szöveges utasításokkal pedig menet közben alakíthatja a jelenetet.
Mit tud a Genie 4?
A DeepMind négy fő képességet emel ki. Az első a valós idejű irányítás: szöveggel lehet például időjárást váltani, mozgatni a kamerát vagy új szereplőt, tárgyat hozni a jelenetbe, és egy Gemini-modell a környezethez igazítja az utasítást. A Gemini a beavatkozások között is figyeli a jelenetet, hogy a világ összefüggően haladjon tovább.
A második a fizika és az emberi mozgás realizmusa. A cég szerint a Genie 4 olyan fizikai helyzeteket is szimulál, mint a légellenállás vagy az ütközések, a legnagyobb ugrást pedig az emberek mozgásában látják: a szereplők természetesen mozognak, reagálnak a környezetükre, és valós időben irányíthatók.
A harmadik a hang. Minden világnak saját környezeti hangja van, a széltől a hullámokig, a szereplők pedig valós időben beszélgetnek, és reagálnak a felhasználó lépéseire. A negyedik a többlépéses események szimulálása, erről lent részletesebben.
Hogyan dolgozik együtt a Genie 4 és a Gemini?
A technikailag legérdekesebb rész a munkamegosztás. A blog szerint a Gemini Omni a valós megjelenéshez és viselkedéshez köti a szimulációt, más Gemini-modellek pedig a következetességhez szükséges érvelést adják. A Gemini 3.8 Flash „irányító ágensként” fut a hurokban: miközben a Genie 4 valós időben generálja a világot, a Gemini figyeli a jelenetet, lépésekre bontja a célt, és a beérkező képkockák alapján ellenőrzi, sikerült-e az adott lépés. Ha a világ megváltozik vagy a felhasználó közbelép, menet közben módosítja a tervet.
A DeepMind ezt a Gemini 4 Argon robotikai kutatásával is összekötötte. Az egyik bemutatóban az Argon egy feladatot lépésekre bont, ezeket szöveges feliratként adja át a Genie 4-nek, amely ennek megfelelően rendereli a jelenetet: így szimulálták, ahogy az Apptronik Apollo humanoid robotja dámázik. A cég a jövőt „hibrid világmodellekben” látja, ahol a nyelvi modell tervezi a szerkezetet és az idővonalat, a Genie pedig képpontról képpontra előállítja, hogyan néz ki, hogyan szól és hogyan reagál a világ.
Mire használják a tesztelők, és hol vannak a korlátok?
A DeepMind szerint a kreatív iparban, újságírásban, oktatásban, játékfejlesztésben és mérnöki területen dolgozó tesztelők próbálják. A filmesek előtervezésre, „vázlatmódként” használják, és élő szimulációban vehetnek fel több változatot egy jelenetből. A játékfejlesztők egy ötletből másodpercek alatt bejárható prototípust készítenek, mielőtt egy sor kódot írnának a játékmotorba. Vállalati partnerek pedig szimulációs forgatókönyvek gyors előállítására tesztelik.
A korlátokat a cég maga is leírja. Rövid munkamenetben a világ összefüggő marad, de hosszabb futásnál, több bonyolult utasítás után vagy a jelenet bejárása közben a részletek és a tárgyak állandósága elcsúszhat. Az összetett fizikai kölcsönhatások, a valós idejű hang pontossága, az olvasható szöveg megjelenítése, a térbeli pontosság és a hosszú távú következetesség még kutatás tárgya. Felbontást, képfrissítést vagy maximális munkamenet-hosszt a blog nem közöl.
A Genie 4 által generált videók és hangok SynthID vízjelet kapnak. Ez egy szemmel nem látható digitális jelölés, amellyel később azonosítható, hogy a tartalmat AI készítette.
Ki próbálhatja ki a Genie 4-et?
Egyelőre kutatási előzetes, csak kiválasztott tesztelők számára. A DeepMind szerint hamarosan a Google AI Ultra előfizetők kapják meg a Project Genie felületen, valamint a Gemini API és a Google AI Studio korai hozzáférésű partnerei. Dátumot és árat nem közöltek, a Project Genie-hez várólista indult. A Gemini 4 Argonról, amelyre a robotikai bemutató épül, a megjelenésekor írtunk.
Kapcsolódó: a Google DeepMind bemutatta a Gemini 4 Carbont, az eddigi legerősebb modelljét.
