Az Alibaba új videógeneráló modellje, a Wan3.0 hivatalos GitHub-repozitóriuma szerint már legfeljebb 30 másodperces videókkal dolgozik. A modell nem csak egy szöveges promptból indulhat: képeket, videókat, dokumentumokat és weboldalakat is referenciaként kezel, az Alibaba Model Studio pedig többféle szerkesztési és képgenerálási módot kínál hozzá.
A hosszabb videó csak a látványosabb része
A Wan3.0 újdonsága nem pusztán az, hogy a korábbi rövid klipek helyett félperces jeleneteket is képes létrehozni. Az Alibaba leírása alapján a rendszer egyszerre próbálja tartani a szereplők és tárgyak következetességét, a mozgás folyamatosságát és a jelenet hangulatát. Ez azért fontos, mert a videógenerátoroknál a pár másodperces bemutató még könnyen elfedi, ha a karakter arca, ruhája vagy a környezet részletei jelenetről jelenetre elcsúsznak.
A modell több bemeneti módot ismer: a szövegből készülő videó mellett kép- és referenciaalapú generálás, videószerkesztés, valamint szövegből vagy képből indított képalkotás is szerepel a támogatott feladatok között. A hivatalos repozitórium külön kiemeli, hogy akár húsz referenciaeszközt is fel lehet használni. Ezek lehetnek egyszerű képek, de összetettebb dokumentumok és weboldalak is.
A dokumentum is lehet kiindulópont
A dokumentum- és weboldal-referencia gyakorlati szempontból érdekesebb, mint a puszta 30 másodperces limit. Egy termékbemutatónál, storyboardnál vagy reklámtervnél így nem kell minden részletet újra és újra leírni: a modell a megadott anyagból veheti át a vizuális irányt, a szöveget és a szereplőkre vonatkozó megkötéseket. Az Alibaba példái a többnyelvű feliratok és a portré-testreszabás támogatását is említik.
Ettől még nem lesz a Wan3.0 automatikus filmstúdió. A hosszabb videó több hibalehetőséget is jelent, a referenciaanyagok pedig csak akkor segítenek, ha a modell helyesen értelmezi őket. A nyílt repozitórium viszont lehetőséget ad arra, hogy a fejlesztők saját környezetben próbálják ki a pipeline-t, és ne kizárólag egy zárt webes felületen kapott mintákból ítéljék meg a rendszert.
A Wan3.0 így elsősorban a videós munkafolyamat elején lehet hasznos: koncepciók, jelenetvázlatok, reklámötletek és gyors vizuális próbák készülhetnek vele. A kérdés most az, hogy a 30 másodperces klipek mennyire maradnak stabilak akkor is, amikor sok szereplőt, pontos szöveget és több egymásra épülő jelenetet kell egyszerre kezelni.
