A Soofi konzorcium saját bemutatása alapján a Soofi S egy Németországban, német infrastruktúrán tréningezett nyílt alapmodell, amelyet ipari AI-feladatokra szánnak. A 30 milliárd paraméteres modell mögött kutatóintézetek, egyetemek és startupok állnak, a számításokat pedig a Deutsche Telekom müncheni Industrial AI Cloudján végezték.
Nem egy brüsszeli chatbot, hanem egy német konzorcium első modellje
A „szuverén európai AI” kifejezés könnyen hangzik úgy, mintha az Európai Unió kiadott volna egy saját ChatGPT-versenytársat. A helyzet ennél földhözragadtabb. A SOOFI, vagyis Sovereign Open Source Foundation Models egy német konzorcium projektje; az oldaluk szerint a cél az, hogy az európai cégek és intézmények olyan modellt kapjanak, amelynek a működése, tanítása és futtatása nem kizárólag amerikai vagy kínai szolgáltatóktól függ.
A modell elsődlegesen német és angol szövegre készült, az ipari használatnál pedig műszaki és szabályozási dokumentumokat, kódgenerálást, ügynökös feladatokat és vállalati alkalmazásokat emelnek ki. A kutatási tanulmány szerint hibrid Mamba–Transformer Mixture-of-Experts felépítést használ: összesen 30 milliárd paramétere van, de egy token feldolgozásakor ennek csak kis része dolgozik.
A 30 milliárdból nem dolgozik mind a 30
Ez az egyik érdekesebb részlet. A teljes paraméterszám a modell méretét mutatja, az aktív paraméterek száma viszont azt, mennyi számítás kell egy válasz előállításához. A Soofi S tanulmánya nagyjából 3 milliárd aktív paraméterről ír; a Hugging Face-en lévő Rhine Preview modellkártyája 3,5 milliárdot ad meg. A különbség nem feltétlen hiba, de jól mutatja, hogy az ott elérhető verzió még előnézet, nem a lezárt végleges kiadás.
Ugyanez látszik a tanító adatoknál is. A projekt oldala és a friss tanulmány körülbelül 27 billió tokent említ, a preview modellkártyája 25 billiót. Ilyenkor nem érdemes a nagyobb számot látványos címkévé tenni. A biztos állítás az, hogy a Soofi S nagyon nagy, német és angol nyelvre súlyozott adathalmazon tanult, ám a végleges specifikáció még változhat.
A benchmarkok jól néznek ki, de egyelőre a saját mérésük
A szerzők szerint a Soofi S a saját, 17 nyílt alapmodellt tartalmazó összevetésükben német és angol összesítésben is az élre került, és a kódolási teszteken is erős eredményt hozott. Ezek érdekes számok, főleg egy olyan modellnél, amelynek csak a paraméterei töredéke aktív futás közben, de nem független labor eredményei. A cikkben ezért nem lehet úgy kezelni őket, mint egy lezárt nemzetközi ranglistát.
A fejlesztők a hosszú kontextusnál is gyorsabb kiszolgálást ígérnek, mert a hibrid architektúra cache-e nem nő olyan gyorsan, mint sok sűrű modellnél. Ez különösen akkor számít, ha egy vállalat nem egyetlen kérdést tesz fel a modellnek, hanem dokumentumhalmazokat elemez, vagy hosszú, több lépéses ügynöki folyamatot futtat.
Van modell a Hugging Face-en, de nincs teljes nyilvános rajt
A Soofi-S-Rhine-Preview letölthető a Hugging Face-ről, a modellkártya szerint kutatási és fejlesztési célú előnézeti checkpointként. A teljes súlykészlet és a végleges nyilvános hozzáférés viszont még nincs kint: a Soofi oldala jelenleg ipari partnerekkel futó gyakorlati tesztekről ír, és külön jelzi, hogy az általános, közvetlen kiadás nem történt meg.
Ez nem apró lábjegyzet. A „nyílt modell” önmagában nem sokat mond, ha a végleges licenc, a tanító adatok részletei, a kiértékelési kód és a stabil kiadás még úton van. A Soofi ígérete szerint ezek jelentős része hozzáférhető lesz, de azt majd akkor lehet számon kérni rajtuk, amikor valóban megérkezik.
Miért lehet ez fontos Európának?
Nem attól lesz európai AI-önállóság, hogy egy modell szerverei földrajzilag közelebb kerülnek. A lényeg az, hogy egy cég vagy állami szereplő tud-e választani: maga futtatná-e a modellt, auditálná-e a működését, módosítaná-e a rendszert egy szűkebb feladatra, és van-e hozzá megfelelő európai infrastruktúra. A Soofi S erre próbál egy kézzelfogható választ adni.
Egyelőre ez inkább ígéretes első lépés, mint kész európai kihívó a legnagyobb zárt modelleknek. De az, hogy a preview már letölthető, a kutatási anyag pedig nyíltan leírja az architektúrát és a mérési keretet, több annál, mint egy politikai jelszó. Most azon múlik a dolog, hogy a végleges kiadás mennyire lesz valóban használható, átlátható és fenntartható.
