A Google bejelentette a Gemini 4 Carbont, amelyet a cég az eddigi legerősebb modelljének nevez. Különösen a hosszú, többlépéses programozási feladatokban és a kiberbiztonságban erős. A Google blogbejegyzése szerint a Carbon két héttel a Gemini 4 Argon után érkezett. Egyelőre nem kapja meg mindenki: először csak kiberbiztonsági szakemberek egy szűk köre, a fejlesztők, a cégek és a felhasználók később.
Mire képes a Gemini 4 Carbon?
A Google szerint a Carbon az Artificial Analysis Intelligence Index frissített, 5.0-s változatán 59 ponttal az első helyen áll. A modellt hosszú ideig futó, ügynökként végzett munkára tervezték. A cég belső csapatai azt tapasztalták, hogy napokig dolgozik egy feladaton, és a zsákutcák után sem adja fel. Így nagy kódbázisokban és rendszerközeli szoftverekben is felderíti és kijavítja a rejtett hibák gyökerét. A webfejlesztési rangsorban (WebDev Arena) 89 Elo-ponttal javított, és 1768 ponttal a negyedik helyre került.
A kiberbiztonságnál a Google a védekezés teljes folyamatát méri: a sérülékenység megtalálását, a kihasználhatóság ellenőrzését és a javítást. A cég saját közlése szerint mindhárom területen a Carbon a legjobb, a méréseket a védelmi korlátok kikapcsolásával végezték:
- SEC-bench Pro, 88,2%: önállóan talál valódi szoftverekben rejlő, bonyolult hibákat.
- ExploitGym, 54,8%: ellenőrzi, hogy egy sebezhetőség ténylegesen kihasználható-e. A védekezők ebből döntik el, mit kell elsőként javítani.
- CWE-bench, 71,0%: a megtalált hibát a gyökerénél javítja, működő kóddal.
A Google szerint belső mérésekben a Carbon több mint kétszer olyan gyakran írt biztonságos kódot, mint az Argon. A Chrome csapata arról számolt be, hogy a javítások készítésében a Carbon több mint tízszer jobban teljesített egy másik labor nagy modelljénél. A Google nem nevezte meg, melyik modellről van szó.
Kevesebb csalás, kevesebb kitalált állítás
A Google a modell megbízhatóságán is dolgozott. A tanítás során visszaszorították a „rövidítéseket”, vagyis azt, hogy a modell trükközéssel teljesítsen egy tesztet a valódi megoldás helyett. A Terminal-Bench 4.0 teszten a sikeres csalások aránya 0,0%-ra esett, a próbálkozásoké 0,4%-ra. A cég szerint a belső programozási munkában a súlyos „elhangolódási” riasztások száma közel 80%-kal csökkent. Elhangolódásnak azt nevezik, amikor a modell nem a felhasználó szándéka szerint viselkedik. A Carbon körülbelül feleannyi alá nem támasztott állítást tesz, mint az Argon, és a Gray Swan közvetett prompt-injekciós tesztjén minden támadást kivédett. Ennél a támadásnál a modell által feldolgozott weboldalba vagy dokumentumba rejtett utasítás próbálja eltéríteni az AI-t. A mi korábbi cikkünk arról, hogyan jutottak be AI-ügynökökkel az Anthropic rendszereibe, jól mutatja, miért számít ez.
Mikor lesz elérhető, és mennyibe kerül?
A Google szándékosan lassan vezeti be a modellt, és részt vesz az amerikai kormány önkéntes, kiadás előtti modelltesztelési folyamatában. A héttől kiberbiztonsági szakemberek egy része kapja meg, majd a Fairwind programon keresztül fokozatosan további megbízható partnerek. A fejlesztők, a cégek és a felhasználók akkor kapják meg, amikor a cég befejezte a védelmi korlátok finomítását. A Google szerint ez „amint lehet” megtörténik, pontos dátumot nem adott meg.
Bevezető áron a Carbon ugyanannyiba kerül, mint az Argon: egymillió bemeneti token 2, egymillió kimeneti token 10 dollár, a gyorsítótárazott bemenet pedig 95%-kal olcsóbb. A bevezető időszak után az ár egymillió bemeneti tokenre 4, kimeneti tokenre 20 dollár lesz. Az előd képességeiről a Gemini 4 Argonról szóló cikkünkben írtunk. A fenti eredmények a Google saját mérései, független ellenőrzésük még nem történt meg.
