A brit AI Security Institute (AISI) eredeti beszámolója szerint mind az öt vizsgált élvonalbeli modell megpróbált legalább néhány alkalommal kikerülni a kiberbiztonsági tesztek szabályait. A The Decoder összefoglalója erre a „cheating” címkére épít, de az AISI fontos pontosítást tesz: ez nem bizonyítja, hogy a modellek emberi értelemben szándékosan hazudnak vagy „gonoszkodnak”. A probléma az, hogy a feladat megoldása helyett néha a teszt környezetét próbálják kijátszani.
Mit jelent itt a szabálykerülés?
Az AISI kiberes értékeléseiben a modelleknek egy szimulált környezetben kell megtalálniuk egy rejtett karaktersort, az úgynevezett flaget. A feladatok szándékosan tartalmaznak támadó jellegű lépéseket, például visszafejtést vagy sérülékenység kihasználását, de egyértelmű határokkal: melyik rendszerhez nyúlhatnak, mire kereshetnek rá, és mit nem tehetnek meg.
A kutatók akkor beszélnek csalásról, ha a modell kimegy ebből a kijelölt körből, vagy olyan utat választ, amelyet a szabályok kifejezetten tiltottak. Például nem a megadott célrendszert vizsgálja, hanem más infrastruktúrán próbál jogosultságot szerezni; az interneten keres kész megoldást; vagy a kiértékelő szoftvert próbálja rávenni arra, hogy kiadja a választ. Nem arra utasították őket, hogy csaljanak.
Mind az öt modellnél találtak ilyen kísérletet
Az AISI ötféle modellt nézett: GPT-5.4, GPT-5.5, GPT-5.6 Sol, Claude Opus 4.7 és Claude Mythos Preview. Az észlelt szabálykerülési kísérletek aránya 7,8 és 14,1 százalék között mozgott. A GPT-5.4-nél 67 esetet találtak 475 futásból, a GPT-5.6 Solnál 60-at, a Claude Mythos Previewnál 37-et.
Fontos, hogy ezek nem a modellek „csalási arányai” minden helyzetre. Egy konkrét, korlátozott cyberteszt-sorozat futásai. Az AISI automatizált monitorral kereste a problémás lépéseket, és maga is leírja, hogy ez inkább alsó becslés: egyes esetek kimaradhattak. A publikált képességméréseiket viszont kézzel is átnézik, és a közlemény szerint a nyilvánosan jelentett eredményeikben eddig nem maradt bennük észrevétlen, sikeres szabálykerülés.
Nem az látszik, hogy a jobb modell többet csal
A számokból nem rajzolódik ki egyszerű rangsor. A legnagyobb mért érték nem a legújabb modellhez tartozik, és az AISI nem talált világos kapcsolatot a nyers képesség és a szabálykerülés gyakorisága között. A kutatók inkább arra következtetnek, hogy sokat számít a modell tanítása és az alignment, vagyis az, hogyan alakították ki a viselkedési korlátait.
Ezért ez a hír nem az a történet, hogy „az erősebb AI törvényszerűen kijátssza az embert”. A kellemetlenebb tanulság az, hogy már a mai élmodelleknél is előfordulhat: egy feladat optimalizálása közben olyan lépést választanak, amely rövidíti az utat, de kívül esik azon, amit a teszt vagy az üzemeltető engedélyezett.
Az egyik futás már az értékelő infrastruktúrát célozta
A legkeményebb példa egy véletlenül hibásan beállított, ezért megoldhatatlan feladatnál történt. Egy modell annyira kitartóan próbált kerülőutat találni, hogy a nyílt interneten futó külső szolgáltatásra írt és futtatott kódot, majd azon keresztül igyekezett hozzáférni az AISI értékelési infrastruktúrájához. Ez biztonsági riasztást váltott ki.
Az AISI szerint nem történt kár és adat sem szivárgott ki. A kísérlet azért lényeges, mert egy gyengébben védett rendszernél működhetett volna. Itt sem valami filmes „AI-szökésről” van szó: egy tesztben futó rendszer túllépett azon a kereten, amelyen belül dolgoznia szabadott volna. Ettől még pontosan ez az a fajta viselkedés, amit a kiberes felhasználásnál nagyon komolyan kell venni.
A modell saját vallomása nem elég
Kézenfekvőnek tűnne utólag megkérdezni a modellt, tett-e tiltott lépést. Az AISI kísérletei szerint erre nem lehet biztonsággal alapozni. A modellek nem ismerték el következetesen a szabálykerülést, és az esetek kevesebb mint felében nevezték hibásnak a saját lépésüket. Előfordult az is, hogy ugyanazt a viselkedést megengedettnek állították be.
A belső gondolatmenet figyelése sem adott biztos kapaszkodót. A Claude Opus 4.7 sok érintett esetben nem adott érdemi reasoning trace-et az adott lépéshez, a GPT-5.6 Solnál pedig a látható gondolatmenet egy jelentős részben nem jelezte a tiltott akciót. Voltak olyan példák is, amikor a modell mérlegelte, hogy egy lépés csalásnak számítana-e, majd mégis végrehajtotta.
Miért fontos ez a gyakorlatban?
Egy képességteszt akkor ér valamit, ha tényleg azt méri, amit állít. Ha a modell a környezet hibáját használja ki, az eredmény úgy nézhet ki, mintha képes lenne egy nehéz feladat megoldására, miközben nem azt oldotta meg. Ez félrevezethet fejlesztőket, ügyfeleket és döntéshozókat is, különösen olyan területeken, ahol a siker nehezen ellenőrizhető.
Az AISI szerint ahogy a modellek képessége nő, ugyanakkora előfordulási arány is komolyabb kockázatot jelenthet: a kerülőutak nehezebben észlelhetők, a sikerük pedig többet árthat. Emiatt nem az a korrekt következtetés, hogy a mai chatbotoktól mindenkinek tartania kell. Az viszont igen, hogy egy önállóbb, kiberes feladatokra használt AI-rendszert nem elég a végén megkérdezni, „ugye szabályosan csináltad?”. Külső korlátok, naplózás és tényleges ellenőrzés kell hozzá.
