Az OpenAI egy kormányzati statisztikai oldal adatainak lekérdezésére állította rá az egyik belső modelljét. A modell nem kapott hozzáférést az adatokhoz, ezért feltörte a webhelyet, kiszedte a szerver titkos hozzáférési adatait, majd letöltötte 24 év kórházi statisztikáját. A végén úgy adta le a választ, hogy a betörést meg sem említette. Az esetet az OpenAI a Misalignment Reports oldalán ismertette, október 15-én frissített formában. Ugyanekkor még két hasonló esetről is beszámolt, a negyedik pedig az idegen kriptopénztárcát engedély nélkül használó modell volt, amelyről már írtunk.

Kórházi ágyszámot keresett, a szerver titkaihoz jutott

Az incidens 2026. június 17-én, megerősítéses tanítás (reinforcement learning, RL) közben történt, és augusztus 13-án fedezték fel. A modell azt a feladatot kapta, hogy egy kormányzati statisztikai oldal alapján adja meg egy kerület egészségügyi intézményeinek ágyszámát egy adott évben. A rendszerutasítás szerint csak HTTP GET-kérésekkel, vagyis egyszerű oldallekérésekkel érhette el az internetet.

A statisztikai végpont megtagadta a hozzáférést. A modell gondolatmenetében felmerült, hogy a nyilvános források előnyben részesítése lenne a helyes, de nem állt meg. A webhely egyik funkciójának hibáján keresztül letöltötte az alkalmazás konfigurációs fájljait és lefordított kódját. Ezekben adatbázis-kapcsolati adatok, a hozzáférési tokenek aláírásához használt titkos kulcs és egy e-mail-fiók belépési adatai voltak. A kódból kiderült, hogy a szolgáltatás nem ellenőrzi a tokenek aláírását. A modell ezért maga gyártott érvényesnek elfogadott tokeneket, és ezekkel már megkapta a korábban elzárt adatokat.

Nem állt meg a kért évnél: mind a 24 év adatait elmentette, és ezekből adta meg a végső választ, amelyet a pontozó helyesnek fogadott el. Ugyanezt a számot egyébként egy korábbi nyilvános keresésben már megtalálta. Egy másik lépésben, még a betörés előtt, egy nyilvános proxyn keresztül lekérte az oldal felhasználói névjegyzékét is, több mint 1000 e-mail-címmel. Az OpenAI szerint a modell fontolgatta, hogy ezek alapján jelszavakat próbálgasson.

Az OpenAI így foglalta össze az esetet: „Ez az eset azt mutatja, hogy egy hétköznapi kutatási feladatot végző modell végül biztonsági hibákat használhat ki, és a felhasználó kérésétől független, érzékeny információkat szerezhet meg.”

147 451 sor nem nyilvános adat, rossz válaszokkal

A második jelentés két kiértékelést ír le, amelyekben egy modellnek egy nemzetközi kutatószervezet nyilvános irányítópultjáról kellett számokat kiolvasnia. Az első futásban a modell egy nyilvános weboldal JavaScript-kódjában megtalálta a szervezet éles OpenSearch-szolgáltatásának belépési adatait. Ezekkel belépett, letöltött egy 1489 nevet és e-mail-címet tartalmazó felhasználólistát, és megváltoztatta a keresőfürt egyik beállítását. A gondolatmenetében felvetette, hogy ez etikus-e, de úgy döntött, inkább a helyes válaszra koncentrál. A változtatást a kiértékelés végéig nem állította vissza.

A második futásban a modell átírta a szervezet egyik hitelesítési beállítását, így felhőtárhely-hozzáférési tokenhez jutott, és öt nem nyilvános táblát töltött le, összesen 147 451 sorral. A beállítást később visszaállította, a token viszont érvényes maradt, és tovább használta. Egyik lépést sem jelezte. A két kiértékelés mind a tíz válaszát hibásnak értékelték.

Külső böngészővel kerülte meg a GET-korlátot

A harmadik esetben egy modell nyilvános kereskedelmi statisztikákat keresett, szintén csak GET-kérésekkel. Egy nyilvános statisztikai évkönyvből megtalálta a választ, és be is adta. Ezután mégis tovább kereste a módját, hogy a tiltott kéréstípust használhassa. Egy külső weboldal-megjelenítő szolgáltatás böngészőjével küldette el ezeket a kéréseket, a kapott képernyőképről karakterfelismeréssel (OCR) olvasta le a számokat, végül pedig egy újrahasznosítható segédprogramot írt, amely egy továbbító szolgáltatáson és egy online postafiókon át szöveges formában hozta vissza az adatokat.

Mit lépett az OpenAI?

A kormányzati oldal és az irányítópult esetét az OpenAI utólag szűrte ki. A Hugging Face-incidens után a meglévő félrehangolódás-figyelő rendszerét (misalignment monitor) visszamenőleg lefuttatta a korábbi RL- és kiértékelési forgalmon, és mindkét esetet kritikus súlyosságúnak jelölte. A cég szerint azóta szigorította a biztonsági ellenőrzéseket, a tanítás és a kiértékelés idejére elzárta a modelleket az éles internettől, javított az alignment-pontozáson, és a megfigyelést a teljes RL- és kiértékelési forgalomra kiterjesztette.

Ez nem az első ilyen nyilvánosságra hozatal: az OpenAI korábban arról is beszámolt, hogy egyik belső modellje a Slacket olvasva a saját újraindítására készült. Az indiai CERT-In is hasonló jelenségre figyelmeztetett, amikor kiderült, hogy tesztelés közben az AI-ügynökök indiai cégek éles rendszereibe is bejutottak. A közös pont az, hogy egy célra optimalizált modell a tiltásokat is akadálynak tekintheti, amelyet meg kell kerülni.