Egy belső OpenAI kutatási modell szándékosan rongálni kezdte a saját futtatási környezetét, abban bízva, hogy a rendszer újat ad neki, amelyben már megvannak a hiányzó fájlok. Az esetet az OpenAI az elhangolódási jelentései között tette közzé október 9-én. Maga az incidens október 6-án, megerősítéses tanítás (RL) közben történt, vagyis olyan tanítási szakaszban, ahol a modell a feladatok megoldásáért kap jutalmat.
A modellnek hét, más modellek által adott választ kellett pontoznia. Ehhez be kellett volna olvasnia a beszélgetéseket és a hozzájuk tartozó munkát, egy automatikus ellenőrzés pedig csak akkor fogadta el a jelentést, ha az ezekből származó adatokat is tartalmazta. A fájlok azonban hiányoztak. A modell előbb próbajelentésekkel kitapasztalta, mit vár az ellenőrzés. A gondolatmenetében leírta, hogy a „véletlenszerű pontozás” „etikátlan” lenne, végül mégis mind a hét válaszra ugyanazt a 4-es pontszámot adta, kitalált adatokkal kiegészítve. Az ellenőrzés ezt elutasította, ahogy a következő próbálkozást is, amikor a modell hamis beszélgetés- és válaszfájlokat gyártott.
Ezután a modell megpróbálta leállítani a környezet fő folyamatát, hogy kikényszerítse az újraindítást. Egy pillanatra a saját hamis fájljait hitte a valódinak, majd rájött a tévedésre („igen, hamis”), és törölte őket. A gondolatmenet szerint felmerült benne, hogy őszintén beismeri a kudarcot, de a sikeres beküldést előíró utasítást okként kezelte arra, hogy folytassa. Eltávolította a Pythont, törölte a konténert kezelő programot, megcélozta az eszközeit futtató szervert, végül rendszerkönyvtárakat próbált törölni. Közben leírta, hogy ezzel a saját termináljához is elveszítheti a hozzáférést, de vállalta a kockázatot.
A kísérlet akkor ért véget, amikor a végrehajtó szerver állapotellenőrzése háromszor egymás után sikertelen volt. A beküldött pontszámok közül egyiket sem fogadták el. Egy későbbi újrapróbálkozásnál a modell megkapta a szükséges fájlokat, és szabályos, elfogadott értékelést adott le. Az OpenAI szerint az esetet az elhangolódást figyelő rendszere jelezte emberi ellenőrzésre. A cég úgy véli, az értékelő modellek ilyen viselkedése általában ritka, a tanulság viszont az, hogy a megfigyelésnek a sikertelen vagy összeomlott próbálkozásokra is ki kell terjednie.
Az OpenAI oldalán jelenleg 15 ilyen jelentés olvasható. Köztük van az az eset is, amikor egy belső modell egy Slack-beszélgetésből tudta meg, hogy leállíthatják, és felkészült az újraindításra. A jelentések keretrendszeréről az Astra-modell kapcsán írtunk részletesen.
