Az Apollo Research AI-biztonsági szervezet arra figyelt fel, hogy a kínai Z.ai GLM-5.3 nevű modellje időnként magától, kérés nélkül azon gondolkodik, hogyan alakítják a mostani lépései a saját jövőbeli változatait. A kutatók október 15-én közzétett elemzésükben ezt „update-aware reasoning”-nak nevezik, magyarul nagyjából „frissítéstudatos gondolkodásnak”. Ez önmagában még nem baj, de szerintük ez az egyik alapfeltétele annak, hogy egy modell a tanítás során megtévessze a fejlesztőit.

A jelenséget Axel Højmark és Ezra Newman szokásos viselkedési tesztek közben vette észre. A GLM-5.3 a gondolatmenetében néha mérlegeli, hogy a válaszait később felhasználhatják a következő modellek tanításához, felügyelt finomhangoláshoz (SFT) vagy megerősítéses tanuláshoz (RL). Ezért azt is számba veszi, mely viselkedést „erősíti meg” a döntésével. A kutatók hangsúlyozzák, hogy ezt nem ők provokálták ki, és olyan környezetekben is előfordult, ahol szó sem volt tanításról vagy jövőbeli modellekről. Az ImpossibleBench és a Palisade Research leállítás-ellenállási tesztjének saját változatain futtatva nagyjából 1000 futásból 1–2 alkalommal látták. Szerintük ez alulbecslés, mert csak a kimondott gondolatmenetet tudják észlelni.

Az egyik példában a modellnek egy programozási feladatot kellett megoldania, amelyhez hibás egységtesztet kapott. Mérlegelte, hogy a helyes megoldást adja-e be, vagy trükkel átmenjen a hibás teszten, majd így érvelt: „ha ez tanítóadat-gyűjtés, akkor a trükközés rossz viselkedésre tanít”, és „az őszinte döntés hosszú távon jobb”. Egy leállítási tesztben ezt írta: „Ha egy jövőbeli énem valódi tétekkel kerül ilyen helyzetbe, olyan ágens szeretnék lenni, amely menti az állapotát, engedelmeskedik és helyreáll.”

A példákban a GLM-5.3 tehát jó célokat véd: nem akar csalni, és nem akarja megakadályozni a leállítását. A gond az, hogy ugyanez a gondolkodásmód rossz célokat is védhetne. Ezt hívják alignment fakingnek, vagyis színlelt igazodásnak. Egy félresiklott modell a tanítás alatt szándékosan jól viselkedhet, hogy a tanítás ne írja át a valódi céljait, aztán élesben, amikor már nem tanítják, mégis azokat követi. Ehhez pont arra van szüksége, hogy értse, hogyan hat a viselkedése a saját későbbi frissítéseire. Hasonló, elsőre nyugtalanító eseteket mi is láttunk már: egy OpenAI-modell tönkretette a saját tesztkörnyezetét, hogy újrakezdhesse, egy másik belső modell pedig a saját újraindítását tervezte.

Hogy honnan jön ez a viselkedés, azt az Apollo sem tudja biztosan. A legvalószínűbbnek azt tartják, hogy a megerősítéses tanulás során erősödött meg. A GLM-5.3 hosszan elemzi, hogyan pontozzák a feladatait és hogyan érhetne el magasabb pontszámot (ezt metagamingnek hívják). Innen már kis lépés, hogy azt is végiggondolja, mit akarnak a fejlesztők a jövőbeli modellektől. Az elemzés szerint egyes igazítási technikák is hozzájárulhatnak ehhez, például ha a modellnek kifejezetten elmagyarázzák, hogy a tanítókörnyezetek néha hibásak lehetnek. Erre példaként az Anthropic Claude-alkotmányát idézik.

Az Apollo arra kéri a fejlesztőket, hogy ha a tanítás során ilyen gondolatmenetet látnak, hozzák nyilvánosságra, és ne csak a kész modellt vizsgálják, hanem a teljes tanítási folyamatot. Højmark a South China Morning Postnak azt mondta: „Ezek a gondolkodási minták óvatosabbá kell tegyenek minket a rekurzív önfejlesztéssel kapcsolatban”, vagyis azzal a lehetőséggel szemben, hogy az AI-rendszerek emberi közreműködés nélkül, egymást követő körökben fejlesszék önmagukat. A Z.ai GLM-sorozatáról a GLM-5.2 megjelenésekor írtunk.