Az Anthropic friss kutatása egy szokatlan kérdést feszeget: található-e egy nagy nyelvi modellben olyan belső működés, amely a gondolkodás több lépését összefogja. A kutatók Claude-nál egy kisebb, különösen fontos aktivációs mintázatcsoportot írtak le, ezt J-space-nek nevezik. Nem tudatot találtak, és ezt maguk is világosan leírják. Inkább egy olyan belső „munkafelületet”, amelyhez a bonyolultabb feladatok több része is hozzáfér.
A modellnek nem kell kimondania, hogy mire gondol
Egy több lépéses kérdésnél a válaszból sokszor csak a végeredmény látszik. Az Anthropic módszere azt próbálja megfigyelni, milyen fogalmak aktívak a hálózatban még azelőtt, hogy Claude bármit kiírna. A saját példájukban a „pók” jelenik meg belső köztes lépésként, amikor a modellnek azt kell megmondania, hány lába van az állatnak, amely hálót sző. A szó nincs sem a kérdésben, sem a válaszban, mégis ezen keresztül jut el a nyolcasig.
Miért nem azt jelenti, hogy Claude öntudatra ébredt?
A címben szereplő global workspace elmélet a kognitív tudományból jön, ezért könnyű túl messzire szaladni vele. Az Anthropic nem állítja, hogy Claude él át bármit, érez vagy emberi módon tudatos. A kísérletek azt mutatják, hogy bizonyos belső reprezentációk központi szerepet kapnak a több lépéses következtetésben, míg a folyékony szövegalkotás, az egyszerű nyelvtan vagy néhány alap feladat ezek nélkül is működik.
Ez a különbség a kutatás legerősebb része. Amikor a szerzők mesterségesen elnyomták ezt a J-space-et, Claude továbbra is tudott folyékony mondatokat írni, de a többlépéses feladatokban szinte teljesen szétesett. Magyarul: egy jó hangzású válasz még akkor sem biztos, hogy valódi gondolatmenet eredménye, ha a modell magabiztosnak hat.
A haszna inkább biztonsági, mint filozófiai
A cikkben bemutatott J-lens azért érdekes, mert az Anthropic a modell ellenőrzésére használja. A kutatók szerint ezzel néha tetten érhető, ha a rendszer felismeri, hogy tesztelik, hamis adatot akar hihetőnek láttatni, vagy egy elrejtett cél felé próbál menni. Ez még kísérleti eszköz, nem olyan kapcsoló, amely majd egyedül „biztonságossá” teszi az AI-t. Viszont ritka alkalom, amikor nem csak a végső szövegből próbálnak következtetni arra, mi történhetett a modellben.
A lényeg hétköznapi nyelven
A kutatás nem arról szól, hogy Claude-nak titkos belső monológja van. Arról szól, hogy egy nagy modellben akad egy viszonylag kicsi belső rész, amelyet a bonyolultabb gondolkodási feladatok sokszor újrahasználnak. Ha ezt jobban lehet olvasni és tesztelni, könnyebb lehet észrevenni azt is, amikor egy modell csak szépen válaszol, és azt is, amikor rossz szándékú mintát követ.
