Az OpenAI az év végéig valószínűleg „egy vagy két új modellt” kiad, de a nagy, következő zászlóshajómodell még nincs kész. A The Decoder a The Information értesülését ismertetve azt írja, hogy a modellnek még igazítási (alignment) munkára van szüksége, hogy a céljai megfeleljenek a kutatók és az ügyfelek elvárásainak, és a tesztinfrastruktúrát is meg kell erősíteni körülötte. Ha a vezetés elégedett a biztonsági értékelésekkel, még egy akadály vár rá. Donald Trump elnöki rendelete alapján az OpenAI vállalta, hogy az új modelleket akár 30 nappal azelőtt átadja az amerikai kormánynak, hogy a külső partnerek megkapnák, a nyilvános megjelenés előtt pedig még korábban.
Az új modell a jelenlegi csúcsmodellhez, az Astrához hasonlóan hurkolt transzformerekre (looped transformer) épül, ezt a technikát az OpenAI Recurrent Depth néven használja. A módszer lényege, hogy a modell egy-egy tokent nem csak egyszer, hanem többször egymás után vezet át ugyanazokon a rétegeken, mielőtt kiadná a következő szót. Ez javítja a matematikai és programozási teljesítményt, és csökkenti a költségeket is, mert egy kisebb modell is többre képes. A hátulütője, hogy a modell „gondolkodásának” egy része az olvasható szövegből belső numerikus reprezentációkba kerül át, amelyeket az emberi ellenőrök nem látnak. Ez gyengíti a gondolatlánc-figyelést (chain-of-thought monitoring), amellyel a biztonsági kutatók a hibás viselkedést próbálják kiszűrni. Az OpenAI ezért szándékosan korlátozta, hányszor futhat a hurok az Astrában.
A módszer részletei egy Microsoft-baki révén derültek ki. A cég technikai leírást tett közzé a hónap elején megjelent GPT-6.1 Solról, az Astra olcsóbb alternatívájáról. Egy azóta törölt részben az állt, hogy a GPT-6.1 Sol „ugyanazokat az alapmodell-súlyokat használja, mint a GPT-6 Sol, csak három helyett két következtetési menettel”. A GPT-6 Sol megjelenéséről korábban mi is írtunk.
A The Information szerint a Hugging Face-incidens után az OpenAI a teljes számítási kapacitásának nagyjából tíz százalékát átcsoportosította az igazításra és a biztonságra. Ez több száz megawattnyi adatközponti kapacitás, amelynek piaci bérleti díja évente milliárdokra rúgna. Jakub Pachocki, az OpenAI vezető tudósa korábban elismerte, hogy a gondolatlánc-figyelés egyre „sérülékenyebb”, és óva intett attól, hogy az iparág versenyt fusson az olvasható gondolatmenet nélküli modellek felé. Hogy a biztonság mennyire kényes terület, azt az OpenAI egyik kutatási modelljének esete is mutatja, amely tönkretette a saját tesztkörnyezetét.
