A Prime Intellect saját bejelentése szerint megérkezett a Verifiers 0.2.0, amely már a készülő v1 architektúrát vezeti be. A nyílt forrású keretrendszer arra szolgál, hogy AI-modelleket és kódoló ügynököket ne csak futtassanak, hanem egyforma feltételek mellett teszteljenek és tanítsanak is.
Egy benchmark eredménye nem csak a modellről szól
Egy mai kódoló AI-tesztben a modell mellett ott van a köré épített ügynök is: milyen eszközöket kap, hogyan kezeli a fájlokat, mikor tömöríti a beszélgetés előzményeit, indíthat-e segédügynököt, és milyen környezetben fut. Ha ezek minden tesztnél mások, akkor a pontszám könnyen azt méri, ki írt ügyesebb vezérlőprogramot, nem azt, melyik modell old meg jobban egy hibajavítást.
A Verifiers v1 erre próbál rendet tenni. A rendszer három külön cserélhető részre bontja az AI-ügynökös feladatot: a feladatcsomagra, az ügynökre és a futtatási környezetre. Így elvben ugyanazt a feladatot lehet több eltérő agenttel kipróbálni, vagy ugyanazt az agentet többféle tesztkörnyezetben futtatni.
Mit jelent a három doboz?
A taskset mondja meg, mi a munka: milyen bemenetet kap az ügynök, milyen eszközökhöz fér hozzá, és milyen szabály alapján jár a pont. A harness maga az ügynökös vezérlés, vagyis az a program, amely a modellt kérdezi, parancsokat futtat és a válaszokból munkafolyamatot épít. A runtime pedig a hely, ahol mindez végbemegy: lehet egy helyi folyamat, Docker vagy távoli sandbox.
Ez elsőre száraz keretrendszeres részletnek tűnik, de a kódoló AI-k korszakában nagyon is gyakorlati ügy. Egy rosszul izolált tesztkörnyezetet az ügynök véletlenül vagy szándékosan „kijátszhat”, egy eltérő fájlrendszer pedig más eredményt adhat ugyanarra a feladatra. A Prime Intellect egy köztes szervert is használ, amely naplózza az ügynök és a modell közötti forgalmat, és szükség esetén be tud avatkozni az eszközválaszokba.
A régi út lefagy, az új még előnézet
A cég nem egy kész 1.0-s kiadást tett le az asztalra. A mostani 0.2.0 előnézetként fut a verifiers.v1 névtér alatt, és a korábbi működési ág már nem kap aktív fejlesztést. Új környezeteket az új rendszerre kérnek építeni, a régi feladatok pedig később is futtathatók maradnak a régebbi csomagverzió rögzítésével.
A dokumentáció szerint már léteznek integrációk többféle ügynökhöz és feladatkészlethez, köztük Codexhez, Kimi Code-hoz, Terminus 2-höz és Harbor-alapú tesztekhez. Ez nem azt jelenti, hogy ugyanazt a pontszámot fogják adni, csak azt, hogy tisztábban el lehet választani: a modell mennyit tudott, és ebből mennyit tett hozzá a köré épített program.
Ezért számít a benchmarkvitákban
Az utóbbi időben egyre többször derül ki, hogy egy AI-ranglista mögött milyen sok apró döntés van. Az OpenAI is épp ezért vitatta több kódoló benchmark feladatminőségét. A Prime Intellect most másik oldalról fogja meg ugyanazt a gondot: akkor sem sokat ér egy látványos eredmény, ha a feladat jó, de közben nem derül ki, milyen ügynök, milyen eszközök és milyen futtatási feltételek segítettek hozzá.
A Verifiers v1 ettől még fejlesztői infrastruktúra, nem új chatbot vagy modell. A lényeg viszont érthető: a következő években egyre kevesebb lesz az olyan összehasonlítás, ahol elég annyit kérdezni, melyik modell a jobb. Egyre többször azt is tudni kell majd, milyen ügynök dolgozott vele, és milyen pályán engedték el.
