A Shepherdöt bemutató kutatás egy egyszerű, de az AI-ügynököknél fájó problémát céloz: ha egy hosszú futás a tizedik lépésnél rossz irányba megy, a chatnapló önmagában nem segít visszatérni a jó állapothoz. A nyílt forrású Python-rendszer ezért nem csak az üzeneteket, hanem a futtatási környezet változásait is nyomon követné.
Nem elég, ha megmarad a beszélgetés
Egy önállóan dolgozó ügynök közben fájlokat módosíthat, csomagokat telepíthet, elindíthat egy fejlesztői szervert vagy felmelegíthet egy promptcache-t. Ha ezt az állapotot nem rögzítjük, egy hibás döntés után vagy kézzel kell előre javítani mindent, vagy nulláról kell újraindítani a munkát. Mindkettő drága és nehezen ellenőrizhető.
A Shepherd a szerzők leírása szerint minden ügynök–környezet interakciót típusos eseményként fűz egy, a Git működésére emlékeztető végrehajtási nyomvonalba. Így egy futásnál el lehet ágazni egy korábbi pontból, össze lehet hasonlítani két próbálkozást, vagy vissza lehet térni egy ismert jó állapothoz.
A visszatekerés nem ugyanaz, mint a teljes újrafuttatás
A kutatók négy alapműveletet írnak le: a futás elágaztatását, állapotának visszaállítását, újrajátszását és megosztását. A lényeg az, hogy egy módosított utasítást ne feltétlenül a nulladik lépéstől kelljen kipróbálni. Ha a korábbi környezet és a már felépített kontextus használható marad, kevesebb ismételt munka és modellhívás kell.
A szerzők saját mérésükben azt írják, hogy a Shepherdben az elágaztatás ötször gyorsabb volt a Docker commitra épülő megoldásnál, újrajátszáskor pedig a promptcache több mint 95 százaléka újrahasznosítható volt. Ezek kutatási eredmények, nem független iparági benchmarkok, ezért a számokat inkább az elképzelés ígéretének, nem kész termékígéretnek érdemes olvasni.
Mi használható már, és mi még nem?
A projekt dokumentációja szerint a futások és az azokból készült ágak kezelése már a rendszer alapfogalmai közé tartozik. Az újrajátszás viszont a dokumentációban még nem kész, külön elérhető programfelületként szerepel. Ez fontos különbség: a kutatás teljes víziója és a ma kézbe vehető eszköz nem feltétlenül ugyanaz.
Ettől még a Shepherd iránya érdekes. Ahogy az ügynökök egyre több valódi munkakörnyezethez kapnak hozzáférést, nem csak az lesz kérdés, mit válaszoltak, hanem az is, milyen állapotot hagytak maguk után. Egy jól visszakövethető, elágaztatható futás erre adhat használhatóbb alapot, mint egy végtelenre nőtt chatelőzmény.
