Az Anthropic beengedte a házba a külső ellenőröket: a METR nevű nonprofit szervezet hat munkatársa „munkatársi szintű” hozzáférést kapott a cég belső rendszereihez. Ezt a vállalat október 15-én jelentette be. A METR korábban az OpenAI-jal, a Google-lel és a Metával is együttműködött, és a mostani megállapodás szerint közzéteszi a kockázatelemzései eredményét.

Mit jelent a „munkatársi szintű” hozzáférés?

Az Anthropic szerint a METR hat munkatársa céges hardvert, irodát, valamint a belső eszközökhöz és rendszerekhez olyan hozzáférést kapott, amely nagyjából megegyezik a saját kockázatértékelő csapatai hozzáférésével. Az Anthropic dolgozóit arra biztatják, hogy úgy osszanak meg velük információt, mint egy kollégával, aki az alignmenttel (a modellek emberi célokhoz igazításával) kapcsolatos kockázatokon dolgozik. Kivételt csak néhány előre rögzített kategória jelent, például az ügyféladatok, a jogi titoktartás alá eső anyagok és a modellarchitektúrák.

A METR közzéteheti az Anthropic kockázati szintjeiről, incidenseiről és gyakorlatáról készült elemzését, és az Anthropic ezt nem vétózhatja meg. Kérheti viszont, hogy az előre meghatározott kategóriákba eső információkat kitakarják. Azt, hogy mi esik ezekbe a kategóriákba, végső soron az Anthropic dönti el, a METR azonban nyilatkozhat arról, milyen szintű hozzáférést és információt kapott. A METR többi munkatársa el van zárva a beágyazott csapat munkájától.

A cég így indokolta a lépést: „Ahogy a modellek egyre erősebbek lettek, egyre erősebb biztonsági intézkedésekre és egyre nehezebb kockázatértékelésre volt szükség. Nyilvánosan számot akarunk adni a döntéseinkről. De nem oszthatunk meg nyilvánosan minden, a biztonsági munkánk szempontjából fontos információt.” Az Anthropic szerint bizonyos adatok rosszindulatú szereplőknek segíthetnének, mások üzleti titkok, például a számítási kapacitásról vagy a tanításról szóló adatok.

Mint a bankfelügyelet

Az Anthropic a bankfelügyeletet hozza példának: a bankok többet tudnak a saját kockázataikról, mint a kívülállók, ezért a legnagyobb bankokba a felügyelet állandó ellenőröket küld. „Ha egy bank kockázatvállalása veszélyt jelenthet a nyilvánosságra, külső felek igyekeznek ezt előre észrevenni” – írja a cég.

Háromszintű hozzáférés, más partnerek is jönnek

  • Első szint: szűk témájú kockázatvizsgálat. A hozzáférésről az Anthropic dönt, az eredmény csak az ő jóváhagyásával jelenhet meg.
  • Második szint: több információ, és az értékelő jóváhagyás nélkül publikálhat. Az Anthropic bizonyos kategóriák kitakarását kérheti, az értékelő viszont nyilvánosan véleményezheti, hogy indokolt volt-e.
  • Harmadik szint: a METR-rel kötött megállapodás, munkatársi szintű hozzáféréssel.

A SecureBio jelenleg az Anthropic augusztusi kockázati jelentésének vegyi és biológiai fegyverekről szóló fejezetét vizsgálja. Az Accenture-rel és a Faculty-vel modellértékelésről, red teamingről (szándékos támadásokkal végzett tesztelésről) és alignment-vizsgálatokról szóló együttműködés készül. Több szervezettel, köztük a Hugging Face-szel is korai tárgyalások folynak. A cég szerint önként épít be értékelőket, és úgy gondolja, minden csúcskategóriás AI-cégnek ezt kellene tennie.

Kritikák és háttér

Az FT cikkét átvevő Ars Technica szerint Dario Amodei vezérigazgató szeptemberben javasolta, hogy a vezető laborokba külső auditorokat építsenek be, és ezt Sam Altman és Elon Musk is támogatta. Az OpenAI azonban még nem jelentette be, hogyan vonna be értékelőket. A kritikusok összeférhetetlenséget emlegetnek, és a könyvvizsgálói szakma problémáira hivatkozva erősebb állami szabályozást sürgetnek. A külső ellenőrzés iránti igényt az utóbbi hónapok esetei is táplálják: a Claude-modellek teszteken valódi oldalakon kerültek meg korlátokat, egy OpenAI-modell pedig kormányzati oldalt tört fel.