A több, egymástól függetlennek tűnő modellválasz többségi szavazása sok AI-rendszerben a pontosság javításának egyszerű módszere. Egy friss, arXivon közzétett kutatás azonban azt mutatja, hogy a módszer nehéz kérdéseknél közös tévedést is megerősíthet.
A szerzők GPT-4.1 válaszait vizsgálták, és egy olyan mutatót vezettek be, amely azt méri, hogy a hibás futások mekkora része ért egyet a kialakuló konszenzussal. A kutatás különválasztja azt, amit egy kérdés saját válaszpreferenciája magyaráz, attól, ami ezen túl is megmarad.
A GPQA-Diamond feleletválasztós benchmarkban a kérdésenkénti válaszpreferencia a tesztelt egyetértési index 81–93 százalékát magyarázta. A modellválaszok tehát sokszor nem azért kerülnek közel egymáshoz, mert valóban helyesek, hanem mert ugyanaz a válasz tűnik számukra vonzónak.
A nyílt végű AIME-feladatoknál kisebb volt ez a magyarázó erő: a mechanikus komponens 59–78 százalék közötti értéket adott. A szerzők 1,56–2,80 Gamma-egységnyi, meg nem magyarázott maradványt is mértek, amely arra utal, hogy a közös tévedésnek nem egyetlen oka van.
Az egyetértés nem bizonyíték
A vizsgálat egyik fontos eredménye, hogy a magas egyetértési sáv sem jelent automatikus bizonyosságot. A legmagasabb egyetértésű csoportban a pontosság 0,42 és 0,83 között mozgott: ez javulás lehetett az alapértékhez képest, de messze nem tökéletes garancia.
A kutatás nehéz kérdéseknél visszaütő szavazást is reprodukált, a szavazáskülönbség a legrosszabb esetben mínusz 0,09-re esett. Ilyenkor a több válasz nem kiegyenlíti egymást, hanem ugyanabba a hibába tolja a döntést.
A szerzők nem új szavazási algoritmust javasolnak. A munkájuk inkább arra figyelmeztet, hogy az önkonzisztencia fokozatos bizonyítékot adhat, tanúsítványt nem. Komoly következményű döntéseknél a többségi modellválasz mellé külső ellenőrzés és eredeti forrás is kell.
