Három ChatGPT-vel készített novella jobb értékelést kapott, mint a melléjük választott három emberi történet egy frissen megjelent pszichológiai kutatásban. Ez önmagában elég lenne egy látványos „az AI már írni is jobban tud” címhez, csakhogy a kísérlet másik eredménye ennél érdekesebb: ugyanazok az olvasók többre tartották a történetet, ha azt hitték, ember írta.
A Sydney Sears és Deena Skolnick Weisberg által jegyzett tanulmányra a Guardian beszámolója irányította rá a figyelmet. A kutatók három külön vizsgálatban összesen 2587 amerikai felnőttet kérdeztek meg, de az eredményeket nem szabad egyetlen nagy irodalmi versenyként kezelni. Az első kísérlet a történetek megítélését, a második kettő pedig azt vizsgálta, felismerjük-e egyáltalán az AI szerzőségét.
A történet számított, de a címke is
Az első vizsgálatban 1682 résztvevő kapta meg a hat rövid történet egyikét. A három emberi novella 1993-ban, 2000-ben és 2021-ben jelent meg; mindegyik mellé készült egy hasonló témájú, nézőpontú és stílusú ChatGPT-változat. A szövegek nagyjából ezer szavasak voltak, vagyis körülbelül öt perc alatt el lehetett olvasni őket.
A résztvevőknek azt is megmondták, hogy ember vagy mesterséges intelligencia írta a kapott történetet. Ez az információ azonban nem mindig volt igaz: a kutatók szándékosan felcserélték a címkéket, így külön mérhették a szöveg tényleges eredetének és az előzetes elvárásnak a hatását.
A ChatGPT-novellák átlagosan magasabb pontot kaptak mind a befogadás, mind az érzékelt minőség terén. A minőségi skálán az AI-történetek átlaga 1,54, az emberi szövegeké 0,97 volt. A könnyebb belemerülést mérő skálán 1,42 állt szemben 1,00-val. A skála mínusz háromtól plusz háromig terjedt.
Közben a szerzőségi címke önállóan is mozgatta az értékelést. Az emberinek mondott történetek magasabb pontot kaptak, mint az AI-nak mondottak, függetlenül attól, valójában ki vagy mi készítette őket. Magyarán az olvasók ebben a szűk mintában kedvelték az AI szövegeit, de továbbra is hozzáadott értéket tulajdonítottak az emberi alkotónak.
Az AI felismerése még rosszabbul ment
A következő két kísérletben már párosával mutatták meg a szövegeket. A résztvevők egy emberi és egy AI-történetet olvastak, majd el kellett dönteniük, melyik melyik.
A második vizsgálat 424 résztvevőjének mindössze 39,39 százaléka találta el helyesen a szerzőséget. Ez nemcsak gyenge eredmény, hanem statisztikailag a véletlen tippelésnél is rosszabb. A harmadik kísérlet 481 résztvevője már 51,97 százalékos pontosságot ért el, ami lényegében pénzfeldobás.
Az irodalomban jártasnak gondolt olvasók sem bizonyultak jobb AI-detektornak. A második vizsgálatban az AI-val kapcsolatos nagyobb önbevallott tapasztalat valamennyit segített, a fikciós szakértelem viszont nem. Azok pedig, akik főleg a nyelvezet vagy a saját élvezetük alapján döntöttek, gyakrabban tévedtek.
Mitől tűnhetett jobbnak a gépi novella?
A tanulmány egyik lehetséges magyarázata prózaibb annál, mint hogy a ChatGPT hirtelen nagy íróvá vált. A nyelvi modell sok szövegmintából állít elő könnyen követhető, ismerős ritmusú prózát. Ez gördülékenyebb olvasási élményt adhat, különösen egy rövid, egyszeri találkozás során. A könnyen befogadható szöveget pedig hajlamosak vagyunk jobb minőségűnek érezni.
Csakhogy az olvasói bevonódás és az irodalmi minőség nem ugyanaz. Egy szöveg lehet sima, világos és kellemes, miközben kevésbé eredeti vagy kevésbé maradandó. A kutatók maguk is külön kezelték ezt a két fogalmat, és arra figyelmeztettek, hogy az eredmény nem dönt el esztétikai vitákat.
Hat történetből nem lesz irodalmi ítélet
A legfontosabb korlát a minta mérete: az első vizsgálat sok embert vont be, de mindössze három emberi és három AI-történetet hasonlított össze. Mind rövid, nagyjából ezer szavas realista próza volt. Ebből nem lehet regényekre, költészetre, műfaji irodalomra vagy általában az emberi alkotás egészére következtetni.
A szövegek kora sem volt azonos. Az emberi művek 1993 és 2021 között jelentek meg, míg az AI-változatokat 2023-ban és 2024-ben készítették. A minőségi kérdőívet a kutatók állították össze, és korábban nem validálták önálló mérőeszközként. Az első és a harmadik vizsgálatot ráadásul nem regisztrálták előre. Ezek nem teszik értéktelenné az eredményt, de erősen behatárolják, mit állíthatunk belőle.
A tanulmány tehát nem azt bizonyítja, hogy az AI „jobb író” az embernél. Azt mutatja, hogy néhány gondosan párosított rövid történet esetében a ChatGPT prózája könnyebben működött a vizsgálat résztvevőinél, miközben az emberi szerzőség gondolata továbbra is emelte a szöveg értékét. A két eredmény együtt sokkal többet mond az olvasói elvárásainkról, mint arról, ki nyerte meg az irodalmat.
