Az AI-tutoroknál általában maga a chatbot kapja a legtöbb figyelmet: mennyire értelmesen válaszol, tud-e kódot javítani, és mikor kell visszafognia magát. Egy új, az arXivon közzétett tanulmány viszont egy kevésbé látványos alkotóelemet tett próbára. A kutatók szerint a gyakorlófeladatok sorrendje legalább ennyire fontos lehet.
A Pennsylvaniai Egyetem és a National Taiwan University kutatói egy öt hónapos, tajpeji Python-kurzusban vizsgálták, hogy mit nyerhetünk, ha az AI nem ugyanazt a feladatsort adja mindenkinek. A rendszer ugyanazt a tananyagot és ugyanazt a GenAI-tutort használta, a diákokat azonban véletlenszerűen két csoportba osztották: az egyik fix, könnyűtől nehézig haladó sorrendet kapott, a másiknál a rendszer menet közben választotta ki a következő feladatot.
Nem a chatbotot cserélték le
A kísérletben tíz középiskola 1047 tanulója vett részt, az előre rögzített kizárások után 770 diák adatai kerültek a fő elemzésbe. A kurzus 2025 januárjától júniusáig tartott, a végén pedig mindenki ugyanazon a személyes, eszköz nélküli, írásbeli vizsgán vett részt. Ez fontos részlet: a kutatók nem azt mérték, hogy a tanulók mennyire ügyesen használják a segítségül kapott AI-t, hanem azt, hogy az elsajátított Python-tudás megmarad-e akkor is, amikor a tutor már nincs ott.
A különbség a gyakorlás szervezésében volt. A diákok modulonként automatikusan értékelt kódolási, hibakeresési és igaz-hamis feladatokat oldottak meg. A személyre szabott csoportnál az algoritmus a korábbi válaszokból, a próbálkozásokból, a beszélgetésekből és a kódszerkesztési előzményekből becsülte meg, hol tart a tanuló, majd ehhez választott következő nehézségi szintet.
A rendszer a beszélgetésből is próbált tanulni
Az algoritmus nem pusztán azt nézte, hogy jó vagy rossz lett-e a válasz. A tanulmány szerint a rendszer LLM-alapú jeleket is kinyert a tutorral folytatott párbeszédekből és a kód módosításaiból. Más információt hordoz, ha valaki csak formázást vagy egy elgépelést javít, és mást, ha egy működő megoldás felé építi át a programját. A kutatók ezeket a jeleket egy folyamatos tudásállapot becslésére használták, amelyet aztán részecskeszűrővel, POMDP-modellel és modellalapú megerősítéses tanulással kötöttek össze.
Magyarul: a tutor megpróbálta megkülönböztetni a valódi megértést a véletlenül eltalált válaszoktól, a puszta másolástól vagy attól, amikor a tanuló csak a következő feladatig akar eljutni. A feladatsor ettől nem lett teljesen szabadon variálható: minden modulban előírták a különböző nehézségi szintek minimális arányát, a sorrend változott a diák aktuális állapotához igazodva.
A vizsgán is látszott a különbség
A személyre szabott feladatsorrend 0,156 szórással javította a standardizált vizsgaeredményt. A kontrollváltozókkal, iskolai és évfolyamhatásokkal korrigált becslés 0,150 szórás lett, a hatás mindkét modellben statisztikailag szignifikáns volt (p<0,05). Ez nem azt jelenti, hogy minden diák ugyanennyivel jobb jegyet kapott, hanem azt, hogy a két csoport eredményei között mérhető, átlagos különbség alakult ki.
A szerzők egy oktatáskutatási átszámítást idézve 6–9 hónapnyi iskolai haladással vetik össze ezt a 0,15 szórásnyi hatást. Ezt érdemes óvatosan kezelni: nem arról van szó, hogy a résztvevők szó szerint kilenc hónappal több tananyagot végeztek el, hanem arról, hogy a statisztikai hatás egyes korábbi oktatási becslésekhez hasonló nagyságrendű.
A nyereség ráadásul nem egyformán jelent meg mindenkinél. A korábban gyengébb Python-tudással érkezők 0,215 szórásnyi javulást mutattak, míg a már tapasztaltabb diákoknál a 0,008 szórásnyi különbség nem volt szignifikáns. Az alacsonyabb besorolású iskolákban 0,173 szórásnyi, a magasabb besorolásúakban 0,039 szórásnyi hatást mértek, de utóbbi nem bizonyult statisztikailag megbízhatónak.
Nem több feladat, hanem kitartóbb munka
A kutatás egyik érdekes eredménye, hogy a személyre szabott csoport nem egyszerűen több kérdést oldott meg, és nem is csak nehezebb feladatokat kapott. A közvetítő elem inkább az elköteleződés volt: több időt töltöttek a feladatokkal, tovább próbálkoztak, és a kutatók szerint tartalmasabb beszélgetéseket folytattak a tutorral. A beszélgetések minőségét egy 1-től 10-ig terjedő, LLM-alapú értékeléssel is követték, ezért ez a mérés nem azonos egy független tanári pontozással.
A tutor közben nem adhatta oda automatikusan a megoldást. A rendszerutasítások szerint előbb érdemi próbálkozást kellett kérnie, a gyakorlófeladatokat pedig GPT-4o generálta, majd ellenőrző szkriptek, Claude-os javítási körök és emberi oktatási asszisztensek szűrték. A platform rögzítette a beszélgetéseket, a kódváltozásokat és a beküldéseket, a másolás-beillesztés lehetőségét pedig kikapcsolták.
Ígéretes eredmény, de nem kész recept
A tanulmány nem azt bizonyítja, hogy bármelyik AI-tutor automatikusan jobb tanárt jelent. Egy konkrét, öthónapos Python-kurzus eredményeiről van szó, tíz tajpeji középiskolában, ráadásul az anyag jelenleg arXiv-előzetes, nem végleges, szaklektorált folyóiratcikk. A kísérlet mégis fontos, mert ugyanazon a chatboton belül mutatott ki különbséget: nem feltétlenül a legszebb válasz vagy a legtöbb funkció számít, hanem az, hogy a rendszer mikor és milyen feladatot ad a tanulónak.
Ha ez az irány más tárgyaknál is működik, az AI-tutorok fejlesztésének súlypontja elmozdulhat a beszélgetés látványosságától a tanulási folyamat finomhangolása felé. A mostani eredmény alapján legalábbis érdemes nem csak azt kérdezni, hogy „mit tud a chatbot?”, hanem azt is, hogy „mi legyen a következő feladat?”.
