Az OpenAI hivatalos API changelogja szerint július 6-án megjelent a GPT-Realtime-2.1 és a GPT-Realtime-2.1-mini. A frissítés a Realtime API-t érinti, vagyis azt a vonalat, amelynél a modell nem szöveges chatként működik, hanem hangot fogad, beszédben válaszol, és közben eszközöket is használhat.
Mit ír az OpenAI a frissítésről?
A changelog rövid, de elég egyértelmű: a GPT-Realtime-2.1 jobb alfanumerikus felismerést, jobb csend- és zajkezelést, valamint jobb megszakításkezelést kapott. Ez hangos agenteknél nem apróság. Egy ügyfélszolgálati vagy asszisztens jellegű rendszernek nemcsak azt kell értenie, hogy mit mondanak neki, hanem azt is, mikor hallgasson el, mikor folytassa, és mikor szakították félbe.
A másik új modell, a GPT-Realtime-2.1-mini, gyorsabb és olcsóbb, distillált változatként érkezett. Az OpenAI modellkatalógusa szerint mindkét új Realtime modell reasoning modelltípus, eszközhasználattal. Ez azért érdekes, mert a hangos AI eddig gyakran inkább látványos beszédinterfész volt, mint valódi munkafolyamatokat végrehajtó agent.
A voice agent nem sima beszélő chatbot
Egy beszélő chatbotnál elég, ha a rendszer hallgat, szöveget gyárt, majd felolvassa. Egy voice agentnél ennél több történik: időpontot foglalhat, adatot kérhet le, CRM-be írhat, rendelést módosíthat vagy hibajegyet nyithat. Ehhez nem elég a jó hang. Stabil eszközhasználat, rövid válaszidő és pontos megszakításkezelés kell.
A megszakítás különösen fontos. Telefonon vagy élő hangos felületen az ember gyakran közbevág, pontosít, elakad, máshogy folytatja. Ha a modell ezt rosszul kezeli, akkor vagy rábeszél a felhasználóra, vagy elveszíti a szöveg fonalát. Az OpenAI most pont ezeket a hétköznapi, de termékoldalon fájdalmas részeket javítja.
A mini modell lehet az igazán praktikus darab
A MarkTechPost beszámolója szerint a Realtime 2.1-mini legalább 25 százalékkal alacsonyabb p95 késleltetést céloz, miközben a mini vonal költségszintjén marad. Ezt érdemes külső mérésig fenntartással kezelni, de az irány logikus: hangos agentnél a drágább, lassabb modell sokszor rosszabb termékélményt ad, mint egy kisebb modell, amely gyorsan és elég pontosan válaszol.
A felhasználó nem benchmarkot hall, hanem szüneteket. Ha két mondat között túl sok az üres idő, a beszélgetés gépiesnek érződik. Ha a modell túl gyorsan, de pontatlanul reagál, akkor meg idegesítő lesz. A hangos AI-nál ezért a késleltetés és a hibakezelés legalább annyira számít, mint a nyers modellokosság.
Fejlesztői oldalról ez mire jó?
- telefonos és webes ügyfélszolgálati agentekhez
- élő fordításhoz vagy hangos asszisztenshez
- olyan appokhoz, ahol a felhasználó nem gépelni akar
- belső vállalati rendszerekhez, ahol hangból kell adatot lekérni vagy módosítani
- akadálymentesítési megoldásokhoz, ahol a hang az elsődleges felület
A Realtime API ettől még nem varázslat. A fejlesztőnek továbbra is meg kell oldania a jogosultságokat, a naplózást, a hibás eszközhívásokat és azt, hogy a modell ne mondjon ki olyan adatot, amit nem szabadna. De az, hogy a hangos modell már eleve reasoning és tool use irányba mozdul, azt jelzi: az OpenAI nem külön chatbotként, hanem munkát végző hangos agentként kezeli ezt a vonalat.
Miért érdekes ez most?
Az AI-asszisztensek következő nagy csatája valószínűleg nem a szövegdobozban lesz. Ott már mindenki erős. A nehezebb rész az, amikor a modellnek élő beszélgetésben kell működnie, kevés késéssel, félbeszakításokkal, rossz mikrofonnal, háttérzajjal és valódi műveletekkel. A GPT-Realtime-2.1 frissítés pont ebbe az irányba tolja az OpenAI API-ját.
