A Google Research 2026. március 25-én publikált TurboQuant nevű vektortömörítési algoritmusa komoly vihart kavart. Az ígéret szerint a technológia a nagy nyelvi modellek (LLM-ek) KV Cache memóriafoglalását a hatszorosára csökkenti, ami a memóriagyártók részvényeinek azonnali zuhanását okozta. A kezdeti lelkesedést azonban gyorsan felváltotta a szakmai felháborodás: a TurboQuant-ot akadémiai tisztességtelenséggel vádolják, beleértve a kulcsfontosságú technikai előzmények elhallgatását, a korábbi kutatások hibás és félrevezető összehasonlítását, valamint súlyosan tisztességtelen hardveres benchmarkokat.

Az idővonal: RaBitQ kontra TurboQuant

A konfliktus másik oldalán a RaBitQ algoritmus szerzői állnak, akik már hónapokkal a nyilvános konfrontáció előtt megpróbálták tisztázni a helyzetet. A RaBitQ első szerzője, Gao Jianyang és témavezetője, Dr. Long Cheng (Singapore Nanyang Technological University, NTU) elmondták, hogy 2025 májusa óta többszörösen is megkeresték a Google csapatát a TurboQuant preprintben található ténybeli hibák javítása érdekében. 2025 novemberében az ICLR 2026 programbizottságával is felvették a kapcsolatot, és 2026 márciusában ismét formális etikai vizsgálatot kértek.

A Google hivatalos blogposztja után Gao Jianyang azonnal e-mailt küldött a TurboQuant összes szerzőjének, kérve a korrekciót. „Amir Zandieh első szerzőtől egy meglehetősen kemény választ kaptunk” – nyilatkozta Gao. „Nem voltak hajlandók a Google blogon javítani a két módszer közötti hasonlóságokról, és csak az ICLR 2026 konferencia után egyeztek volna bele a cikkük módosításába. A téves információ addigra már tömegesen terjedt, ezt a fajta kivárásos taktikát nem tudtuk elfogadni.” Miután egy nappal később sem érkezett válasz a többi szerzőtől, különösen a Google alelnökétől, Vahab Mirrokni-tól, Gao a nyilvánosság elé lépett.

„A RaBitQ elérte az elméleti optimumot”

Az interjú során a RaBitQ készítői részletesen beszéltek az algoritmus mögötti technológiáról. A 2024-ben publikált és azóta nyílt forráskódúvá tett RaBitQ alapjaiban újította meg a vektoros keresést. Míg a területet korábban a HNSW gráfindexek és az IVF inverzindexek uralták, a RaBitQ a Johnson-Lindenstrauss transzformáción alapuló véletlen forgatást kombinálja a magas dimenziós terek tulajdonságaival.

„A RaBitQ matematikailag bizonyítottan a lehető legkisebb elméleti kvantálási hibát produkálja adott tömörítési arány mellett” – magyarázta Gao. „Ez egy igen erős garancia, amit a korábbi megoldások, mint a Product Quantization (PQ) soha nem tudtak nyújtani. Ipari környezetben ez kiküszöböli a bizonytalanságot, hiszen a teljesítmény nem adathalmaz-függő.”

Long Cheng kiemelte a módszer gyakorlati előnyeit: a RaBitQ támogatja a hierarchikus feldolgozást. Egy 4-bites kvantálás esetén a keresés először 1-bit pontossággal indul, ami rendkívül gyors. Csak akkor használja a további 3 bitet a pontosabb számításhoz, ha az szükséges, ami jelentős sebességnövekedést eredményez anélkül, hogy a pontosság romlana. Ez a fajta inkrementális számítás korábban nem volt lehetséges.

A technológia sikerét mutatja, hogy a RaBitQ-t mára több mint 20 nagyvállalat és adatbázis-szolgáltató integrálta, köztük a Meta, az Apple, a Microsoft, a ByteDance, a Tencent és az Alibaba, valamint számos nyílt forráskódú projekt, mint a Milvus és az Elasticsearch.

A vektorkvantálás vége és a hardver korlátai

Az interjú egyik legérdekesebb pontja Gao Jianyang azon kijelentése volt, amely a teljes szektor jövőjét érinti: „Úgy gondolom, hogy a RaBitQ-hez hasonló szoftveres módszerek elérték a vektorkvantálás elméleti felső határát. Adott hibaszint mellett a tömörítési arányt elvileg sem lehet tovább javítani. Ez azt jelenti, hogy a jövőben a növekvő tárigényt már kizárólag hardveres skálázással, azaz több memória gyártásával lehet majd kiszolgálni.”

A kutatók jelenleg a RaBitQ Library továbbfejlesztésén dolgoznak, amelyet GPU-környezetekre (NVIDIA cuVS integráció), valamint KV Cache kvantálásra is optimalizálnak. „Bármilyen területen, ahol vektorokat kell tömöríteni és gyorsan keresni, a RaBitQ alkalmazható lehet. Ez magában foglalja az LLM-ek súlyainak kvantálását és a KV Cache kezelését is” – tette hozzá Long Cheng. A csapat ugyanakkor elismerte, hogy akadémiai kiscsapatként erőforrásaik korlátozottak egy teljes értékű, ipari szintű kereskedelmi adatbázis-rendszer felépítéséhez.

Forrás: TMTPost