Az Edge0 fejlesztői november 13-án jelentették be a 145 és 120 milliárd paraméteres modelljeiket. A nagyobb változat egyetlen, 24 GB-os RTX 4090-nel is futott a csapat saját mérése szerint. A modell súlyainak egy része a számítógép memóriájában maradt, a videokártya innen kapta meg azokat a részeket, amelyekre éppen szüksége volt.
Mi fér el a 24 GB-os videokártya mellett?
A modell dokumentációja szerint a kisebb helyet foglaló Q3_K változat súlyai 40,81 GiB-ot tesznek ki. A csapat egyik, RTX 5090 D-n végzett futásában a program 23,14 GiB videomemóriát és 31,28 GiB rendszermemóriát használt. Ez az adott mérés memóriahasználata. A gép teljes RAM-igénye a beállításoktól és a többi futó programtól is függ.
A 145 milliárd paraméterből tokenenként nagyjából 10,1 milliárd aktív. Az Edge0 úgynevezett Mixture of Experts felépítést használ. A modell minden új szövegrészhez kiválasztja az épp szükséges egységeket. A gyakran használtak a videomemóriában maradhatnak, a többit a futtató szükség szerint tölti át.
Közel 70 token másodpercenként a fejlesztők mérésében
Az RTX 4090 a Q3_K változattal másodpercenként 69,9 tokent állított elő a csapat chatmérésében. Ez a válasz generálásának sebessége. Egy hosszabb dokumentum feldolgozásának ideje külön mérőszám, és a teljes válaszidőbe az is beleszámít.
A modell súlyai letölthetők a Hugging Face-ről. Az Edge0 a nagy modellekhez a saját futtatóját dokumentálja. A llama.cpp 1.0-ról szóló cikkünkben egy másik, helyi modellfuttatáshoz használt eszközt mutattunk be.
