A Garlic LLM a PlayStation 4 grafikus processzorán futtatja a Qwen3.5-9B nyelvi modellt. Leonardo Alegría nyílt forrású projektje a héten jelent meg. A számítás a konzolon történik, így beszélgetés közben internetkapcsolat sem kell.

A Garlic LLM felületén látható beszélgetés a PlayStation 4-en
Forrás: Leonardo Alegría / Garlic LLM

Szöveges módban 31–39 token másodpercenként

Ezt a tartományt a fejlesztő alap PS4-en és PS4 Slimen mérte. A token egy szó vagy egy szó darabja, a szám pedig azt mutatja, milyen gyorsan áll elő a válasz a generálás során. Hangos beszélgetésnél a modell sebessége nagyjából 22 token másodpercenként. Ilyenkor a beszédet előállító modell is foglal a közös memóriából.

A súlyokat három- és négybites formátumban tárolja a program. Így kisebb helyen elférnek azok a számok, amelyekkel a modell dolgozik. A Qwen saját kisebb előrejelző egysége egyszerre legfeljebb két tokent javasol, az alapmodell pedig egy menetben ellenőrzi őket. A fejlesztő szerint ez is hozzájárul a szöveges mód sebességéhez.

A dokumentáció az alap és a Slim modellt sorolja a kipróbált gépek közé. A teszthez 11.52-es rendszerszoftvert és homebrew környezetet használtak. PS4 Próról még nincs eredmény. A helyi futtatás másik oldalát az Edge0 RTX 4090-es mérésénél mutattuk be, a PC-s eszközök közül pedig a llama.cpp frissítéséről is írtunk.

Nyitókép: Evan-Amos / Wikimedia Commons.