Feltört PlayStation 5-ön már nemcsak emulátorok és Linux futnak, hanem nagy nyelvi modellek is. A PS5LM nevű projekt a népszerű llama.cpp-t hozza át a konzolra, és már a PS5 GPU-ját is használja. A GitHub-oldal szerint egy PS5 Slimen a 27 milliárd paraméteres Qwen 3.8 nagyjából 20 token/másodperccel fut.
A Tom’s Hardware szerint a projektet cobanov néven ismert fejlesztő indította el két hete. Az első változat még a processzoron, úgynevezett payloadként futott, vagyis a rendszer mellé „becsempészve”. Így legfeljebb nagyjából 6,25 GiB memóriát használhatott, mert ennél több lefagyasztotta volna a kezdőképernyőt. Egy Redditen u/AdIllustrious7246 néven ismert felhasználó ezt alakította át natív alkalmazássá, amely már a PS5 GPU-ján fut. Ehhez a PS5_Vulkan projektet használta, amely a Linuxos RADV grafikus meghajtót portolja a konzolra, így közvetlenül lehet utasításokat küldeni a különben zárt AMD-s GPU-nak. A Tom’s szerint a natív futtatás után a modell már 11,4 GiB memóriát használhat.
Mennyire gyors?
A GPU-s futtatás azóta a hivatalos projektbe is bekerült: a ma megjelent PS5LM v0.9.0 már önálló alkalmazásként, a tévére tervezett új felülettel érkezik. A GitHub-oldal a llama.cpp Vulkan-háttérrendszerére épülő változatot írja le, a konzol RDNA 2-es GPU-jával és 11,4 GB közös memóriával a modellnek és a kontextusnak. A fejlesztő által egy PS5 Slimen mért eredmények:
- Qwen 3.5 0.8B (Q4_K_M, 0,5 GB): 207 token/s
- Qwen 3.5 9B (Q4_K_M, 5,3 GB): 55 token/s
- Qwen 3.8 27B (UD-Q2_K_XL, 9,2 GB): nagyjából 20 token/s, 64 ezer tokenes kontextussal
A Tom’s Hardware szerint a Reddit-felhasználó a Gemma 4 E4B-vel 61, a Llama 3.2 3B-vel 124 token/másodpercet mért.
Modellszerver a tévé alatt
A PS5LM nemcsak a konzolon fut, hanem a hálózat többi eszközét is kiszolgálja. Az OpenAI és az Anthropic API-jával kompatibilis végpontokat ad, így laptopról, telefonról vagy programozó eszközökből is használható, a fejlesztő szerint a Claude Code is működik vele. A tévén élőben látszik, melyik eszköz mit kérdezett, és hogyan születik a válasz. Egy külön nézet a konzol hőmérsékletét, fogyasztását, GPU- és CPU-terhelését mutatja. A modelleket a program maga tölti le a Hugging Face-ről, és azt is kiszámolja, mekkora kontextus fér el a szabad memóriában. Képeket is tud értelmezni azokkal a modellekkel, amelyek erre képesek.
A használatához feltört PS5 kell, 7.00 és 13.60 közötti rendszerszoftverrel, valamint több homebrew-kiegészítő, köztük az etaHEN. A Reddit-hozzászólók egy része a kriptobányászat miatti GPU-hiányt emlegette, a Tom’s Hardware szerint viszont ettől nem kell tartani, mert a PS5 GPU-ja és memóriája nem elég erős ahhoz, hogy érdemes legyen tömegesen AI-ra fogni. A feltört PS5 korábban már Linuxot és Steam-játékokat is kapott, nemrég pedig eredeti Xbox-emulátor is megjelent rá. Aki PC-n futtatna helyi modellt, annak az Ollama a legkényelmesebb kiindulópont.
