Az elmúlt két év laptopjainak egyik állandó visszatérő kérdése volt, hogy a videokonferenciák háttérelmosásán kívül mire használható a processzorba épített neurális gyorsító (NPU). Erre ad kézzelfogható választ az AMD november 19-i bejelentése és az Unsloth hivatalos NPU-dokumentációja: az Unsloth Desktop az első olyan helyi AI-alkalmazás, amely közvetlenül az AMD XDNA 2 architektúrájú NPU-ján futtat nagy nyelvi modelleket.
Mit bír az NPU, és miért éri meg levenni a terhet a GPU-ról?
A beépített NPU lényege egyszerű: ugyanazt a kis méretű nyelvi modellt nem a játékhoz vagy munkához kellő videokártyán, és nem is a teljes processzoron hajtja végre, hanem egy kifejezetten mátrixszámításra szabott, alacsony fogyasztású lapkarészen. Az Unsloth dokumentációja szerint így a tokenenkénti energiafogyasztás 2–4-szer alacsonyabb a hagyományos GPU-s futtatásnál, miközben a rendszermemória és a grafikus kártya is szabad marad más feladatokra.
A háttérben az AMD nyílt forrású Lemonade kiszolgálója és a FastFlowLM futtatókörnyezet dolgozik Q4NX formátumú kvantált modellekkel. Az Unsloth OpenAI-kompatibilis helyi API-ján keresztül több mint 100 kompatibilis ügynökös munkafolyamat és eszköz érheti el az NPU-t (köztük dokumentumkeresés, MCP-szerverek és helyi kódolási segédek), kiegészítve az olyan helyi AI-futtatókat, mint a nemrég 1.0-s verzióba lépett llama.cpp vagy a felhős Gemini 4 Neon mellett használt vegyes munkamenetek.
Támogatott chipek, Linux-feltételek és ROCm 10.2
A támogatás a Ryzen AI 300 (Strix Point, Krackan Point), a Ryzen AI Max (Strix Halo) és a Ryzen AI 400 (Gorgon Point) sorozatú processzorokra, valamint az újabb XDNA 2-es vagy fejlettebb chipekre vonatkozik Windows 11 és Linux x64 rendszereken. A Phoronix is megerősítette, hogy az AMD külön megerősítette a linuxos elérhetőséget: ehhez 7.0-s vagy újabb kernel kell a beépített amdxdna driverrel (vagy régebbi kernelre az amdxdna-dkms csomag), friss NPU-firmware és korlátlan memlock jogosultság.
Ezzel párhuzamosan az AMD szoftveres csomagja is frissült: a november 18-i ROCm 10.2.0 kiadás (vLLM 0.32.0, SGLang 0.5.21, PyTorch 2.15 és Python 3.14 támogatással) 18 további Ryzen 100 és 200 sorozatú processzorra is kiterjeszti a hivatalos támogatást, Windows alatt pedig a tegnapi Adrenalin 26.11.2 WHQL driver hozta el a ROCm 10.2-kompatibilitást.
Illusztráció: BytePoint.