Az 1.0.0-s kiadáshoz ért a llama.cpp és az alatta dolgozó ggml könyvtár. A fejlesztőcsapat november 13-i bejelentése szerint a verziószám ezentúl egyértelműen jelzi, ha egy frissítés miatt módosítani vagy újra kell fordítani a könyvtárra épülő alkalmazást. A llama.cpp helyben futtat nyelvi modelleket, a ggml pedig az ehhez szükséges számításokat végzi a rendelkezésre álló hardveren.
Mit mutat majd a verziószám?
Az első szám akkor nő, ha a nyilvános C-felület vagy a meglévő programok bináris kompatibilitása változik. A második szám az új, visszafelé kompatibilis funkciókat és modelltámogatást jelzi. A harmadik hibajavításkor változik. Ha például egy alkalmazás az 1.0-s könyvtárra épül, egy későbbi 1.1-es verzió érkezhet új modellformátum támogatásával, a 2.0 viszont külön fejlesztői munkát igényelhet.
A llama.cpp külön számítási háttérrel tud dolgozni többféle processzoron és videokártyán. A fejlesztők több mint 150 modellarchitektúra-változatról írnak. A rugalmasságra jó példa a PS5LM kísérlet, amely a llama.cpp-t a PlayStation 5 GPU-jához igazította. A helyi futtatóeszközök másik példája a Gemma 4-hez Apple MLX-gyorsítást hozó Ollama-frissítés.
A változás a kész alkalmazások felhasználóinál akkor jelenik meg, amikor az adott program átveszi az új könyvtárverziót. A csapat a kiadáshoz Linux-, macOS- és Windows-csomagolási lehetőségeket is felsorol, köztük a Docker, a Homebrew és a Winget használatát.
