Új, laptopon is futtatható nyílt súlyú nyelvi modellt adott ki november 20-án a Thinking Machines Lab: a Thinking Machines Lab hivatalos bejelentése és a Hugging Face modellkártya szerint az Inkling 2 Mini egy úgynevezett „hurokban gondolkodó” (looped transformer) architektúrával dolgozik, és 20 GB körüli tárhelyen is elfér.
A multimodális, szöveg és kép (40–4096 pixel közötti felbontás) feldolgozására egyaránt képes modell Apache 2.0 licenccel érhető el, az AI-következtetés mellett pedig 1 millió tokenes kontextusablakot támogat. Helyi futtatáshoz megjelent hozzá a támogatás több népszerű motorban, köztük a közelmúltban 1.0-s verzióba lépett llama.cpp és az Unsloth GGUF-csomagjai alatt is.
Hogyan működik a hurkolt MoE-architektúra?
Az Inkling 2 Mini egy 24 rétegű, ritka Mixture-of-Experts (MoE) felépítésű modell – vagyis minden szótöredék (token) feldolgozásánál csak a hálózat egy kis részét, rétegenként a 128 szakértői alhálózat közül 8-at aktivál. Az újítás lényege, hogy a 24 rétegből a középső 12 réteget háromszor futtatja le egymás után megosztott súlyokkal, így ugyanazzal a 24 rétegnyi memóriával 48 rétegnyi mélységű számítást végez.
A teljes modell 26,4 milliárd paramétert tartalmaz, ebből egy áthaladásra 3,4 milliárd aktív jut, a háromszoros belső kör miatt pedig tokenenként effektíve 5,4 milliárd súlyaktiválás történik. Mivel a súlyok többsége natívan 4 bites NVFP4, az utolsó négy réteg pedig 8 bites MXFP8 pontossággal készült, a teljes csomag mérete körülbelül 20 GB marad – ezzel már 32 GB egyesített memóriás Apple Silicon MacBookokon, legalább 32 GB VRAM-os GPU-kon és az NVIDIA DGX Sparkon is elfut, jóval szerényebb hardverigénnyel, mint a nagyméretű szerveres modellek.
Mire elég a belső számítás, és hol a határa?
A hurokarchitektúra célja, hogy a modell több lépésben tudjon következtetni anélkül, hogy oldalakon át írná ki közben a szöveges gondolatmenetet. A Thinking Machines Lab tesztjei szerint az ügynökalapú programozási feladatokban az Inkling 2 Mini a 100 milliárd paraméter alatti nyílt súlyú mezőny élén végzett: a DeepSWE v1.1 teszten 48,2 százalékot, a Vals Index v2.2-n pedig 46,5 százalékot ért el, szemlézőként pedig a The Decoder is kiemelte, hogy az Artificial Analysis Index v5.0 mérésén 20,1 ponttal beérte a sűrűbb, 27 milliárd aktív paraméteres Qwen3.8-27B modellt.
| Modell | Aktív / összes paraméter | AA Index v5.0 |
|---|---|---|
| Inkling 2 Mini | 3,4B (eff. 5,4B) / 26,4B | 20,1 |
| Qwen3.8-27B | 27B / 27B | 20,1 |
| Nemotron 3.5 Super VL | 12B / 125B | 13,6 |
| Muse Glimmer | 30B / 30B | 6,3 |
| Gemma 4 31B | 31B / 31B | 4,4 |
A kutatók egy bemutatón offline, repülőgépmódra kapcsolt 48 GB-os M5 Pro MacBook Prón is készíttettek vele egy játszható repülőszimulátort, emellett kiadtak egy változó hurokszámú kutatói változatot (TML-d24-varloop-research) is. Ugyanakkor a csapat nyíltan jelzi a módszer korlátját: a többszöri rétegfuttatás csak a logikai következtetést segíti, nem tesz több tárgyi tudást a súlyokba, így az AA-Omniscience tényellenőrző teszten a modell a saját súlykategóriájának megfelelő átlagos szintet hozza. Illusztráció: BytePoint.