Az NVIDIA körül újabb nyílt modellcsalád és egy hozzá kapcsolódó útválasztó réteg neve bukkant fel. A MarkTechPost beszámolója szerint a Nemotron 3.5 Lightning egy 30 milliárd paraméteres, mixture-of-experts felépítésű modell lehet, amelyből egy válasz elkészítésekor körülbelül hárommilliárd paraméter aktív.
Ez a felépítés arra a kompromisszumra épít, amelyet ma már sok fejlesztő keres: nagyobb modellkapacitás, de nem minden kérdésnél teljes számítási költség. A kevésbé összetett feladatokat így gyorsabban és olcsóbban lehet kiszolgálni, miközben az összetettebb kérések több szakértői ágat is bevonhatnak.
Nem egyetlen modellnek kell mindenre válaszolnia
A történet másik fele a NeMo Switchyard. Az NVIDIA hivatalos dokumentációja ezt olyan vezérlő- és útválasztó rétegként írja le, amely különböző szolgáltatók és modellek között tudja irányítani a kéréseket. A gyakorlatban ez azt jelentheti, hogy egy egyszerű összefoglaló nem ugyanarra a modellre kerül, mint egy hosszú kódolási vagy elemzési feladat.
Az ilyen réteg a vállalati rendszerekben lehet érdekes. Egy üzemeltető nem feltétlenül akarja ugyanazt a modellt használni minden feladatra, és az sem mindegy, melyik modell fut helyben, melyik megy felhőbe, illetve hogyan lehet egy kieső szolgáltatót lecserélni. A Switchyard neve éppen ezt a modellfüggetlenebb működést sugallja.
Fontos viszont a forrás helyzete. A konkrét „Nemotron 3.5 Lightning” megjelenéshez nem találtam külön, közvetlen NVIDIA-sajtóközleményt. Az NVIDIA hivatalos NeMo Switchyard-dokumentációja és korábbi Nemotron-kutatási anyagai megerősítik az ökoszisztéma létezését, de a mostani modell részleteit jelenleg a MarkTechPost közlése alapján lehet kezelni.
Ha a beszámolóban szereplő paraméterszám és aktív szakértői arány pontos, a Lightning nem egyszerűen újabb nyílt modell lesz, hanem egy olyan építőkocka, amelyet kisebb költségű, többmodelles rendszerekben lehet használni. A valódi kérdés most az, mikor jelenik meg a hivatalos modellkártya, a súlyok és a reprodukálható mérés.
