A mesterséges intelligenciát futtató gyorsítók egyik legnagyobb gondja már nem csak a számítási teljesítmény, hanem az, hogy hol férjen el a modell. A HBM gyors, közel ül a GPU-hoz, viszont drága és a kapacitása véges. Az SSD jóval nagyobb, de túl messze és túl lassan van ahhoz, hogy úgy viselkedjen, mint a gyorsító saját memóriája. A Sandisk és az SK hynix erre a résre próbálja beilleszteni a High Bandwidth Flash, röviden HBF szabványt.
A két vállalat az Open Compute Projecten keresztül közzétette az első műszaki specifikációt. A VideoCardz beszámolója szerint a dokumentum már nem csak egy távlati ötletet ír le: teljesítménykövetelményeket, villamos irányelveket, a HBF-verem és a gazdaprocesszor közötti csatlakozást, valamint tokozási, megbízhatósági és szoftveres előírásokat is tartalmaz.
Nem HBM-helyettes, hanem egy új memóriafokozat
A fontos különbség az, hogy a HBF-et nem közvetlen HBM-pótléknak szánják. A HBM maradhat ott, ahol az alacsony késleltetés és a gyakori írás számít, a NAND flashből épülő HBF pedig a ritkábban változó modellparamétereknek és más, főként olvasott következtetési adatoknak adhat sokkal nagyobb helyet. Egy AI-gyorsító így nem kényszerülne minden feladathoz a lassabb háttértárról újratölteni a teljes modellt.
A Sandisk korábbi terve szerint egy 16 lapkából álló HBF-verem 512 GB kapacitást kínálhat, nagyjából HBM-hez hasonló csomagméretben. A cég nyolc-tizenhatszoros kapacitást és hasonló költségszintet ígér a HBM-hez képest. Ezek egyelőre gyártói célértékek, nem függetlenül tesztelt, bolti termékből származó eredmények.
Ugyanez igaz a teljesítménybemutatóra is. A Sandisk saját, Llama 3.1 405B modellel végzett szimulációja állítólag mindössze 2,2 százalékkal maradt el egy korlátlan HBM-kapacitást feltételező rendszertől. Ez jól hangzik, de erősen olvasásközpontú következtetési feladatról van szó. Írásigényes munkánál, modelltréningnél vagy kiszámíthatatlan hozzáférési mintáknál a NAND késleltetése és élettartama jóval kényesebb kérdés.
A nyílt specifikáció most fontosabb, mint a terméknév
A februárban elindított szabványosítási munkához időközben a Google és a Tenstorrent is csatlakozott. Ez azért számít, mert egy új memória nem attól lesz használható, hogy egyetlen gyártó képes egymásra rakni a NAND-lapkákat. A gyorsítónak, a memóriavezérlőnek, a tokozásnak, a firmware-nek és a szoftvernek ugyanazt a nyelvet kell beszélnie. Az Open Compute Project HBF-munkacsoportja ehhez próbál közös alapot adni.
Az SK hynix és a Sandisk februári közleménye még a globális szabványosítás kezdetéről szólt. A mostani specifikáció ennél kézzelfoghatóbb lépés, de nem egyenlő a sorozatgyártással. A Sandisk korábban 2026 második felére ígérte az első mintákat, a HBF-et használó AI-eszközök mintapéldányait pedig 2027 elejére várta.
A friss bejelentés nem hozott új rajtdátumot
A mostani anyag nem módosította ezt az ütemtervet. Vagyis az első szabvány már elkészült, de még nem tudjuk, melyik gyorsító, szerver vagy felhős rendszer használja először kereskedelmi formában. Az sem dőlt el, hogy a HBF milyen mértékben fér majd be a HBM mellé anélkül, hogy túl nagy lenne a tok, a fogyasztás vagy a hőterhelés.
A HBF ezért jelenleg nem „olcsó HBM”, és még kevésbé egy új gamer-VRAM. Sokkal inkább egy nagy kapacitású, a GPU-hoz fizikailag közelebb hozott flashréteg az AI-következtetéshez. Ha működik, kevesebb modellnek kell majd SSD és HBM között ingáznia. Ha nem sikerül kordában tartani a késleltetést, a hőt és a gyártási költséget, akkor marad egy látványos memóriadiagram. Az első nyílt specifikáció éppen azért fontos, mert mostantól ezt már több vállalat ugyanazon műszaki alapokon próbálhatja kideríteni.
