A Qualcomm a június 24-i hivatalos bejelentésében lerakta az új adatközponti üzletágának térképét. A Dragonfly név alatt saját C1000 processzor, AI-gyorsítók, hálózati megoldások és egy szokatlan memóriaarchitektúra érkezik. A vállalat már nem akar megelégedni a mobilos Snapdragon chipekkel: az Nvidia, az AMD és az Intel által uralt szervertermekbe készül.
Az AI300 a friss bejelentés, nem az AI350
A hírt több helyen AI250 és AI350 párosként vették át, a Qualcomm saját közleménye viszont AI300-at nevez meg. A jelenlegi termékútvonal az AI200-zal indul, ezt követi a HBC első generációját használó AI250, majd éves ütemben az AI300. Az AI250-et 2027 közepére várják; az AI300 a következő generáció.
Ez nem egyszerű számozási apróság. Az AI200 még 768 GB LPDDR memóriát kínál kártyánként, ami nagy nyelvi modellek kiszolgálásánál több modellt vagy hosszabb kontextust enged ugyanazon a gyorsítón tartani. Az AI250 már a memóriát és a számítást közelebb húzó HBC-re épít, így a Qualcomm szerint több mint tízszeres effektív memória-sávszélességet érhet el az elődjéhez képest.
Mi az a HBC?
A High Bandwidth Compute nem azonos a ma elterjedt HBM memóriával. A Qualcomm célja az, hogy a számítás egy részét a memóriához közelebb vigye, és kevesebb energiát égessen el az adatok folyamatos mozgatásával. Az AI-kiszolgálásnál ma gyakran nem maga a matematikai művelet a szűk keresztmetszet, hanem az, hogy a modell súlyai és a gyorsítótárak milyen gyorsan jutnak el a feldolgozóegységekhez.
A vállalat azt állítja, hogy a HBC alacsonyabb energiaköltséget ad tokenenként, miközben nagyobb memóriakapacitást tesz elérhetővé. Ezeket a számokat egyelőre Qualcomm-mérések támasztják alá; független tesztek nélkül nem érdemes készpénznek venni őket. Az irány viszont érthető. A következő adatközponti verseny nem csak arról szól, melyik chip végez több műveletet másodpercenként, hanem arról is, melyik rendszer tudja folyamatosan etetni adattal a gyorsítókat.
A Dragonfly C1000 a CPU-oldalt támadja
A Qualcomm Dragonfly C1000 egy Arm-alapú szerverprocesszor, amelyet kifejezetten az állandóan működő, ügynökalapú AI-rendszerekhez terveznek. A CPU, az AI-gyorsító és a hálózat egy rack-szintű rendszer része lesz, nem különálló termékek laza gyűjteménye.
Az első megnevezett nagy partner a Meta. Ez önmagában többet ér bármely bemutatódiánál, mert egy ekkora ügyfél saját adatközpontban, valódi terhelés mellett méri majd a platformot. A C1000 várhatóan 2028-ban kerülhet nagyobb rendszerekbe, tehát a Qualcomm terve nem holnapi Nvidia-gyilkos, hanem többéves építkezés.
Miért érdekes ez az Nvidia mellett?
Az Nvidia előnye nem csak a GPU. A CUDA, a hálózati termékek, a szerverek és a fejlesztői eszközök együtt tartják a vállalatot az élen. A Qualcomm most ugyanezt a teljes rendszerszemléletet próbálja felépíteni, csak alacsony fogyasztású Arm processzorokkal és inference-központú gyorsítókkal.
A hangsúly az inference-en van, vagyis a már betanított modellek futtatásán. Ez józan választás: a ChatGPT-hez hasonló szolgáltatások napi működése idővel legalább akkora piac lehet, mint a modellek tréningje. Ha a HBC tényleg csökkenti az energia- és memóriaköltséget, a Qualcommnak lehet helye az Nvidia mellett. De előbb működő hardver, szoftveres támogatás és független mérés kell.
