Datu centra mēroga AI uz darbvirsmas: AMD Halo Station

Iedomājieties datu centra mēroga mākslīgo intelektu, kas darbojas uz darbvirsmas. Tas izklausās pēc domāšanas eksperimenta, līdz IFA izstādē paiet garām AMD stendam un ieraugāt iekārtu, kas šo ideju cenšas pārvērst realitātē.

AMD atklāja Threadripper Halo Station — darba staciju, kas apvieno uzņēmuma augstākās klases PRO komponentes ierīcē, ko AMD dēvē par «ultimālo personīgo AI darba staciju». Mērķis ir vienlaikus vienkāršs un ambiciozs: nodrošināt lielu modeļu apmācību, pēcapstrādi un inferenci vienā darbvirsmas šasijā, lai izstrādātāji un studijas varētu mazāk paļauties uz dārgiem mākoņdatošanas resursiem.

Halo Station pamatā ir Threadripper PRO 9995WX — viens no AMD jaudīgākajiem Threadripper sērijas procesoriem. Tam ir daudz kodolu, augstas takts frekvences, un mikroshēma spēj sasniegt līdz 5.4 GHz. Tā ir optimizēta augstai caurlaidspējai un intensīvai daudzuzdevumu veikšanai. Taču ar CPU jaudu vien šeit nepietiek.

AI uzdevumos galveno darbu paveic GPU. AMD Threadripper procesoru savieno ar darbstaciju klases Instinct akseleratoriem — MI350P kartēm ar HBM3e atmiņu. Tipiskā konfigurācijā ir divas šādas kartes, bet šasijā iespējams uzstādīt līdz četrām, palielinot atmiņas apjomu līdz iespaidīgiem 576 GB HBM3e. Kopējais GPU atmiņas joslas platums tiek minēts vairāku terabaitu sekundē līmenī, savukārt sistēma atbalsta līdz 2 TB DDR5 RDIMM atmiņas. Saskaitot abas atmiņas kopas, kopējais sistēmas atmiņas apjoms sasniedz aptuveni 2.6 TB.

• CPU: Threadripper PRO 9995WX, līdz 96 Zen 5 kodoliem / 192 pavedieniem, takts frekvence līdz 5.4 GHz, aptuveni 384 MB kešatmiņas
• GPU: līdz 4× AMD Instinct MI350P akseleratoriem, katram 144 GB HBM3e atmiņas (līdz 576 GB kopā)
• Sistēmas atmiņa: līdz 2 TB DDR5 RDIMM (kopējā sistēmas atmiņa ≈ 2.6 TB)
• Šasija & dzesēšana: šķidruma dzesēšana standarta E-ATX Halo tipa korpusā
• Mērķa pieejamība: plānota 2027. gadā

Protams, ir arī kompromisi. NVIDIA DGX Station joprojām ir tiešs konkurents un dažās arhitektūrās un paplašināšanas iespējās saglabā priekšrocības, jo NVIDIA atbalsta AIC paplašināšanas kartes un dažos akseleratoros piedāvā lielu vienas mikroshēmas HBM atmiņas ietilpību. AMD pieeja ir cita: mērogošana ar vairākām Instinct kartēm, milzīgs CPU pavedienu skaits un iespēja vajadzību gadījumā nomainīt komponentes pret standarta detaļām.

Kāpēc tas ir svarīgi? Ne visas komandas vēlas īrēt skaitļošanas jaudu pa stundām. Triljonu parametru modeļu lokāla apmācība vai izvietošana var būtiski samazināt regulārās izmaksas, kā arī novērst joslas platuma un privātuma problēmas, kas saistītas ar mākoņpakalpojumu sniedzējiem. Vienkārši sakot — samaksā vienreiz, izmanto daudz. AMD nepārprotami pozicionē Halo Station kā risinājumu komandām, kurām nepieciešama datu centra klases caurlaidspēja bez paša datu centra mēroga.

IFA izstādē AMD neapstājās pie vienas iekārtas. Uzņēmums demonstrēja arī Ryzen AI MAX 400 sēriju, klēpjdatorus un mini PC, kas optimizēti lokāliem AI uzdevumiem. Šīs ierīces paredzētas jaudīgai inferencei un izstrādei pašā ierīcē pārnēsājamā formātā, un partneri, tostarp HP, Lenovo, Acer un citi, jau demonstrēja datorus, kas tiks piegādāti ar šo platformu.

Papildus aparatūrai AMD izcēla arī programmatūras un ekosistēmas risinājumus. Ryzen AI Halo sistēmas tiks piegādātas ar Microsoft Project Zenith, tostarp tādiem rīkiem kā Visual Studio Code, WSL, GitHub Copilot CLI un PowerShell, lai atvieglotu lokālo modeļu izstrādi. AMD arī paziņoja par sadarbību ar SUSE, lai palīdzētu komandām pārcelt lietojumprogrammas no lokālas izstrādes Ryzen AI Halo platformā uz mērogojamām, ražošanas līmeņa vidēm, tādējādi novēršot vēl vienu šķērsli uzņēmumiem.

Pasākumā demonstrētie etalontesti bija iespaidīgi. Ryzen AI MAX+ prototips ar integrētu atmiņu, pēc ziņojumiem, lokāli darbināja GLM-5.3 Flash modeli ar aptuveni 320 miljardiem parametru un sasniedza aptuveni 58 tokenus sekundē. Tas nodrošina praktisku caurlaidspēju daudziem reāliem lietojumiem un, kas ir svarīgi, arī izmaksu priekšrocību: plaša paļaušanās uz mitinātiem LLM daudzmiljonu tokenu uzdevumos var ātri izmaksāt simtiem eiro. Lokāls silīcijs šo aprēķinu maina.

AMD cenšas pārrakstīt priekšstatu par to, kā un kur tiek izstrādāts AI, pārceļot darbu no attāliem serveru plauktiem atpakaļ uz darbvirsmu, neupurējot veiktspēju vai paplašināmību.

Tomēr vēl ne viss ir skaidrs. Threadripper Halo Station cena pagaidām nav izziņota. DGX Station vēsturiski maksājusi gandrīz sešciparu summu, un nozares vērotāji sagaida, ka AMD Halo Station šajā segmentā pozicionēs konkurētspējīgi — atkarībā no tirgus stratēģijas vai nu līdzvērtīgi NVIDIA cenai, vai zem tās.

AMD komponentu stratēģijai ir arī praktiska priekšrocība: daudzas Halo Station detaļas nāk no ierastajām serveru un darbstaciju ekosistēmām, tādēļ apkope un nākotnes jauninājumi ir mazāk proprietāri un modulārāki. Tas varētu piesaistīt laboratorijas un studijas, kas aparatūras ceļkartes plāno vairākiem gadiem uz priekšu.

Īsumā — AMD piedāvā inženierisku pragmatismu kopā ar ambīcijām: dot izstrādātājiem pazīstamus rīkus, ļaut tiem lokāli darbināt milzīgus modeļus un nodrošināt aparatūru, ko iespējams apkopt un mērogot bez piegādātāja radītiem ierobežojumiem. Ja tirgus reaģēs, 2027. gads var kļūt par brīdi, kad darbvirsmas AI pārstās būt niša un kļūs par saprātīgu izvēli nopietnām komandām.