SK hynix HBM4E palielina atmiņas joslas platumu un blīvumu

Atmiņa klusi kļūst par pudeles kaklu sacensībā par ātrāku mākslīgā intelekta inferenci. SK hynix tikko paveica būtisku soli, piegādājot partneriem savus jaunā HBM4E paraugus, kas palielina spiedienu uz atmiņas joslas platumu akceleratoru dizainā.

Īsā versija: tas ir ātrāks. SK hynix HBM4E sasniedz 16Gbps uz pina, salīdzinot ar 10Gbps iepriekšējā HBM4 specifikācijā. Samsung, lai nepiektos, apmēram mēnesi agrāk sāka paraugu piegādes ar 14Gbps dizainu, taču SK hynix sniegums ir ievērojams, jo veiktspējas uzlabojumi bieži nāk ar sāpīgiem kompromisiem. Šoreiz tā nav.

SK hynix HBM4E sasniedz 16Gbps uz pina un 48GB uz 12 čipu kaudzes.

Uzņēmums iepako 12 silīcija čipu slāņus vienā korpusā, nodrošinot 48 GB uz kaudzes. Tas ir svarīgi, jo vairums AI akceleratoru neaprobežojas ar vienu kaudzi; tie savieno vairākas HBM kaudzes, lai pabarotu milzīgas iekārtas čipā iebūvētas matricas. Lielāka kapacitāte uz kaudzes vienkāršo plates dizainu un samazina iepakojuma sarežģītību blīvi izvietotu akceleratoru moduļos.

Jaudas jautājums ir vieta, kur šī paaudze izdara pragmatisku soli. SK hynix norāda, ka HBM4E ir aptuveni par 20% energoefektīvāks nekā iepriekšējais HBM4. Uzlabota efektivitāte ir nenovērtēts AI izvietošanas faktors; var palielināt joslas platumu, bet, ja neizdodas novadīt siltumu, praktiskie ieguvumi pazūd. SK hynix izmanto Mass Reflow Molded Underfill procesu (MR-MUF), injicējot aizsargājošu šķidrumu starp silīcija čipu slāņiem, lai stabilizētu korpusu. Rezultāts: aptuveni par 17% zemāka siltuma pretestība salīdzinājumā ar vecāku pieeju, kas atvieglo dzesēšanas sistēmu darbu.

Kāpēc siltuma pretestība ir tik būtiska? Jo pasaulē, kur plaukti ir piebāzti ar akceleratoriem, katrs taupītais vats un katra samazinātā savienojuma temperatūras pakāpe pagarina uzticamību un vienkāršo datu centru dzesēšanas budžetus. Inženieri ienīst pārsteigumus. Zemāka siltuma pretestība ir tieši tāda paredzama uzlabošana, uz kuras viņi var balstīt produktu ceļkartes.

Ir arī plašākas sekas. Ātrāki pini un augstākas blīvuma kaudzes ļauj čipu arhitektiem pārdomāt interposera izkārtojumu un atmiņas kanālus. Viņi var vai nu palielināt izejas skaitļošanu, vai mērogot modeļus, kuri iepriekš nonāca atmiņas ierobežojumu dēļ. Vienkārši sakot: lielāki modeļi, blīvāka inferencēšana vai tie paši modeļi, kas darbojas lētāk un ar zemāku siltumu.

SK hynix pozicionēja paraugu piegādes kā savlaicīgu etapu, ko atbalsta ražošanas pieredze. Ziņojums ir skaidrs: uzņēmums sagaida, ka partneri sāks kvalifikācijas darbus un virzīsies uz masveida ražošanu. Laiks ir svarīgs klientiem, kas plāno silīcija un moduļu izlaides; agrāka piekļuve paraugiem saīsina šo ciklu.

Ne katrai AI darba slodzei nepieciešams viss asais tehnoloģiju gals. Tomēr hyperskalētājiem un AI aparatūras jaunuzņēmumiem, kas tiecas pēc maksimālās caurlaides, HBM4E kombinācija — joslas platums, kapacitāte un siltuma uzlabojumi — būs pievilcīga. Vai tas pārveidos nākamo akceleratoru vilni? Varbūt. Nākamais jautājums ir, cik ātri ekosistēma, tostarp interposeri, dzesētāji un sistēmu arhitekti, spēs pielāgoties, lai izmantotu šīs kaudzes sniegtos papildu resursus.

Ja jums rūp AI aparatūras nākotne, turpiniet sekot atmiņai. Tā bieži maina sacensības nemanāmi, līdz brīdim, kad tas kļūst acīmredzams.