Xiaomi AI Cube: kompakts datu centra jaudas demonstrētājs

Iedomājieties plaukstas lieluma galddatoru, kas cenšas sabāzt datu centru kurpju kastītē. Xiaomi prototipa AI Cube iespaids ir tieši šāds: kompakts, precīzs un atklāti ambiciozs.

Mazs korpuss, liela ambīcija

Šī mini datora sirdī atrodas trīs vietējie mikroshēmojumi ar nosaukumiem XRING O3, XRING O100 un XRING D100. O3 ir galvenais mākslīgā intelekta dzinējs: 10 kodolu CPU, savienots ar 16 kodolu G2-Ultra NX GPU un zemas enerģijas NPU, kuras veiktspēja ir apmēram 200 TOPS. Īslaicīgi tas nodrošina lielu caurlaidi. Ilgtermiņā tas piedāvā efektīvu inferenci.

O100 ir paredzēts kā augstas joslas platuma paātrinātājs. Izgatavots 6 nm procesā, tas nodrošina 28 672 efektīvas datu līnijas un gandrīz atmiņai tuvā skaitļošanas josla ar ātrumu, kas tuvojas 1,22 TB sekundē. Šāda lokālā caurlaide ir nozīmīga, ja vēlaties darbināt lielākus valodas modeļus, neuzticoties pastāvīgi mākoņa resursiem.

Un tad ir D100, 3 nm risinājums, orientēts uz braukšanas un uztveres uzdevumiem. Tas piedāvā 20 jaudīgus skaitļošanas kodolus, 16 kodolu NPU un atbalstu līdz pat 160 GB atmiņas. Trīs vienību savstarpējā sadale paredzēta, lai katra veiktu savu darbu: vispārēja orķestrācija, smagā apstrāde un I/O jutīgas paātrināšanas uzdevumi.

Fiziski AI Cube ir apģērbts kosmosa rūpniecības klases alumīnijā, apstrādāts ar 33 874 CNC griezieniem. Xiaomi apgalvo, ka šasija droši iztur pastāvīgu barošanas piegādi līdz 150 vatiem. Tas norāda, ka tas nav tikai demonstrācija; tas ir būvēts, lai ilgstoši darbinātu prasīgus modeļus.

Kāda ir praktiskā pielietojuma joma? Lokālā inferencēšana. Xiaomi pozicionē Cube kā ierīci, kas var lokāli mitināt lielos valodas modeļus ar aptuveni 3 miljardu līdz 120 miljardu parametru apjomu bez pieslēguma mākoņiem. Padomājiet par privātumam orientētiem palīgiem, ierīcē darbojošiem kodēšanas palīgiem vai mala mākslīgā intelekta rīkiem, kuriem nav pieļaujamas aiztures vai atkarība no mākoņa. Fizisks slēdzis ļauj lietotājiem pārslēgties starp augstas veiktspējas un zemas enerģijas režīmiem atkarībā no uzdevuma.

Jāņem vērā arī konteksts. Citas nišas ierīces, piemēram, Tiiny AI Pocket Lab, jau demonstrējušas, ka iespējams darbināt 120B modeļus kompaktā formfaktorā. Xiaomi pieeja atšķiras ar to, ka tiek izmantota proprietāra mikroshēmojumu arhitektūra un silīcijs, nevis trešo pušu paātrinātāju pārvietošana.

Pašlaik AI Cube ir prototips. Xiaomi nav atklājis cenu vai izlaišanas laiku, tāpēc nav skaidrs, vai tas kļūs par komerciālu produktu vai paliks kā tehnoloģiju izstādes eksponāts. Interesants sīkums: agrīnās mašīntulkojumu versijās reklāmas attēliem tika nejauši mainīti XRING nosaukumi, kas radīja īslaicīgu neskaidrību atspoguļojumā. Tomēr paša aparatūra šķiet apzināti vietējā izpildījumā no Xiaomi.

Nobeigums: AI Cube signalizē par Xiaomi ambīciju kontrolēt vairāk no tehnoloģiskā slāņa — no silīcija līdz pakalpojumiem — un tuvāk lietotājam pārvietot augstas veiktspējas mākslīgo intelektu. Vai tirgus pieprasīs vēl vienu mala ierīci, rādīs laiks. Taču kā tehnisks paziņojums to ir grūti ignorēt.