Qualcomm: 100 miljardu modeļi viedtālruņos gatavi 2028

Qualcomm izpilddirektors Cristiano Amon paziņojis, ka vairāki mākslīgā intelekta uzņēmumi izstrādā viedtālruņus, kas līdz 2028. gadam varētu nepārtraukti darbināt valodas modeļus ar 100 miljardiem parametru.

Amon to sacīja intervijā Fireside Alpha 2026. gada 10. oktobrī, taču atteicās nosaukt iesaistītos uzņēmumus.

100 miljardu parametru modeļa darbināšana tālrunī rada būtiskus atmiņas ierobežojumus. Ar 4 bitu kvantizāciju 100B modelim nepieciešami aptuveni 50 GB RAM, savukārt 2 bitu versijai joprojām vajadzētu ap 25 GB tikai pašam modelim, neieskaitot operētājsistēmu, lietotnes un konteksta kešatmiņu.

Qualcomm un citi nozares pārstāvji kā galvenos šķēršļus min DRAM pieejamību un izmaksas. Uzņēmums uzsvēra, ka nozare, visticamāk, tuvākajā laikā nepārsniegs ierasto 16 GB atmiņas slieksni. Ražotāji stingro DRAM tirgus apstākļu dēļ ir samazinājuši konfigurāciju skaitu ar lielāku RAM apjomu, lai gan vēl pirms aptuveni gada Android tālruņi tika piedāvāti ar līdz pat 24 GB LPDDR5X atmiņu.

Nepārtraukta inferencēšana ar lielākiem modeļiem palielina arī siltuma izdalīšanos un termiskās veiktspējas ierobežošanas risku. Tas joprojām ir praktisks šķērslis pat tad, ja nepieciešamais atmiņas apjoms būtu pieejams.

Izmaiņas mikroshēmu iepakojumā, tostarp Apple A20 Pro un Qualcomm Snapdragon 8 Elite Extreme Gen 6, risina dažas integrācijas problēmas, taču nenovērš atmiņas šauro vietu.

Starp tehniskajiem risinājumiem ir agresīva kvantizācija, kas būtiski samazina atmiņas prasības. 1 bita varianti varētu ietilpt DRAM, tomēr nozares vērtējumā modeļa kvalitāte, īpaši spriešanas uzdevumos, ievērojami pasliktinās, ja kvantizācija ir zemāka par 4 bitiem.

Vēl viena pieeja ir ekspertu maisījuma modelis ar ekspertu pārslēgšanu: katrai ievades vienībai RAM aktīva ir tikai daļa ekspertu, bet pārējie tiek glabāti zibatmiņā. Apple ir pētījis modeļu darbināšanu no iebūvētās zibatmiņas, taču UFS un NVMe atmiņa joprojām ir lēnāka par DRAM un var samazināt inferencēšanas ātrumu.

Pašlaik komerciāli izdevīgākais risinājums ir modeļu destilācija: destilēti 20B līdz 30B modeļi ierīcē var aptuveni sasniegt dažu 100B modeļu sniegumu, vienlaikus saglabājot pārvaldāmas atmiņas un termiskās prasības.

Amon nesniedza tehnisku ceļvedi un nenosauca partnerus. DRAM pieejamība, izmaksas un termiskie ierobežojumi joprojām ir galvenie šķēršļi, lai līdz 2028. gadam viedtālruņos lokāli darbinātu 100B modeļus.