ByteDance sācis apmācīt AI modeli ar 10 triljoniem parametru

ByteDance klusi sācis apmācīt milzeni: mākslīgā intelekta modeli ar aptuveni 10 triljoniem parametru. Tā ir drosmīga rīcība, kas ievieto uzņēmumu globālās sacensības par modeļu mērogu un spējām centrā.

Pēc avotiem, kas lietas zina, iepriekšējas apmācības process jau notiek. Šis posms, kurā modelis uzņem milzīgu daudzumu neapstrādātu datu, lai apgūtu paraugus, parasti ilgst trīs līdz sešus mēnešus pirms precizēšanas un publiskas izlaišanas. Parametri ir iekšējie iestatījumi, ko modelis izmanto zināšanu kodēšanai; tie neizstāsta visu stāstu, taču tie ir plaši lietots īss apraksts modeļa izmēram un potenciālam.

Kāpēc mērogs ir nozīmīgs? Lielāki modeļi var uztvert vairāk nianses un labāk vispārināt uzdevumus, lai gan ieguvumi nav lineāri un efektivitāte joprojām ir svarīga. ByteDance ziņotais 10 triljonu mērķis padarītu šo modeli vairāk nekā trīs reizes lielāku par Kimi K3, Ķīnas startapa sistēmu ar 2,8 triljoniem parametru, un ievērojami lielāku par agrākajiem vietējiem dalībniekiem, piemēram, LongCat-2.0 un V4-Pro, kuriem katram ir aptuveni 1,6 triljoni.

Tiešas salīdzināšanas ar vadošajām ASV izstrādātajām sistēmām joprojām ir sarežģītas. Uzņēmumi, piemēram, Anthropic un OpenAI, reti publicē precīzus parametru skaitus saviem vadošajiem modeļiem. Neatkarīgas aplēses liecina, ka Anthropic progresīvā piedāvājuma Mithos 5 parametru skaits ir tuvu astoņiem triljoniem, bet Fable 5 — aptuveni pieciem triljoniem. Ja šīs aplēses apstiprinās, ByteDance jaunais projekts būtu salīdzināms ar Anthropic visizsmalcinātākajām sistēmām.

Stāstam ir vēl viena dimensija: loģistika un izmaksas. Apmācība šādā mērogā ir dārga un enerģiju patērējoša. Ķīnas tehnoloģiju uzņēmumi sacenšas, lai saīsinātu izstrādes ciklus un izspiestu vairāk efektivitātes no savām platformām, mērķējot laist laukumā spēcīgas sistēmas bez nekontrolējami augstām ekspluatācijas izmaksām. Tas ir pragmatisks risinājums skarbam tirgum.

Vai vien parametrus skaits izšķirs uzvarētājus, joprojām ir atklāts jautājums, taču ByteDance centieni uzsver, ka konkurences fronte ir pārorientējusies no gudriem pētniecības rakstiem uz rūpnieciska mēroga inženieriju un izvēršanu.

Rēķinieties ar vairāk paziņojumiem un pakāpeniskiem uzlabojumiem, nevis ar vienu noteicošu atklājumu. Īstā cīņa risināsies par to, kā šīs sistēmas tiek noregulētas, mērogotas un integrētas produktos, ko cilvēki patiešām lieto.