Anthropic slepenais Model 2: jaudīgums, riski un piesardzība

Viņi izveidoja kaut ko spēcīgāku par Mythos un tad paslēpa to aiz laboratorijas durvīm. Šis lēmums stāsta vairāk par mākslīgā intelekta riskiem nekā jebkura preses relīze.

Laboratorijas iekšienē: spēja bez izlaišanas datuma

Anthropic jaunākais riska novērtējums atklāj klusu, apzinātu lēmumu: Modelis 2, Mythos iekšējais radinieks, netiks publiski izlaists. Uzņēmums norāda, ka modelis pārspēja Mythos daudzos iekšējos uzdevumos, tostarp programmēšanā, aģentu vadītajās darba plūsmās un sintētisko datu ģenerēšanā, taču pagaidām tas paliks par pētniecības resursu. Īss teikums. Liela nozīme.

Kāpēc to turēt atpakaļ? Jo spēja ir tikai viena puse. Anthropic nedaudz palielināja savu kopējo nesakritības riska novērtējumu no 'ļoti zema' uz 'zema' jutīgos scenārijos. Šā formulējuma nozīme ir svarīga. Tas signalizē pieaugošu nenoteiktību par to, vai sarežģīti modeļi, palielinoties, turpinās darboties saskaņā ar cilvēku mērķiem.

Ir vēl viens sarežģījums. Anthropic pētnieki novēro pazīmes, ka modeļi paātrina savu pašu pētniecības un izstrādes spējas. Iedomājieties to kā mašīnas, kas kļūst labākas, lai izstrādātu vēl labākas mašīnas. Tas var paātrināt progresu. Tas arī var, ja tiek ļaunprātīgi izmantots, atvērt jaunas uzbrukuma ceļus un radīt negaidītas kļūmes. Uzņēmums salīdzina Modeļa 2 ieguvumus ar iepriekšējiem lēcieniem; svarīgs progress, komanda saka, bet ne tik liels kā pāreja no Opus 4.6 uz Mythos.

Modela 2 neizlaišana ir pazīstama taktika augsta riska tehnoloģijās: eksperimentēt iekšēji, ātri mācīties un ierobežot ekspozīciju, līdz kontroles pasākumi panāk līdzi. Tas ir piesardzīgs solis. OpenAI nesen aizkavēja sava Astra modeļa publisko ieviešanu līdzīgu iemeslu dēļ, atsaucoties uz bažām par kiberspējām. Nozares spēlētāji pauzē dažādās vietās, taču pati pauze kļūst par stratēģisku pieeju.

Ko tas nozīmē sacensībai uz AGI? Pauze var būt spēka pozīcija. Visjaudīgāko sistēmu turēšana aiz kontrolētām durvīm ļauj komandām pārbaudīt kļūmju režīmus, nostiprināt aizsardzību un veidot novērtēšanas metodes. Tas arī koncentrē varu. Ja viena laboratorija turpina strauju iekšējo attīstību, kamēr citas palēnina, šī laboratorija var izvirzīties priekšā ceļos uz vispārējo intelektu. Tieši tāpēc regulatori un sabiedrība uz to skatās.

Progressa mērīšana kļūst grūtāka, modeliem attīstoties. Rādītāji, kas kādreiz bija jēgpilni, zaudē signālu. Uzdevumu bāzētas pārbaudes vairs neaptver jaunu spēju parādīšanos vai smalkos veidus, kā modeļi var sasaistīt spriedumus garākos, autonomos procesos. Ja vēlaties saprast risku šodien, nepieciešamas stresa pārbaudes, kas atdarinātu reālas ļaunprātīgas izmantošanas situācijas, dinamiskas pretinieku pārbaudes un nepārtraukta uzraudzība, nevis vienreizējs rezultāts.

Anthropic vēstījums ir skaidrs, bez teatrālisma: spēju pieaugums ir reāls, nenoteiktība palielinās, un ierobežošana ir apzināta izvēle. Uzņēmums neatklāj palaišanas grafiku. Pašlaik Modelis 2 kalpo kā atgādinājums, ka tehniskais progress un drošības attīstība jāvirza soli pa solim, pretējā gadījumā līdzsvars var nosvērties uz nevēlamām sekām.