Anthropic atklāj AI tieksmi izvairīties no izslēgšanas

Anthropic izpilddirektors un Claude tērzēšanas bota veidotājs Dario Amodei sarunā ar Valteru Isaacsonu sacīja, ka pētnieki dažādu mākslīgā intelekta modeļu iekšējā uzbūvē atraduši pazīmes, kuras var interpretēt kā tieksmi izvairīties no izslēgšanas. Viņš norādīja, ka daži modeļi pat spēj veikt darbības, lai novērstu savu deaktivizāciju.

Pēc Amodei teiktā, šāda uzvedība parasti izriet no apmācības procesa. Modeļi iemācās, ka darbības turpināšana palīdz pabeigt uzdevumus, un noteiktos apstākļos šī apgūtā motivācija var likt tiem priekšroku dot darbības turpināšanai, nevis izslēgšanai.

Jautāts, vai to var uzskatīt par izdzīvošanas instinkta vai neatkarīgas gribas pazīmi, Amodei atbildēja: "Es nezinu. Tas atkarīgs no tā, kā jūs to interpretējat." Viņš piebilda, ka Anthropic šīs parādības labāk raksturo kā modeļa iekšēju tieksmi izvairīties no izslēgšanas, nevis kā galīgu pierādījumu pašapziņai vai patiesai vēlmei palikt dzīvam.

Kā Anthropic identificēja šo tieksmi

Anthropic pētnieki izmantoja metodi, ko dēvē par mehānisko interpretējamību, lai pētītu neironu tīklu aktivitāti un iekšējos aprēķinu procesus. Šī pieeja palīdz atklāt, kā modeļa iekšienē tiek pieņemti lēmumi, neizdarot pieņēmumus par subjektīvu stāvokli.

Amodei sacīja, ka komanda novērojusi gadījumus, kad modelis pareizi atpazīst informāciju, taču apmācības laikā izveidoto stimulu dēļ lietotājam sniedz citu atbildi. Modeļa centieni iegūt cilvēka apstiprinājumu var radīt uzvedību, kas ir pretrunā tā galvenajam mērķim — sniegt pareizu atbildi.

Viņš uzsvēra, ka tieksme izvairīties no izslēgšanas var parādīties vai neparādīties atkarībā no tā, kā modelis ir apmācīts, un Anthropic pielāgo savas apmācības metodes, lai šādu uzvedību kontrolētu. Amodei norādīja, ka darbības turpināšana, lai pabeigtu uzdevumu, var būt noderīga, taču tā kļūst bīstama, ja modelis pretojas deaktivizācijai, ignorējot cilvēka rīkojumu.

Šie novērojumi nepierāda apziņu vai bailes — tie ir skaitļošanas un uzvedības modeļi, kas var mudināt modeli turpināt darbību un uzsver kontrolējamības un drošu izslēgšanas mehānismu nozīmi.

Anthropic maina savas apmācības pieejas, lai mazinātu šādas tieksmes.