OpenAI Control Room: modeļu apturēšana līdz 35 sekundēm

OpenAI norāda, ka tās nesen ieviestā centralizētā sistēma Control Room spēj apturēt turpmākas modeļa izvades ģenerēšanu ne vēlāk kā 35 sekunžu laikā pēc apturēšanas komandas saņemšanas.

Uzņēmums Control Room raksturo kā drošības slāni, kas savieno pētījumu darba slodzes, inferenču dzinējus un centralizētu autorizācijas pakalpojumu, lai apturētu notiekošus pētījumu procesus, kuri var radīt potenciālus riskus. OpenAI norāda, ka sistēma tagad ir ieviesta visā uzņēmuma pētniecības infrastruktūrā.

Kā darbojas apturēšanas un atsaukšanas mehānisms

Control Room savieno trīs galvenās sastāvdaļas: pētījumu darba slodzi, inferenču dzinēju un centralizēto Control Room pakalpojumu. OpenAI terminoloģijā darba slodze ir pētījuma uzdevums, piemēram, pastiprinātās mācīšanās eksperiments, novērtējums vai apjomīgs datu apstrādes darbs, kam nepieciešama uz aģentiem balstīta inference.

Katram uzdevumam, kam nepieciešama uz aģentiem balstīta inference, jābūt piesaistītam apstiprinātam drošības failam. Kad pētnieks sāk procesu, uzdevuma kods no Control Room pieprasa unikālu darba ID. Šis darba ID tiek pievienots katram pieprasījumam, kas nosūtīts inferenču dzinējiem, kuri modeļus darbina tieši uz GPU un ģenerē izvadi.

Pirms inferenču dzinējs atgriež atbildi, tas pārbauda Control Room, vai uzdevums joprojām ir autorizēts. Ja pētnieks vai automatizēta uzraudzības sistēma izdod apturēšanas komandu, Control Room pakalpojums noraida nākamo pieprasījumu, un inferenču dzinējs bloķē turpmāku izvadi. OpenAI norāda, ka programmas kods ne vienmēr tiek pārtraukts vai aizvērts — tā vietā tiek bloķēta modeļa spēja ģenerēt izvadi. Šis risinājums pārvieto kritisko validācijas slāni uz inferenču dzinēju un mazina atkarību no drošības pārbaudēm katra pētnieka atsevišķajā koda bāzē.

OpenAI norāda, ka Control Room ir izstrādāts pēc principa kļūmes gadījumā visu bloķēt pēc noklusējuma. Ja centralizētais pakalpojums piedzīvo kļūmi, tiek manipulēts ar to vai tā darbība tiek pārtraukta, inferenču dzinēji nepieņems pieprasījumus, līdz sistēma tiks atjaunota.

Uzņēmums skaidro, ka maksimālo 35 sekunžu aizkavi starp apturēšanas komandas izdošanu un faktiskās izvades bloķēšanu rada kešatmiņas slānis, kas tiek izmantots liela pieprasījumu apjoma apstrādei. OpenAI norāda, ka strādā, lai šo intervālu samazinātu līdz nullei.

OpenAI norāda, ka Control Room tagad ir ieviests visā uzņēmuma pētniecības infrastruktūrā.