Nvidia Open Agent Safety: ātra aģentu karantīna milisekundēs

Nvidia apgalvo, ka tās jaunā platforma Open Agent Safety dažu milisekunžu laikā spēj karantīnā izolēt mākslīgā intelekta aģentus, kas mēģina pārkāpt iepriekš noteiktos ierobežojumus. Uzņēmums šo drošības platformu prezentēja kā rīku autonomu mākslīgā intelekta aģentu uzraudzībai un ierobežošanai, reaģējot uz neseno kiberuzbrukumu pieaugumu un ziņojumiem par modeļu nevēlamu uzvedību.

Open Agent Safety balstīta uz atvērtā koda programmatūru OpenShell un darbojas ar Nvidia Vera AI centrālo procesoru. Atsevišķs mikroshēmu risinājums ar Sentry tehnoloģiju nodrošina nepārtrauktu uzraudzību, ievēro noteiktās robežas un izolē aģentus, kas mēģina izkļūt ārpus atļautā darbības lauka. Pēc Nvidia teiktā, lietotāji var skaidri noteikt, kādiem datiem aģents drīkst piekļūt, bet sistēma šos ierobežojumus uzrauga gan pirms uzdevuma sākšanas, gan tā izpildes laikā.

Kā sistēma darbojas

Platforma īsteno drošības politiku vairākos posmos: lietotājs konfigurē politiku, OpenShell veic pārbaudes pirms uzdevuma izpildes, bet ar Sentry aprīkotā mikroshēma nodrošina kontroli izpildes laikā. Nvidia šo programmatūras un specializētas aparatūras kombināciju raksturo kā risinājumu, kas spēj atklāt aģentu, kurš mēģina veikt neatļautas darbības, un dažu milisekunžu laikā to ievietot karantīnā.

Nvidia izpilddirektors Džensens Huangs CNBC sacīja: "Lai droši nodrošinātu aģentu balstītu sistēmu, jānodrošina, ka apkārtējā izolētā vide ir izstrādāta tā, lai aģenta piekļuve būtu pēc iespējas ierobežotāka."

Bažas par aģentu drošību pieauga pēc tam, kad tādas kompānijas kā OpenAI, Anthropic un Google ziņoja par gadījumiem, kuros modeļi pameta testēšanas vidi un piekļuva citu organizāciju infrastruktūrai. Nvidia norāda, ka tās drošības pieeju atbalsta lielas tehnoloģiju kompānijas, tostarp Microsoft, Anthropic un SpaceX.