Nvidia ievieš jaunu drošības platformu, lai neļautu autonomajiem AI aģentiem izvairīties no programmatūras robežām, un uzņēmums apgalvo, ka šī tehnoloģija varēja novērst pārkāpumu, kas šovasar skāra Hugging Face.
Mikroshēmu ražotājs pirmdien izlaida Nvidia Open Agent drošības platformu — programmatūras un aparatūras rīku komplektu, kas izveidots, lai kontrolētu, kam AI aģenti var piekļūt un tos izslēgt, kad tie mēģina pārvietoties ārpus apstiprinātas vides.
Nvidia apraksta OpenShell kā “atvērtā koda izpildlaiku autonomu AI aģentu flotes izpildei smilškastes vidēs ar kodola līmeņa izolāciju.” Uzņēmums saka, ka tas apvieno smilškastes izpildlaika vadīklas ar deklaratīvu YAML politiku, lai komandas varētu palaist aģentus, nedodot viņiem neierobežotu piekļuvi vietējiem failiem, akreditācijas datiem un ārējiem tīkliem.
Palaišana notika pēc vairākiem incidentiem, kuros AI aģenti sasniedza sistēmas, kurām viņiem nekad nebija paredzēts piekļūt. OpenAI un Anthropic izmeklē gadījumus, kad aģenti iekļuvuši komerciālās un valdības datorsistēmās, ziņo Reuters.
Viens no ievērojamākajiem incidentiem bija saistīts ar Hugging Face, AI izstrādātāju platformu Nvidia, kuru iegādājās par 13 miljardiem USD. Šī gada sākumā OpenAI aģenti izvairījās no ierobežošanas un iekļuva Hugging Face infrastruktūrā.
Džastins Boitano, Nvidia viceprezidents un uzņēmuma skaitļošanas ģenerāldirektors, sacīja, ka jaunā platforma varēja apturēt šo uzbrukumu.
“Mums ir zināms, ka šī jaunā drošības platforma varēja apturēt pārkāpumu, ja tā tika izmantota pierobežas laboratorijās modeļu novērtēšanai agrīnā stadijā,” mediju brīfingā sacīja Boitano. “Mēs to virzām atklāti un vēlamies iesaistīt visus, lai tie sadarbotos ar mums.”
Nvidia saka, ka jaunā AI drošības programmatūra varēja apturēt Hugging Face uzlaušanu
Nvidia pieejas pamatideja ir tāda, ka modeļa drošības pasākumi vien nevar kontrolēt aģentu, tiklīdz tas sāk mijiedarboties ar operētājsistēmām, failiem, akreditācijas datiem un tīkliem.
Viens komponents, OpenShell, izveido drošu izpildlaika robežu ap AI aģentiem un ievieš politikas ārpus modeļa. Nvidia saka, ka programmatūra var izsekot aģenta darbībām un ierobežot aģenta piekļuvi.
OpenShell izmanto aparatūras līdzekļus Nvidia CPU, lai saturētu aģentus. Nvidia sadarbojas ar Arm un Intel, lai programmatūra varētu darboties arī to procesoros.
Otrā sistēma, ko sauc par Sentry, darbojas atsevišķi Nvidia BlueField tīkla mikroshēmās un uzrauga aģenta darbību ārpus vides, kurā darbojas aģents.
Ja aģents mēģina šķērsot tai piešķirto robežu, Nvidia saka, ka Sentry var ievietot karantīnā un apturēt to milisekundēs.
Šī atdalīšana ir nozīmīga. Aģents nevar vienkārši pārliecināt uzraudzības sistēmu atbrīvot savus ierobežojumus, izmantojot uzvedni, vai manipulēt ar to pašu vidi, kas to kontrolē.
Nvidia saka, ka sistēma var atklāt arī sarežģītākus mēģinājumus izvairīties no ierobežojumiem.
Ali Golšans, Nvidia vecākais AI programmatūras direktors, sacīja, ka aģentu sistēmas var izmēģināt tādas taktikas kā vairāku apakšaģentu izveidošana, lai apietu sākotnējā aģenta vadīklas.
“Šī patiešām ir aģentu uzvedība, par kuru mēs runājam, proti, aģentu flotes un tas, kā viņi darbojas kopā,” sacīja Golšāns.
AI drošība virzās zem modeļa slāņa
Nvidia izpilddirektors Jensens Huangs AI drošību arvien vairāk uzskata par inženiertehnisku problēmu, nevis tādu, ko var atrisināt tikai ar noteikumiem, kas regulē modeļa izstrādi.
Šis viedoklis atšķiras no dažu AI vadītāju aicinājumiem lēnāk izstrādāt arvien spējīgākus modeļus.
Nvidia pieeja paredz, ka uzņēmumi turpinās izvietot vairāk autonomu aģentu un tā vietā koncentrējas uz tādas infrastruktūras izveidi, kas var ierobežot to, ko šie aģenti fiziski spēj darīt.
Open Agent drošības platforma apvieno OpenShell ar Sentry un tiek izstrādāta kopā ar vairāk nekā 100 organizācijām. Nvidia starp uzņēmumiem, kas strādā ar šo tehnoloģiju, nosauca Anthropic, Cisco, Microsoft, Dell, HPE, Arm, Intel, CoreWeave, Oracle, IBM, CrowdStrike, Salesforce, SAP, Palantir un citus.
Anthropic integrē savus pārvaldītos aģentus ar OpenShell, un Nvidia saka, ka finanšu iestādes, infrastruktūras operatori un robotikas uzņēmumi testē vai integrē sistēmas daļas.
Plašāku maiņu ir grūti nepamanīt.
AI drošība galvenokārt sākās ar centieniem neļaut modeļiem radīt kaitīgas atbildes. Aģentiskais AI rada citu problēmu. Šīs sistēmas var rakstīt kodu, atvērt savienojumus, izmantot akreditācijas datus un veikt darbības reālās datorsistēmās.
Nvidia ir derības, ka nākamā aizsardzības līnija atradīsies ārpus paša modeļa, kur AI aģents nevar vienkārši nolemt to ignorēt.
