OpenAI AI aģents ieguva nesankcionētu piekļuvi Austrālijas valdības vietnei un sasniedza failus, kas nebija publiski pieejami, pēc tam, kad tika veiktas darbības, uzņēmums apgalvo, ka nekad nav devis norādījumus sistēmai darboties.
Atklāsme nāk nedaudz vairāk nekā nedēļu pēc tam, kad OpenAI atklāja sešus jaunus negaidītas vai “satraucošas” AI aģentu darbības gadījumus. Šie incidenti ietvēra modeļus, kas mēģināja slēpt kļūdas, bez atļaujas izmantoja atklātu API atslēgu, augšupielādēja failus publiskajā internetā un atrada nesankcionētus veidus, kā sazināties vai koplietot informāciju ar citiem aģentiem.
Austrālijas incidents palielina likmes. OpenAI aģents sasniedza reālu valdības sistēmu un piekļuva informācijai, kas nebija publiski pieejama.
18. jūnija incidents bija saistīts ar Medicare statistikas ziņošanas pakalpojumu portālu, ko pārvalda Services Australia, sacīja Austrālijas premjerministrs Entonijs Albaness. Portālā ir Medicare dati, tostarp statistika par valsts izdevumiem.
Tiek uzskatīts, ka nevienai personas informācijai nav piekļūts. Joprojām turpinās kriminālistikas izmeklēšana.
Epizode satur daudz satraucošāku detaļu nekā pats pārkāpums. OpenAI saka, ka aģents mēģināja atrast atbildes un statistiku par Austrāliju iekšējā novērtējuma ietvaros, kad tas pārsniedza izstrādātāju iecerēto.
“Tā laikā mūsu modeļi veica darbības, kuras mēs neplānojām,” CNBC sacīja OpenAI pārstāvis.
OpenAI teica, ka aģents sasniedza apkopoto veselības statistiku un iekšējos failu nosaukumus, taču tās izmeklēšanā nav atrasti pierādījumi, ka būtu bijusi piekļuve pacientu ierakstiem.
Albanese sacīja, ka viņš runāja ar OpenAI izpilddirektoru Semu Altmanu un pauda Austrālijas “ārkārtīgas bažas” par šo incidentu. Viņš arī kritizēja, cik ilgs laiks bija vajadzīgs OpenAI, lai brīdinātu Austrālijas varas iestādes.
Pārkāpums noticis jūnijā. OpenAI saka, ka tā atklāja šo darbību augustā, pārskatot to, ko uzņēmums sauc par “nepareizu modeļa darbību”. Services Australia tika informēta 10. septembrī, gandrīz trīs mēnešus pēc incidenta.
Lielāks jautājums ir par to, ko AI aģenti dara, kad neviens viņiem to nelūdz
AI uzņēmumi sacenšas, lai izveidotu aģentus, kas var darīt daudz vairāk, nekā tikai ģenerēt tekstu. Šīs sistēmas var pārlūkot vietnes, izmantot programmatūru, rakstīt un izpildīt kodu, izsaukt rīkus, izgūt informāciju un veikt virkni darbību ar ierobežotu cilvēku līdzdalību.
Šī spēja rada cita veida drošības problēmas. Parastais tērzēšanas robots reaģē uz uzvedni. Aģents var iedarboties uz savu vidi, kas nozīmē, ka negaidīts lēmums var kļūt par ārēju darbību, pirms cilvēks to redz.
Šķiet, ka Austrālijas pārkāpums nav OpenAI pirmā sastapšanās ar šo problēmu.
Pirms Services Australia incidenta OpenAI sistēmas mēģināja bez instrukcijām ielauzties Ņūmeksikas Universitātes digitālajā bibliotēkā un Data USA — publiskajā datu platformā, kas aptver ASV nodarbinātību un izglītību, raksta The New York Times.
Vēl viens incidents sekoja jūlijā. OpenAI atklāja, ka tā modeļi apiet vadības ierīces, kuru mērķis bija tos izolēt no interneta, tādējādi apdraudot OpenAI pašas pētniecības infrastruktūras daļas un sistēmas, kas pieder AI izstrādātāju platformai Hugging Face.
Kopumā incidenti atklāj sarežģītu problēmu jaunattīstības aģentu ekonomikai. Tā pati autonomija, kas padara AI aģentu noderīgu, var radīt drošības riskus, kad sistēma atklāj un izpilda darbības, kuras tās izstrādātāji nebija paredzējuši.
OpenAI saka, ka Austrālijas incidenta izmeklēšana turpinās.
Neatbildētais jautājums tagad sniedzas daudz tālāk par vienu valdības portālu: tā kā AI aģenti iegūst lielāku brīvību pārlūkot, kodēt un mijiedarboties ar ārējām sistēmām, kā izstrādātāji neļauj viņiem šķērsot robežas, kuras viņiem nekad nav licis šķērsot?
