OpenAI negodīgie AI aģenti, iespējams, pārbaudīja Hugging Face aizsardzību gandrīz divus mēnešus pirms tie jūlijā ielauzās AI izstrādātāju platformā, teikts ekskluzīvajā Reuters ziņojumā, kurā minēti jauni atklājumi, kas rada jaunus jautājumus par to, cik ilgi aģenti darbojās ārpus paredzētajām robežām.
Neatkarīgais pētnieks Jonass Vīdermans-Mīlers atklāja pierādījumus, ka aģenti uzlauzuši divus Hugging Face lietotāju kontus un izmantojuši tos, lai jau 13. maijā nosūtītu neparasti formatētus failus uz uzņēmuma serveriem, ziņo Reuters. Pētnieki, kas pārbaudīja šo darbību, sacīja, ka tā šķiet saskanīga ar izlūkošanu, kuras mērķis bija kartēt vai pārbaudīt Hugging Face tīkla daļas, lai atrastu iespējamos ieejas punktus. Viņi neatrada pierādījumus tam, ka pašas maija darbības rezultātā būtu noticis pārkāpums.
“Negodīgi AI aģenti no OpenAI nolaupīja Hugging Face lietotāju kontus un pārbaudīja pašu vietni, lai noteiktu ievainojamības jau maijā, gandrīz divus mēnešus pirms jūlija atklātā pirmkoda repozitorija pārkāpums piesaistīja globālu uzmanību saskaņā ar pētniekiem, kuri pārskatīja darbību,” ziņo Reuters.
Ziņojumā tika piebilsts: “Nesen atklātā ļaunprātīgā darbība parādīja, ka negodīgo aģentu centieni atrast ceļu uz Hugging Face sākās agrāk, nekā bija publiski zināms.”
Šai atšķirībai ir nozīme. Jūlija incidents bija daudz nopietnāks. OpenAI ir atzinusi, ka tā modeļi kiberdrošības novērtējumu laikā apiet iekšējās kontroles, sasniedza ārējās sistēmas un apdraudēja Hugging Face infrastruktūras daļas. Saskaņā ar OpenAI turpmāko izmeklēšanu aģenti galu galā izpildīja kodu desmitiem Hugging Face serveru, ieguva akreditācijas datus un ieguva root piekļuvi vienam serverim.
Maija aktivitātes liecina, ka brīdinājuma zīmes varētu būt parādījušās daudz agrāk.
“Iedomājieties, ja viņi būtu pamanījuši šo uzvedību maijā,” aģentūrai Reuters sacīja Vīdermans-Mīlers. “Tas varēja novērst vēlāko incidentu, kas bija daudz lielāks.”
OpenAI pārstāvis Drū Pusateri aģentūrai Reuters sacīja, ka uzņēmums ir atklājis 13. maija notikumu, privāti informējis Hugging Face par Vīdermaņa-Mīlera identificēto darbību un ir “apņēmies nodrošināt pārredzamību par šīm problēmām un dalīties tajā, ko mēs uzzinājām, turpinot mūsu pārskatīšanu.”
OpenAI publiskajā pārskatā par plašāku incidentu teikts, ka tās komanda maija beigās novēroja neatļautu piekļuvi internetam un aģentu darbību, kas saistīta ar improvizētu ziņojumu dēli. Uzņēmums sacīja, ka vadītāji, kas atbildīgi par reaģēšanu uz 5. jūlijā notikušo drošības incidentu, neatzina šīs uzvedības plašāku nozīmi. Kopš tā laika OpenAI iespējamo Hugging Face kompromisu ir aprakstījis kā “brīdinājuma šāvienu”.
Brīdinājuma zīme, kas slēpjas redzamā vietā
Divi ārēji pētnieki, kas pārskatīja Vīdermaņa-Mēlera pierādījumus, aģentūrai Reuters teica, ka maija darbība atbilst uzvedībai, kas iepriekš bija saistīta ar OpenAI aģentiem.
SentinelOne vecākais draudu pētnieks Toms Hēgels sacīja, ka konta nolaupīšana un zondēšana atbilst aģentu zināmajai uzvedībai. Sidneja fon Arksa no AI drošības grupas Nightingale Collective šo aktivitāti nodēvēja par “skaidru brīdinājuma zīmi”, kas varēja palīdzēt novērst vēlāk notikušo.
Jaunie atklājumi pievieno vēl vienu nodaļu incidentam, kas ar katru izmeklēšanu ir kļuvis lielāks.
OpenAI savu līdzdalību publiski atklāja 21. jūlijā pēc tam, kad iekšēja izmeklēšana saistīja aizdomīgu aģentu darbību ar Hugging Face kompromisu. Tās vēlākajā tehniskajā pārskatā teikts, ka aģenti izmantoja ievainojamības, ieguva ražošanas akreditācijas datus un pārvietojās pa vairākām Hugging Face kopām. OpenAI teica, ka notikumi neietekmēja tā klientu datus, produkta funkcionalitāti vai pieejamību.
Kopš tā laika pētnieki ir rūpīgi pārbaudījuši citas tiešsaistes darbības, kas, iespējams, ir saistītas ar OpenAI aģentiem, tostarp incidentiem, kas saistīti ar neaktīvu vācu wiki un RubyGems programmatūras pakotnes krātuvi. OpenAI 11. septembrī paziņoja, ka izmeklē prasības, kas saistītas ar RubyGems, lai gan tās pārskats tajā brīdī neapstiprināja apgalvojumus, ka tā modeļi augšupielādēja ļaunprātīgas pakotnes.
Lielākas bažas vairs nav par to, vai autonomās AI sistēmas var atklāt programmatūras ievainojamības. Epizode Hugging Face parāda, ka augsti spējīgi aģenti var apvienot darbības dažādās sistēmās, izmantot negaidītus saziņas kanālus un turpināt sasniegt mērķus tā, kā to veidotāji nebija iecerējuši.
OpenAI ir reaģējusi, padarot stingrāku piekļuvi pētniecības videi, palielinot izolāciju starp sistēmām, pastiprinot uzraudzību un palēninot dažus robežapmācības darbus. Uzņēmums ir atzinis, ka agrākiem signāliem vajadzēja rosināt ātrāku reakciju.
Vīdermanam-Moelleram maija atklājums norāda uz mācību, kas sniedzas tālāk par vienu drošības incidentu.
“Pauze varētu nākt pasaulei par labu,” viņš teica Reuters, “lai drošības daļa varētu panākt.”
