AI kiberdrošības sācējs, ko dibināja bijušie DOGE darbinieki, izmantoja AI aģentus, lai mazāk nekā 12 stundu laikā piekļūtu sensitīvām iekšējām sistēmām uzņēmumā Anthropic, kas ir uzņēmums Kloda aizmugurē, atklājot potenciālos ceļus informācijai par darbinieku algām, iekšējo saziņu un konfidenciāliem biznesa ierakstiem. Šis incidents rada jaunus jautājumus par to, cik labi vadošie AI uzņēmumi var aizsargāt savas sistēmas pret pieaugošajām AI atbalstīto kiberuzbrukumu iespējām.
Jaunuzņēmums ar nosaukumu Cathedral atklāja ievainojamības drošības izmeklēšanas laikā, kas tika veikta saskaņā ar Anthropic kļūdu atlīdzības programmu, teikts ekskluzīvā ziņojumā, ko pirmdien publicēja The Washington Post.
“Cathedral, kas ir vairākus mēnešus vecs kiberdrošības uzņēmums, nesen pastāstīja Kloda tērzēšanas robotu veidotājam Anthropic, ka tā pētnieki ir iekļuvuši mākslīgā intelekta uzņēmuma sensitīvos iekšējos datos un ziņojumapmaiņas sistēmās,” ziņoja The Washington Post, atsaucoties uz katedrāles atklājumu projektu, ko apskatījis laikraksts.
Anthropic apstiprināja, ka pētnieki ieguva piekļuvi dažām iekšējām sistēmām, taču apstrīdēja ekspozīcijas apjomu un katedrāles atklājumu raksturojumu.
Pārkāpums tieši neapdraudēja Kloda vai Anthropic pamatā esošos AI modeļus. Tā vietā Cathedral izmantoja trūkumus trešo pušu biznesa programmatūrā, ko uzņēmums izmantoja administratīvajām un pārdošanas darbībām.
Šī atšķirība padara atklājumu īpaši satraucošu. Daļu no visjutīgākās informācijas AI uzņēmumā var atklāt, izmantojot parastos uzņēmuma rīkus, neatkarīgi no tā, cik sarežģīta var būt tā pamattehnoloģija.
Kā AI aģenti atklāja Anthropic vājās vietas
Saskaņā ar katedrāles ziņojuma projektu, ko pārskatīja The Washington Post, starta pētnieki izmantoja AI aģentus, lai mazāk nekā 12 stundu laikā identificētu iespējamos piekļuves ceļus Anthropic sistēmām.
Tiek ziņots, ka šie maršruti noveda pie iekšējiem sanāksmju stenogrammām, darbinieku algām un darba piedāvājumiem, kā arī Slack diskusijām par Anthropic uzlabotajiem AI modeļiem.
12 stundu laika posms stāsta tikai daļu no stāsta. Anthropic teica, ka pētnieki bija pavadījuši vairākas dienas, mēģinot tieši iekļūt tās programmatūrā, pirms pievērsa uzmanību neaizsargātām trešo pušu lietojumprogrammām.
Cathedral atklāja savus atklājumus Anthropic šā mēneša sākumā un informēja ietekmētos programmatūras pārdevējus. Pārdevēji drošības apsvērumu dēļ netika publiski identificēti.
Anthropic atzina, ka Cathedral piekļuva ierobežotai daļai tās pārdošanas, cilvēkresursu un IT infrastruktūras, tostarp biznesa kontaktinformācijai, kas pieder dažiem klientiem un partneriem, un lietotāja kontu pamata ierakstiem.
Uzņēmums teica, ka pētnieki nekad nav piekļuvuši klientu sarunām ar Klodu, modeļu atbildēm, patentētam kodam vai modeļa svariem.
“Mūsu uzraudzībā tika atzīmēta daļa no Katedrāles darbībām, pirms viņi mums par to ziņoja, un tajā pašā dienā mēs slēdzām viņiem piekļuvi,” teikts Anthropic paziņojumā laikrakstam The Washington Post.
Uzņēmums atspējoja ietekmēto programmatūru, līdz pārdevēji novērsa drošības nepilnības un informēja federālās amatpersonas. Anthropic sacīja, ka nav atradis pierādījumus, ka kāds ārpus Katedrāles būtu izmantojis ievainojamības.
Abām kompānijām nav vienprātības par incidenta nopietnību. Anthropic apsūdzēja Cathedral par valsts drošības ietekmes pārspīlēšanu un visu savu testēšanas darbību neizpaušanu saistībā ar kļūdu programmu. Katedrāle ziņojuma projektā apgalvoja, ka tās pētnieki ierobežoja piekļuvi datiem līdz minimumam.
1,4 miljardu dolāru vērtais kiberdrošības starta uzņēmums atklāj lielāku AI drošības problēmu
Cathedral nav parasts kiberdrošības starta uzņēmums. Uzņēmums, kuru dibināja bijušie Valdības efektivitātes departamenta darbinieki Gevins Kligers, Lūks Faritors, Marko Elezs un Džeks Steins, ir piesaistījis ievērojamu investoru interesi.
Jūlijā Reuters ziņoja, ka katedrāle ar Andreessen Horowitz un Sequoia Capital atbalstu ir piesaistījusi 160 miljonus USD, novērtējot 1,4 miljardus USD.
Jaunuzņēmums attīsta AI vadītas kiberdrošības iespējas valsts aģentūrām un korporatīvajiem klientiem. Trīs federālās aģentūras ir noslēgušas līgumus ar Cathedral par kiberdrošības darbu, vēsta The Washington Post.
Tiek ziņots, ka tā atklājumi ir izplatīti Trampa administrācijā, radot bažas par to, ko ārvalstu izlūkdienesti varētu paveikt, izmantojot līdzīgus rīkus.
Alekss Stamoss, AI kodēšanas startup Cognition galvenais informācijas drošības speciālists, apskatīja Cathedral secinājumus laikrakstam The Washington Post. Viņš sacīja, ka izmeklēšana atklāja trūkumus tajā, kā Anthropic pārvalda trešās puses programmatūras integrācijas.
Plašāka problēma ir ne tikai antropiskā. Uzņēmumi arvien vairāk savieno ziņojumapmaiņas platformas, klientu datu bāzes, HR lietojumprogrammas un citus uzņēmuma rīkus ar jutīgām iekšējām sistēmām. Katrs savienojums rada vēl vienu potenciālu ieejas punktu uzbrucējiem.
AI aģenti varētu atvieglot šo trūkumu atklāšanu un izmantošanu, samazinot laiku un pūles, kas nepieciešamas sarežģītas drošības izmeklēšanas veikšanai.
Anthropic, uzņēmumam, kas izstrādā dažas no vismodernākajām AI sistēmām, incidents rada neērtu realitāti: tehnoloģija, kas pārveido kiberdrošību, var atklāt trūkumus uzņēmumos, kas to veido.
Un plašākai tehnoloģiju nozarei Cathedral atklājumi rada aktuālu jautājumu: ja AI aģenti var dažu stundu laikā atklāt jutīgus piekļuves ceļus vadošajā AI laboratorijā, cik gatavi ir citi uzņēmumi, lai sevi aizstāvētu?
