Mākslīgais intelekts ātri pārceļas no birojiem un viedtālruņiem vienā no jutīgākajām telpām, kādu vien var iedomāties: bērnu guļamistabās.
Ar mākslīgo intelektu darbināmas rotaļlietas tagad tiek tirgotas bērniem vecumā no trīs gadiem, bieži vien ir aprīkotas ar mikrofoniem, mākoņa savienojumu un iespēju saglabāt sarunas, lai personalizētu mijiedarbību. Pieaugot adopcijai, pieaug arī riski. Pagājušajā gadā vien vairāki incidenti ir atklājuši tūkstošiem bērnu privātu mijiedarbību drošības pārtraukumu un datu apstrādes kļūmju dēļ, radot jaunu trauksmi pētnieku un politikas veidotāju vidū.
Tajā pašā laikā daudzus pamatā esošos AI modeļus, kas nodrošina patēriņa preces, izstrādā uzņēmumi, kas apkalpo arī uzņēmumu un valdības klientus, uzsverot, cik plaši šī tehnoloģija tagad aptver mūsdienu digitālo ekosistēmu.
Pildīts dinozaurs, kas paredzēts kā bērna vienmēr klausošs pavadonis, ir kļuvis par jaunāko brīdinājuma zīmi steigā ienest AI rotaļu istabā.
Drošības pētnieki nesen atklāja lielu privātuma pārkāpumu, kas saistīts ar Bondu, uzņēmumu, kas ražo 199 USD vērtu ar mākslīgo intelektu darbināmu plīša rotaļlietu, kas sarunājas ar bērniem kā iedomāts draugs. Viņu atklājums bija satraucošs: desmitiem tūkstošu privātu sarunu starp bērniem un rotaļlietu atradās aiz tīmekļa portāla, kuram bija nepieciešams tikai standarta Gmail pieteikšanās.
Uzņēmums saka, ka problēma tagad ir novērsta. Taču šī epizode rada plašākus jautājumus par to, vai strauji augošais AI kompanjonu tirgus pārspēj bērnu aizsardzībai paredzētos drošības pasākumus.
Zinātkārs kaimiņš, ātra pārbaude un satraucošs atklājums
Notikumu ķēde sākās vienkārši.
Šī gada sākumā drošības pētnieks Džozefs Tekers tērzēja ar kaimiņieni, kurš bija iepriekš pasūtījis Bondu rotaļlietas saviem bērniem. Viņa zināja, ka Tekers ir pētījis AI riskus, kas ietekmē bērnus, un vēlējās, lai viņš uztver šo produktu.
Tas, kas sākās kā gadījuma skatiens, pārvērtās par kaut ko daudz nopietnāku.
Dažu minūšu laikā Tekers un kolēģis pētnieks Džoels Margolis atklāja, ka Bondu tīmekļa konsole, kas paredzēta vecākiem un iekšējai uzraudzībai, ir faktiski pieejama ikvienam, kam ir Google konts. Nekāda izsmalcināta ielaušanās nebija nepieciešama. Nav īpašas piekļuves. Tikai pieteikšanās.
Saskaņā ar WIRED ziņojumiem, Malwarebytes analīzi un NBC News atklājumiem pētnieki varēja apskatīt to, kas, šķiet, bija gandrīz pilns sarunu arhīvs starp bērniem un viņu AI dinozauru rotaļlietām.
Tas, ko viņi redzēja, pārsniedza nekaitīgu pļāpāšanu.
Ko rotaļlietas klusi savāca
Eksponētie ieraksti zīmēja intīmus jauno lietotāju portretus. Datu bāzē bija iekļauti bērnu vārdi, dzimšanas datumi, ģimenes locekļu informācija, personīgās izvēles un detalizēti sarunu kopsavilkumi, lai justos privāti un individuāli.
“Kopumā Margolis un Tekers atklāja, ka dati, ko Bondu atstāja neaizsargāti — tie bija pieejami ikvienam, kurš pieteicās uzņēmuma publiskajā tīmekļa konsolē ar savu Google lietotājvārdu —, ietvēra bērnu vārdus, dzimšanas datumus, ģimenes locekļu vārdus, vecāku izvēlētā bērna “mērķus”, un, kas ir satraucošākais, detalizētus kopsavilkumus un aprakstus starp visiem iepriekšējiem un praktiskiem Bondu aprakstiem. izstrādāts, lai izraisītu intīmu sarunu viens pret vienu,” ziņoja WIRED.
Bondu vēlāk apstiprināja, ka caur portālu bija pieejami vairāk nekā 50 000 tērzēšanas atšifrējumi, kas atspoguļo gandrīz visas vēsturiskās sarunas, izņemot tās, kuras tika izdzēstas manuāli.
“Bondu drošības un uzvedības sistēmas tika izveidotas 18 mēnešu beta testēšanas laikā ar tūkstošiem ģimeņu. Pateicoties stingrajiem pārskatīšanas procesiem un nepārtrauktai uzraudzībai, mēs nesaņēmām no Bondu nevienu ziņojumu par nedrošu vai nepiemērotu uzvedību visā beta versijas periodā,” sacīja Bondu, neatsaucoties uz drošību vai privātumu.
Tekeram šis brīdis bija satraucošs.
“Tas šķita diezgan uzmācīgi un patiešām dīvaini, zinot šīs lietas,” viņš teica WIRED. “Spēja redzēt visas šīs sarunas bija masīvs bērnu privātuma pārkāpums.”
Pati rotaļlieta ir īpaši izstrādāta, lai veicinātu atvērtību. Bondu, kas tiek tirgots kā AI draugs, mudina bērnus dalīties domās, jūtās, iecienītākajās aktivitātēs un ikdienas pieredzē. Šis dizains, lai gan tas ir saistošs bērniem, rada arī neparasti bagātīgus uzvedības datus.
Bondu ātri reaģē
Pēc tam, kad pētnieki brīdināja uzņēmumu, Bondu ātri pārvietojās. Ievainojamā konsole tika izslēgta dažu minūšu laikā un vēlāk tika atjaunota, izmantojot spēcīgākas autentifikācijas vadīklas.
CEO Fateen Anam Rafid teica, ka drošības labojumi tika pabeigti dažu stundu laikā, kam sekoja plašāka pārskatīšana un papildu aizsardzība. Uzņēmums arī paziņoja, ka nav atradis pierādījumus, ka kāds ārpus pētniekiem būtu piekļuvis datiem.
Paši pētnieki ziņoja, ka viņi nav lejupielādējuši un nesaglabājuši sensitīvus materiālus, kas pārsniedz ierobežotus pierādījumus, kas kopīgoti ar žurnālistiem.
Pat ja tā, incidents ātri pievērsa uzmanību Vašingtonā. ASV senatore Megija Hasana nosūtīja Bondu vēstuli, aprakstot atklātību kā “graujošu” un pieprasot detalizētas atbildes par uzņēmuma datu praksi.
Dziļāks risks aiz AI pavadoņiem
Lai gan šķiet, ka īpašā ievainojamība ir novērsta, pētnieki saka, ka epizode atklāj plašākas strukturālas bažas par AI rotaļlietām.
Atšķirībā no tradicionālajiem savienotajiem sīkrīkiem, AI pavadoņi ir izveidoti, lai veicinātu nepārtrauktu, emocionāli atklātu sarunu. Šī dinamika dabiski rada ļoti sensitīvas datu straumes, bieži iesaistot mazus bērnus, kuri, iespējams, nesaprot kopīgotā satura ietekmi.
Bondu sistēma saglabāja katras mijiedarbības rakstiskus atšifrējumus, lai palīdzētu personalizēt turpmākās sarunas. Uzņēmums paziņoja, ka audio ieraksti pēc neilga laika tika automātiski izdzēsti, taču teksta vēsture palika.
Margolis brīdināja, ka informācijas dziļums var būt bīstams, ja tas tiek nepareizi apstrādāts.
“Atklāti sakot, tas ir nolaupītāja sapnis,” viņš teica, norādot uz žurnālos pieejamo personīgo detaļu līmeni.
Trešās puses AI un paplašinātā datu virsma
Bondu arī atzina, ka izmanto uzņēmuma AI pakalpojumus no ārējiem pakalpojumu sniedzējiem, lai radītu atbildes un veiktu drošības pārbaudes. Šis process ietver sarunu daļu pārsūtīšanu apstrādei.
Uzņēmums teica, ka tas samazina koplietotos datus un darbojas saskaņā ar uzņēmuma līgumiem, kuros norādīts, ka uzvednes un izvadi netiek izmantoti ārējo modeļu apmācīšanai. Tomēr arhitektūra izceļ to, cik daudz pušu var pieskarties sensitīviem datiem, tiklīdz AI sistēmas nonāk cilpā.
Pētnieki saka, ka galvenais jautājums vairs nav par to, vai uzņēmumi plāno aizsargāt bērnu datus. Tas ir tas, vai veidojamās sistēmas ir pietiekami nobriedušas, lai to darītu konsekventi.
Margolis norādīja, ka pat tad, ja portāls ir nodrošināts, riski saglabājas, ja iekšējās piekļuves kontroles neizdodas vai tiek apdraudēti darbinieku akreditācijas dati. Sarežģītos AI cauruļvados viens vājais punkts var atkārtoti atvērt ekspozīciju.
Strauji augošs tirgus, kas joprojām tuvojas drošības pasākumiem
Brīdinājumi par AI rotaļlietām pēdējā gada laikā ir pieauguši, lai gan lielākā daļa sabiedrības bažas ir bijušas par tērzēšanas robotu uzvedību, piemēram, neatbilstošām atbildēm vai nedrošiem ieteikumiem.
Šajā gadījumā uzmanība tiek pievērsta infrastruktūras riskam. Problēma nebija tajā, ko teica rotaļlieta. Tas bija tas, cik daudz tas atcerējās un cik viegli šo atmiņu varēja sasniegt.
Tekeram ir aizdomas, ka ievainojamā konsole varētu būt izveidota, izmantojot ģeneratīvos AI kodēšanas rīkus, ko dažreiz sauc par “vibe kodēšanu”, kas var radīt drošības nepilnības, ja tā netiek rūpīgi pārskatīta. Bondu neapstiprināja, vai izstrādes procesā tika izmantoti AI rīki.
Tekeram personīgi pieredze bija pietiekama, lai mainītu domas par mākslīgā intelekta rotaļlietu ienešanu savās mājās.
Pirms atklājuma viņš bija apsvēris iespēju tādu iegādāties.
Tagad viņš saka, ka atbilde ir skaidra.
“Vai es tiešām gribu to savā mājā? Nē, es negribu,” viņš teica. “Tas ir tikai privātuma murgs.”
Apakšējā līnija
Šķiet, ka Bondu ir ātri novērsis tūlītējo trūkumu. Bet incidents notiek brīdī, kad AI pavadoņi pāriet no jaunumiem uz plašiem patēriņa produktiem, kas bieži ir paredzēti jaunākajiem un neaizsargātākajiem lietotājiem.
Uzņēmumiem sacenšoties, lai izveidotu reālistiskākus digitālos kompanjonus, Bondu epizode ir atgādinājums, ka sarunvalodas inteliģence nes sev līdzi kaut ko mazāk pamanāmu, bet tikpat spēcīgu: masveida, dziļi personisku datu pēdas.
AI rotaļlietu uzplaukuma laikā jautājums vairs nav tikai par to, ko šie produkti var pateikt.
Tas ir tas, ko viņi klusi atceras.
Noskatieties pilnu video pārklājumu zemāk:
Lasītājiem, kuri vēlas dziļāku vizuālo AI rotaļlietu privātuma risku sadalījumu, skatiet pilnu ziņojumu tālāk.
