Jaunā analīzē tika atklāts, ka Google AI pārskati aptuveni 90% gadījumu pareizi atbildēja uz faktu jautājumiem, tomēr vairāk nekā puse no šīm pareizajām atbildēm nebija pilnībā atbalstītas Google norādītajos avotos.
Google ar AI darbinātā meklēšana kļūst arvien labāka, atbildot uz jautājumiem. Tas joprojām var sūtīt miljoniem lietotāju nepareizu informāciju katru dienu.
Analīze, ko pasūtīja The New York Times un veica AI starta uzņēmums Oumi, atklāja, ka Google AI pārskati sasniedza 91% precizitāti uz faktiskajiem jautājumiem pēc Google jaunināšanas no Gemini 2 uz Gemini 3. Pētījumā atklājās, ka 56% pareizo atbilžu trūka pilnīga atbalsta no Google norādītajiem avotiem.
Tas izklausās kā spēcīgs rezultāts, kamēr neskatās uz Google mērogu. Katru gadu apstrādājot vairāk nekā 5 triljonus meklēšanas vaicājumu, 9% kļūdu līmenis katru stundu var izpausties desmitiem miljonu neprecīzu AI ģenerētu atbilžu.
“Nesen veiktā AI pārskatu analīze atklāja, ka tie bija precīzi aptuveni deviņas reizes no 10. Taču Google apstrādā vairāk nekā piecus triljonus meklējumu gadā, tas nozīmē, ka tas katru stundu sniedz desmitiem miljonu kļūdainu atbilžu (vai simtiem tūkstošu neprecizitātes katru minūti).” ziņoja New York Times, atsaucoties uz analīzi, ko veica AI startup Oumi.
Rezultāti norāda uz lielāku problēmu nekā vienkārša precizitāte. Oumi atklāja, ka 56% AI kopsavilkumu atbilžu, kas bija tehniski pareizas, bija “nepamatotas”, kas nozīmē, ka Google citētie avoti pilnībā neatbalstīja apgalvojumus, kas izteikti AI ģenerētajā atbildē. Tādējādi lietotājiem ir grūtāk apstiprināt, vai atbilde ir pamatota ar ticamiem pierādījumiem.
Pētījums rada jaunus jautājumus par to, kā cilvēkiem vajadzētu izmantot AI ģenerētus meklēšanas rezultātus, Google turpina pārvērst meklēšanu par AI pieredzi.
Oumi novērtēja 4326 Google meklēšanas vaicājumus, izmantojot SimpleQA — nozares etalonu, ko plaši izmanto faktu precizitātes noteikšanai lielos valodu modeļos. Uzņēmums AI pārskatus pārbaudīja divas reizes: pirmo reizi oktobrī, kad šī funkcija paļāvās uz Gemini 2 sarežģītākiem jautājumiem, un vēlreiz februārī, kad Google jaunināja sistēmu uz Gemini 3.
56% pareizo atbilžu, ko ģenerē Google AI pārskati, trūkst atbalsta avotu, neskatoties uz 90% precizitāti
Visā etalona precizitāte uzlabojās no 85% līdz 91%. Avota zemējums pārvietots pretējā virzienā. Oktobrī 37% pareizo atbilžu trūka pietiekama atbalsta no minētajiem avotiem. Līdz februārim šis rādītājs bija pieaudzis līdz 56%.
“Tā kā Google ir uzlabojis savas AI tehnoloģijas, tās AI radītās atbildes ir kļuvušas precīzākas. Oktobrī AI pārskati bija neprecīzi 15 procentus laika,” atzīmēja New York Times, atsaucoties uz Oumi analīzi.
“Bet ar Gemini 3, Google AI radītās atbildes, visticamāk, bija nepamatotas nekā tad, kad sistēma balstījās uz Gemini 2kas nozīmē, ka vietnes, uz kurām tie saiti, pilnībā neatbalstīja viņu sniegto informāciju. oktobrī, pareizās atbildes bija nepamatotas 37% gadījumu. Februārī ar Gemini 3 šis skaitlis pieauga līdz 56 procentiem,” teikts ziņojumā.
Šai atšķirībai ir nozīme. Atbilde var būt faktiski pareiza, tomēr lasītājiem joprojām nav pierādījumu, kas apstiprina apgalvojumu. Šādos gadījumos Google var citēt lapas, kurās ir nepilnīga informācija, pretrunīga informācija vai vispār nav tieša atbildes atbalsta.
Viens piemērs ietvēra meklēšanu, vaicājot, kad Boba Mārlija mājas kļuva par muzeju. Google AI pārskati atbildēja, ka tas tika atvērts 1987. gadā. Vēsturiskie ieraksti liecina, ka muzejs tika atvērts 1986. gada 11. maijā. Google atsaucās uz Facebook ierakstu, ceļojumu emuāru un Wikipedia lapu, kurā bija pretrunīgi datumi.
Vēl viens jautājums tika uzdots, kad slavenais čellists Yo-Yo Ma tika uzņemts Klasiskās mūzikas slavas zālē. Google AI pārskats ir saistīts ar organizācijas vietni, kurā viņš ir norādīts kā ieceltais, tomēr AI radītajā atbildē tika apgalvots, ka nav reģistrēta viņa iecelšana.
Pētnieki atklāja līdzīgas neatbilstības tūkstošiem citēto avotu. Facebook ierindojās kā otrais visvairāk citētais avots analīzē, bet Reddit ierindojās ceturtajā vietā. Nepareizajos AI pārskatos Facebook citēts nedaudz biežāk nekā pareizajos.
Google apstrīdēja konstatējumus, sakot, ka pētījums balstījās uz kļūdainu etalonu un neatspoguļo to, kā cilvēki faktiski izmanto Google meklēšanu.
“Šajā pētījumā ir nopietnas nepilnības,” paziņojumā sacīja Google pārstāvis Neds Adrianss. “Tas neatspoguļo to, ko cilvēki patiesībā meklē Google tīklā.”
Google jau sen ir atzinis, ka AI ģenerētās atbildēs var būt kļūdas. Atruna, kas tiek parādīta zem AI kopsavilkumiem, lietotājiem saka: “AI var kļūdīties, tāpēc vēlreiz pārbaudiet atbildes.”
Uzņēmums teica, ka AI pārskati apvieno Gemini ar Google meklēšanas ranžēšanas sistēmām un drošības aizsardzību, kas, pēc tās teiktā, uzlabo atbilžu kvalitāti salīdzinājumā ar atsevišķu modeli.
Ziņojums tiek iesniegts, kad Google ievieš AI dziļāk savā vadošajā meklēšanas produktā. AI kopsavilkumi tagad tiek rādīti arvien lielākai vaicājumu daļai, pārceļot Google no meklētājprogrammas, kas galvenokārt saista lietotājus ar informāciju, uz tādu, kas arvien biežāk ģenerē atbildes.
Izdevējiem, pētniekiem un ikdienas lietotājiem atklājumi norāda uz izaicinājumu, kas pārsniedz halucinācijas. Precizitāte uzlabojas, tomēr uzticēšanās joprojām ir atkarīga no tā, vai lasītāji var izsekot AI ģenerētajam apgalvojumam līdz pierādījumiem, kas to faktiski atbalsta. Interneta mērogā šai plaisai ir sekas, kas pārsniedz vienu nepareizu atbildi.
