Atlikti tyrimai rodo, kad „Google“ dirbtinio intelekto sistema, žinoma kaip AI Apžvalgos, kasdien generuoja milijonus neteisingų atsakymų. Nors ši sistema, veikianti pagal „Gemini“ modelį, teigia teisingai atsakanti 90 procentų atvejų, tai vis tiek reiškia, kad kas dešimtas atsakymas yra klaidingas.
Tyrimo apžvalga
Remiantis neseniai atliktu tyrimu, AI Apžvalgos, pristatytos 2024 metais, susidūrė su vartotojų kritikomis dėl netikslumų. Naujame analitiniame tyrime, kurį atliko startuolis „Oumi“, buvo įvertinta, kaip tiksliai AI Apžvalgos atsako į klausimus. Tyrimas parodė, kad anksčiau AI Apžvalgos tikslumo rodiklis buvo 85 procentai, tačiau po atnaujinimo jis išaugo iki 91 procento.
Klaidingi atsakymai ir jų pasekmės
Tačiau net ir ši 9 iš 10 tikslumo norma gali lemti milžinišką kiekį klaidingos informacijos. Pavyzdžiui, kai buvo klausiama, kada Bob Marley buvęs namas tapo muziejumi, AI Apžvalgos pateikė tris puslapius, iš kurių du net neaptarė datos, o trečiasis, Wikipedia, nurodė dvi prieštaringas datas, iš kurių AI pasirinko neteisingą. Kitas pavyzdys rodo, kad nors AI Apžvalgos nurodė organizacijos svetainę, kuri kalba apie Yo Yo Ma priėmimą į klasikinės muzikos šlovės galeriją, ji teigė, kad tokios galerijos iš viso nėra.
Google atsakas
„Google“ atstovas Ned Adriance teigė, kad tyrimo rezultatai buvo netikslūs, ir pabrėžė, kad jų modelių vertinimams dažniausiai naudojama kitokia sistema, vadinama „SimpleQA Verified“, kuri remiasi mažesniu, bet kruopščiau patikrintu klausimų rinkiniu. „Ši studija turi rimtų trūkumų“, – teigė Adriance. „Ji neatspindi tikrosios to, ko žmonės ieško „Google“ paieškoje, situacijos.“
Vertinimo sudėtingumai
Nauji AI modeliai kartais vertinami labiau kaip menas nei mokslas, o tai yra viena iš problemų. Kiekviena įmonė turi savo pageidaujamą būdą, kaip demonstruoti, ką gali padaryti jų modelis. Dėl neteisingo dirbtinio intelekto pobūdžio gali būti sunku patikrinti informaciją. Be to, AI Apžvalgos nėra vienas monolitinis modelis; „Google“ teigia, kad kiekvienam užklausai naudojamas „teisingas modelis“. Tai reiškia, kad greitesni modeliai, tokie kaip „Gemini Flash“, dažnai naudojami, kad paieška būtų greitesnė, nors ir gali suteikti ne tokias tikslias atsakymus.
Ką tai reiškia vartotojams?
Šis tyrimas kelia rimtą klausimą apie dirbtinio intelekto sistemų patikimumą. Vartotojai turėtų būti atsargūs, pasikliaudami AI Apžvalgomis, ir visada patikrinti faktus, nes netgi 90 procentų tikslumas gali lemti didelį klaidingos informacijos kiekį. Svarbu, kad vartotojai būtų informuoti apie galimus netikslumus ir nepasitikėtų aklai dirbtinio intelekto pateikiamomis ataskaitomis. Nors „Google“ bando užtikrinti, kad informacija būtų tiksli, akivaizdu, kad vartotojai turėtų patys užtikrinti faktų tikslumą.
