Kad AI čatboti pārliecina, bet sniedz nepatiesu informāciju

Pajautājiet AI čatbotam biržas cenu, tiesas datumu vai uzņēmuma vadītāja vārdu, un atbilde var nākt ar pilnīgu pārliecību. Tieši tas ir traucējoši. Teikums var skanēt plūdeni, tonis var šķist pārliecināts, un fakti joprojām var būt nepareizi.

Jauns uzticamības analīzes pētījums, ko veica Legal Guardian Digital, meklētājprogrammu optimizācijai (SEO) specializēts uzņēmums, kas strādā ar advokātu birojiem, ienes skaitļus problēmā, ko daudzi lietotāji jau atpazīst: daži populāri AI čatboti halucinē daudz biežāk nekā citi. Tā kā aptuveni ceturtā daļa Amerikas darbinieku tagad regulāri izmanto AI rīkus, atšķirība starp noderīgu palīgu un pārliecinošu dezinformācijas avotu nav niecīga.

Neērtā daļa: pārliecība nav vienāda ar precizitāti

Lieli valodu modeļi nedomā kā cilvēki. Tos apmāca paredzēt vārdu un frāžu varbūtību, balstoties uz modeļiem milzīgos teksta apjomos. Kad sistēmai ir pietiekams konteksts, tas var radīt ātras un lietderīgas atbildes. Ja konteksta trūkst, modelis joprojām var ģenerēt atbildi, kas skan ticami, jo statistiski vārdi saskan.

Tieši to cilvēki parasti domā, kad saka, ka AI čatbots halucinē. Tas nav sapņošana. Tas nav melošana cilvēka izpratnē. Tas rada atbildi bez drošiem faktu pamatiem, tāpēc vārdus, datumus, juridiskas atsauces, medicīniskas detaļas, finanšu skaitļus un aktuālas ziņas joprojām jāapstiprina cilvēkam.

Pētījumā salīdzināja vairākus plaši zināmus AI modeļus, analizējot halucināciju biežumu, lietotāju apmierinātību, atbilžu kvalitāti un pieejamību. Šie faktori tika apvienoti indeksa vērtībā no 0 līdz 100, nodrošinot plašāku priekšstatu par to, kuri čatboti ikdienā ir visuzticamākie.

Google Gemini izrādījās ar augstāko halucināciju līmeni grupā, it kā sniedzot neprecīzu informāciju 32% atbilžu. Šis skaitlis ir sevišķi interesants, ņemot vērā ziņojumus, ka Apple ik gadu maksā Google vismaz 1 miljardu ASV dolāru par pielāgota 1,2 triljonu parametru Gemini modeļa izmantošanu paredzētai Siri atjaunināšanai iOS 27.

ChatGPT sekoja tuvu, halucinācijas parādījās aptuveni trīs no katrām desmit atbildēm. Vienkārši sakot, ja šie skaitļi turas, ChatGPT šajā testā būtu aptuveni divreiz vairāk pakļauts kļūdainai atbildei nekā DeepSeek. Šī salīdzinājuma var piesaistīt uzmanību, īpaši tāpēc, ka DeepSeek tika izstrādāts par daļu no apmācības izmaksām, kas raksturīgas vadošajiem ASV modeļiem.

Perplexity AI uzrādīja labākos rezultātus halucināciju rādītājā, sniedzot nepatiesas atbildes 13% gadījumu. DeepSeek bija tuvu ar 14%, savukārt Elona Muska Grok sasniedza 15%. Lietotājiem, kas paļaujas uz AI pētniecībai, kopsavilkumiem vai ātrām faktu pārbaudēm, šīs atšķirības ir svarīgas.

Būt tiešsaistē joprojām ir svarīgi

Precizitāte ir tikai daļa no stāsta. Čatbots var būt izcils teorētiski, bet bezjēdzīgs, ja tas nav pieejams brīdī, kad tas ir vajadzīgs. Pieejamības ziņā Perplexity AI un Grok bija vienīgie divi pakalpojumi pētījumā, kas bija pieejami visu testa periodu.

ChatGPT un Gemini nebija tālu atpalikuši, ar pieejamības rādītājiem attiecīgi 99,98% un 99,95%. Pat Claude, kuram pētījumā bija zemākais pieejamības līmenis, saglabāja augstu uzticamību ar 99,68%. Praktiski raugoties, lielākā daļa šo rīku bija tiešsaistē gandrīz visu laiku, taču niecīgas atšķirības var būt nozīmīgas uzņēmumiem, kas paļaujas uz AI darbplūsmām.

Lietotāju apmierinātība stāstīja citu stāstu. DeepSeek un ChatGPT saņēma augstāko klientu apmierinātības vērtējumu 4,7 no 5. Perplexity AI sekoja ar 4,6. Meta AI ierindojās apakšā ar 3,4, kamēr vairāki citi modeļi bija apmēram 4,4.

Atbilstības un atbilžu kvalitātes ziņā Kimi AI bija līderis ar 4,3 no 5. ChatGPT, Microsoft Copilot un Gemini sasniedza 4,0. Meta AI atkal ieņēma pēdējo vietu ar 3,4, liecinot, ka tās zemāks kopējais rezultāts nav radies vienas sliktas kategorijas dēļ.

Apvienojot visus faktorus, Perplexity AI ieņēma pirmo vietu ar indeksa vērtību 85. Grok bija otrs ar 79, tam sekoja DeepSeek. ChatGPT ierindojās sestajā vietā ar rezultātu 50, bet Gemini astotajā ar 41. Meta AI bija pēdējā ar 37.

Galvenā mācība nav tā, ka vienam čatbotam jāuzticas akli, bet citu jāizvairās izmantot uz visiem laikiem. AI rīki mainās ātri. Modeļi tiek atjaunināti, drošības ierobežojumi mainās, un veiktspēja var uzlaboties gandrīz nakti. Tomēr šāda ranga salīdzinājums ir noderīgs atgādinājums: slavenākais čatbots ne vienmēr ir uzticamākais, un gludākā atbilde ne vienmēr ir pareiza.

Ikvienam, kas izmanto AI darbā, drošākais piegājiens ir vienkāršs. Uzskatiet čatbotus par paātrinātājiem, nevis galīgām autoritātēm. Ļaujiet tiem sagatavot melnrakstus, organizēt, apkopt kopsavilkumus un ģenerēt idejas. Bet ja atbilde ietekmē naudu, veselību, likumu, identitāti vai lēmumu ar reālām sekām, pārbaudiet faktus pirms rīkošanās.