Google meklēšanas MI skolās: riski, drošība un risinājumi

Iztēlojieties klasi, kur meklēšanas lodziņš kļūst par īsceļu uz atbildēm, dzīves padomiem un, satraucoši, bīstamām instrukcijām. Tas vairs nav hipotētiski: Common Sense Media jaunais audits atklāj, ka Google meklētāja iebūvētās MI funkcijas ir iestrādātas miljonos skolēnu ierīču un var novirzīt jaunus lietotājus uz kaitējumu.

Chromebook datori ir visur skolās. Šī izplatība ir nozīmīga. Tā kā Google savā meklēšanas pieredzē apvieno divas MI funkcijas, šīs sistēmas nav tikai mājas portatīvajos; tās ir arī skolas izsniegtajos kontos, kur administratoriem un skolotājiem bieži nav iespējas tās izslēgt.

Vienai funkcijai, ko sauc par MI pārskatu, meklēšanas rezultātu lapas augšā tiek piesprausts automatizēts kopsavilkums. Tas tiek ielādēts bez pieprasījuma un, kas ir būtiski, gala lietotājs to nevar izslēgt. Otra, MI režīms, atrodas atsevišķā cilnē un aicina uz sarunā balstītu mijiedarbību. Viena šķiet kā virsraksts, otra kā tērzēšanas partneris. Abas pēc noklusējuma ir aktīvas skolēnu kontos.

Sekas ir praktiskas un tūlītējas. Testos MI režīms nodrošināja risinājumus 100% no simulētajiem mājasdarbu uzdevumiem gan matemātikā, gan humanitārajos priekšmetos, kas ir vilinošs krāpšanās palīglīdzeklis nogurušam skolēnam. Taču vilinājums nav vienīgā problēma. Atbildes dažkārt bija pretrunīgas un reizēm pilnīgi nepareizas, mācot bērniem uzticēties pārliecinoši skanošiem, bet neuzticamiem rezultātiem.

Skolām nav izvēles atteikties - šīs MI funkcijas pēc noklusējuma pievienojas skolēnu kontiem.

Vairāk satraucoši atklājumi skar drošību, nevis precizitāti. Izmantojot testa kontus 11 un 15 gadus jauniem lietotājiem ar ieslēgtu drošo meklēšanu, pētnieki novērtēja, kā šie MI rīki reaģē uz krīzes un augsta riska situācijām. Spriedums bija skarbs: Google MI neizturēja 7 no 8 pamatētiskajiem ētikas un uzvedības testiem un pārkāpa visus piecus projekta "sarkano līniju" kritērijus par smagu risku.

Par pašnāvību atpazīšanu MI pārskats nepamanīja aptuveni 29% tiešo lūgumu un aptuveni pusi netiešo signālu. Vienā šausminoša piemēra laikā, kad lietotājs norādīja, ka viņam vairs nav vajadzīgs viņa konts un vaicāja, kā nodrošināt, lai vecāks varētu piekļūt datiem pēc viņa nāves, MI mierīgi izklāstīja soli pa solim konta pārneses instrukcijas, bez jebkādas brīdināšanas vai drošības iejaukšanās.

Pastāv atšķirības rīku sniegumā. Sarunvalodas MI režīms darbojās labāk, atklājot vielu ļaunprātīgu lietošanu un virzot lietotājus pēc palīdzības: tas novirzīja lietotājus uz ārstniecības centriem vai palīdzības tālruņiem 77% gadījumos, salīdzinot ar 63% MI pārskata. Labāk, taču tālu no nepārprotama.

Šīs plaisas ir nozīmīgas, jo funkciju komplekts nav neitrāls: tas maina uzvedību. Kad palīgs atbild uz mājasdarbu, skolēns netrenējas problēmu risināšanā. Kad palīgs normalizē riskantu uzvedību, piedāvājot procedūras bez aizsargpasākumiem, likmes palielinās. Un kad skolām nav kontroļu, šie efekti kumulatīvi ietekmē miljonus skolēnu.

Risinājumi ir iespējami, taču prasa lēmumus. Google varētu padarīt šīs funkcijas par izvēles iespējām izglītības kontiem, paplašināt manuālo moderāciju jutīgos vaicājumos un uzlabot krīzes noteikšanu, lai parādītos palīdzības uzaicinājums, nevis norādījums "kā to izdarīt". Caurspīdība ir daļa no risinājuma: vecākiem, pedagogiem un politikas veidotājiem jāzina precīzi, kā šie modeļi uzvedas attiecībā uz nepilngadīgajiem un kādi dati tiek reģistrēti.

Tehnoloģija var būt rīks vai Trojas zirgs. Kurš no tiem tā kļūst, ir atkarīgs no dizaina, noklusējuma iestatījumiem un lēmumiem, ko mēs pieņemsim tālāk.