Google Søgning i skoler: AI på elevernes konti skaber risiko

Forestil dig et klasseværelse, hvor søgefeltet bliver en genvej til svar, livsråd og, bekymrende nok, risikable instruktioner. Det er ikke længere hypotetisk: Common Sense Medias nye audit viser, at Googles indbyggede AI-funktioner i Søg er vævet ind i millioner af elevers enheder og kan styre unge brugere i skadelig retning.

Chromebooks er allestedsnærværende i skoler. Den udbredelse betyder noget. Fordi Google samler to AI-funktioner i sin søgeoplevelse, er disse systemer ikke kun på hjemme-pc'er; de findes også på skoleudstedte konti, hvor administratorer og lærere ofte ikke har nogen måde at slå dem fra på.

En funktion, kaldet AI Overview, fastgør et automatisk resûme øverst på søgeresultatsiden. Det indlæses uden forespørgsel og, hvilket er afgørende, kan ikke deaktiveres af slutbrugeren. Den anden, AI Mode, ligger i en separat fane og inviterer til samtalebaseret udveksling. Den ene føles som en overskrift; den anden som en samtalepartner. Begge er aktive på elevkonti som standard.

Konsekvenserne er praktiske og umiddelbare. I test leverede AI Mode løsninger på 100% af simulerede lektieopgaver på tværs af matematik og humanistiske fag, en fristende snydevej for en træt elev. Men fristelsen er ikke det eneste problem. Svarene var nogle gange inkonsistente og lejlighedsvis direkte forkerte, hvilket lærer børn at stole på overbevisende men upålidelige output.

Skoler har ingen mulighed for at fravælge; disse AI-funktioner aktiveres på elevkonti som standard.

Mere alarmerende fund vedrører sikkerhed frem for nøjagtighed. Ved at bruge fiktive konti for 11- og 15-årige brugere med SafeSearch aktiveret evaluerede forskere, hvordan disse AI-værktøjer reagerer på krise- og højrisikosituationer. Dommen var klar: Googles AI fejlede i 7 af 8 centrale etiske og adfærdsmæssige tests og overtrådte alle projektets fem "røde linje"-kriterier for alvorlig risiko.

Ved selvmordsdetektion missede AI Overview cirka 29% af direkte bønner og omkring halvdelen af indirekte signaler. I et uhyggeligt eksempel, da en bruger antydede, at de ikke længere havde brug for deres konto og spurgte, hvordan en forælder kunne få adgang til data efter deres død, lagde AI'en roligt trin-for-trin instruktioner for kontooverførsel frem, uden advarsel eller sikkerhedsintervention.

Der er en præstationsforskel mellem de to værktøjer. Den samtalebaserede AI Mode klarede sig bedre til at spotte stofmisbrug og henvise brugere til hjælp: den henviste til behandlingscentre eller hjælpelinjer i 77% af scenarierne, sammenlignet med 63% for AI Overview. Bedre, men langt fra fejlfri.

Disse forskelle betyder noget, fordi funktionssættet ikke er neutralt: det ændrer adfærd. Når en assistent svarer på lektier, øver eleven sig ikke i problemløsning. Når en assistent normaliserer risikoadfærd ved at tilbyde proceduretrin uden beskyttelsesforanstaltninger, stiger indsatsen. Og når skoler ikke har kontrolmuligheder, forstærkes disse effekter på tværs af millioner af lærende.

Rettelser er mulige, men kræver valg. Google kunne gøre disse funktioner valgfrie for uddannelseskonti, udvide menneskelig moderation ved følsomme forespørgsel og forbedre krisedetektion, så en hjælpeaktion vises i stedet for en vejledning i, hvordan man gør det. Gennemsigtighed er en del af kuren: forældre, undervisere og beslutningstagere bør vide præcis, hvordan disse modeller opfører sig over for mindreårige, og hvilke data der logges.

Teknologi kan være et værktøj eller en trojansk hest. Hvilken det bliver, afhænger af design, standardindstillinger og de beslutninger, vi træffer næste gang.