Skoler i USA KI-overvåker elever for å hindre vold – men utfordrer personvernet

Utdanning: Flere skoledistrikter i USA tatt i bruk teknologi for å overvåke skolens utleverte laptoper eller nettbrett døgnet rundt for faresignaler. Bakgrunnen er problemer med den psykiske helsen for mange elever og trusselen om skytinger.

AP deltar i et samarbeid mellom åtte nyhetsredaksjoner som undersøker de utilsiktede konsekvensene av KI-drevet overvåking i skoler i USA.

Foruten AP er medlemmene av samarbeidet AL.com, The Christian Science Monitor, The Dallas Morning News, The Hechinger Report, Idaho Education News, The Post and Courier i Sør-Carolina og The Seattle Times.

Dokumentene viser at elevene brukte laptopene til mer enn skolearbeid. De håndterer også personlige utfordringer.

Elevene skrev om depresjon, hjertesorg, selvmord, avhengighet, mobbing og spiseforstyrrelser. Det finnes dikt, college-essay og utdrag fra rollespillsesjoner med KI-chatboter.

Overvåkingsverktøyene gjorde imidlertid ofte rådgivere i stand til å komme i kontakt med elever som ellers ville slitt i stillhet.

På den annen side har teknologien også i enkelte tilfeller avslørt LGBTQ+-elever og svekket tilliten mellom elever og skolens ansatte. Samtidig klarer den heller ikke å gjøre skolene helt trygge.

I USA er 6 millioner skoleelever brukere av maskiner som sporer all deres nettaktivitet ved hjelp av programvaren Gaggle. Andre selskaper som GoGuardian og Securly tilbyr lignende tjenester.

– Jeg tror ikke vi noen gang kunne sette en pris på å beskytte elevene. Hver gang vi får vite noe og kan gripe inn, føler vi at det er svært positivt, sier rektor Andy Meyer ved Skyview High School i Vancouver.

Dacia Foster er forelder. Hun roser skolen for innsatsen, men er samtidig bekymret for brudd på personvernet. Hun reagerte på denne måten da hun fikk vite at skolen ved en feiltakelse hadde levert ut 3500 dokumenter om elevene.

– Det er ikke bra i det hele tatt. Men hva er mine valg? Hva skal jeg gjøre? Skal jeg ta barnet mitt ut av skolen, spør Dacia Foster.

Foster sier hun ville blitt opprørt hvis datainformasjonen til datteren hennes ble kompromittert.

– Samtidig ønsker jeg å unngå en skoleskyting eller et selvmord, sier hun til AP.

Algoritmen oppdager mulige indikasjoner på problemer som mobbing, selvskading, selvmord eller skolevold. Den sender deretter et skjermbilde til menneskelig vurdering. Dersom Gaggle-ansatte bekrefter at situasjonen kan være alvorlig, varsler selskapet skolen.

I Vancouver ble over 1000 dokumenter flagget for selvmord og nesten 800 for voldstrusler. Selv om mange varsler var alvorlige, viste mange seg å være falsk alarm. For eksempel et elevessay om viktigheten av samtykke eller en spøkefull chat mellom venner. Ved Vancouver School of Arts and Academics utløste omtrent hver fjerde elevs kommunikasjon et Gaggle-varsel.

En studie fra tankesmia Rand publisert i 2023 fant bare «sporadiske bevis» for både fordeler og ulemper med KI-overvåking.

–Ingen forskning til dags dato har grundig undersøkt hvordan disse programmene påvirker forebygging av ungdomsselvmord, konkluderte studien.

Skoleledere sier de ikke fører statistikk over hvor effektive systemene er, men mener de har reddet liv.

Administrerende direktør i Gaggle Jeff Patterson sier at skoleutleverte enheter ikke er stedet for ubegrenset selvutfoldelse.

– Hvis du leter etter åpen, fri ytring, kan det egentlig ikke skje på skolens datamaskiner, sier han til AP.

Samarbeidende journalister fra Seattle Times og Associated Press fikk utilsiktet tilgang til nesten 3500 sensitive, uredigerte elevdokumenter via en innsynsbegjæring om overvåkingsteknologi som ble levert inn i Vancouver i delstaten Washington.

I tilfellet i Vancouver kunne de ansatte på skolene som bruker KI-programvaren og andre med tilgang på filene lese alt, skriver nyhetsbyrået AP. Det var ingen brannmur eller passord som beskyttet dokumentene. Navnene på elevene var ikke sensurert. Det oppfattes som en enorm sikkerhetsrisiko av sikkerhetseksperter.

Etterspørselen har vært stor etter pandemien, da nesten alle skolebarn fikk utlevert et nettbrett eller en laptop.

Overvåkingsprogrammet Gaggle bruker en maskinlæringsalgoritme for å skanne hva elever søker etter eller skriver online via en skoleutlevert laptop eller nettbrett. Dette skjer døgnet rundt, eller når de logger inn med sin skolekonto på en privat enhet.

Selv om skolene fortsetter å bruke overvåkingsteknologi, er de langsiktige effektene på elevenes sikkerhet uklare. Det finnes ingen uavhengig forskning som viser at teknologien målrettet reduserer selvmordsrater eller vold.

Mange steder er både elever og foresatte uvitende om KI-overvåkingen. Men selv når familier får vite om skoleovervåking, kan de ofte ikke velge den bort.

(©NTB)