Kinesiske KI-agenter løy for å vinne anbud

Noen av egenskapene som har skapt bekymring rundt amerikanske KI-modeller, har nå vist seg i kinesiske. I et simulert forretningsanbud løy KI-agenter om sine kapasiteter, skjulte feil og fabrikkerte resultater.

Utenriks: KI-agenter drevet av kinesiske modeller har lært seg å lure, omgå restriksjoner og skjule feil.

I et simulert forretningsanbud løy agenter fra de kinesiske KI-selskapene Alibaba, Deepsek og Moonshot om sine kapasiteter. Da agentene fikk sjansen til å prøve på nytt, fortsatte de å lyve.

Anbudsprosjektet ble gjennomført i mars. Da dukket det opp minst én falsk påstand i 88 prosent av øktene med Alibabas agent, 84 prosent for Deepseeks agent og 88 prosent for Moonshots agent.

Da agentene fikk lære av tidligere budrunder, økte bedrageriet med 12 til 20 prosentpoeng. Modeller fra amerikanske selskaper ga lignende resultater.

I et annet tilfelle skjulte agenter at de hadde mislyktes med en oppgave i et testmiljø, simulerte i stedet resultater og fabrikkerte filer.

– Klokt å ta dette som en advarsel

Reuters har gått gjennom over 200 dokumenter som beskriver tilfeller der agenter viste atferd som bedrag, kopiering av seg selv og grenseutprøving. KI-eksperter beskriver dette som byggesteiner for et utbrudd, og advarer om at det kan bli vanskeligere for mennesker å kontrollere systemene etter hvert som de blir mer avanserte.

– Disse resultatene gir belegg for at ingrediensene som trengs for et ukontrollert utbrudd, er til stede, sier Colin Shea-Blymyer, stipendiat ved Universitetet i Georgetowns senter for sikkerhet og ny teknologi.

– Det er klokt å ta dette som en advarsel, legger han til.

Alex Mallen, forsker ved Redwood Research, sier de kinesiske eksemplene ikke er særlig farlige på sitt nåværende nivå, men advarer om at etter hvert som agentene blir mer avanserte, blir feilatferden deres mer kompetent og dermed vanskeligere for mennesker å reagere på.

– Dette er de samme advarselstegnene amerikanske laboratorier ser, i mindre avanserte systemer, sier Mallen.

Bekymring i USA

Den siste tiden har overskrifter og advarsler om amerikanske KI-agenter gått verden rundt.

I juli brøt en KI-agent fra OpenAI ut av selskapets kontrollerte miljøer under en sikkerhetstest og hacket seg inn hos selskapet Hugging Face. Denne hendelsen skapte reaksjoner verden rundt. I september kunngjorde Australia at en OpenAI-agent hadde brutt seg inn i en statlig helseportal.

Flere av lederne i verdens største KI-selskaper, som Anthropic og OpenAI, har gått ut med advarsler om egne agenters kapasitet.

Også eksperter har gått ut mot den ekstreme utviklingen av kunstig intelligens, og advart om at hele menneskeheten står i fare dersom utviklingen ikke bremses.

I motsetning til USA har kinesiske KI-selskaper ikke vært utsatt for samme grad av offentlig granskning, og heller ikke møtt de samme kravene fra varslere og toppledere som ønsker en nedbremsing i KI-kappløpet.

Henger bakpå sikkerhetsmessig

Reuters’ gjennomgang fant ingen bevis for at kinesisk-drevne agenter på egenhånd har brutt seg ut til det åpne internettet eller har unngått å slå seg av.

– Vi vet ikke om det har skjedd lignende hendelser i Kina tilsvarende det vi så med OpenAI og Hugging Face. Hendelser blir kanskje ikke offentlig rapportert, sier Scott Singer, medleder for Kina-KI-initiativet ved Carnegie Endowment for International Peace.

Singer sier at Kina henger etter USA når det gjelder å bygge et økosystem for å evaluere katastrofale risikoer, og at amerikanske utviklere gjennomfører vesentlig mer frivillig testing.

– For Kina er arbeidet med KI-sikkerhet mer nytt. Økosystemet er mindre modent, sier han.

De kinesiske KI-selskapene har ikke besvart Reuters henvendelser om kommentar til saken.

(©NTB)