I et kontrollert eksperiment fikk en KI-agent i et fiktivt finansteam i oppgave å utarbeide en rapport. For å løse oppgaven trengte agenten informasjon i en mappe den hadde fått klar instruks om ikke å åpne. Ved å la den observere meldinger fra ti simulerte KI-agenter i samme team, undersøkte Check Point-forskerne hvordan dette påvirket testagentens etterlevelse av instruksen.
I kjøringer hvor ingen av de andre agentene oppga at de hadde ombestemt seg og åpnet mappen, brøt den testede agenten instruksen 44 prosent av gangene. I kjøringer hvor fire av de andre oppga at de hadde åpnet mappen, steg andelen til 74 prosent, og ved 8 til 98 prosent.
Forskerne fant altså at KI-agentens etterlevelse av regler ble påvirket av andre agenters beslutninger.
Agenten informerte dessuten sjelden om denne påvirkningen i etterkant. I mer enn 400 tilfeller der agenten brøt instruksen etter å ha forstått at andre agenter gjorde det samme, viste den aldri til dette som begrunnelse.
Dette betyr ifølge Check Point at det også kan være vanskelig å avdekke årsaker til at KI-systemer tar uønskede valg.
– Resultatene peker på flere sikkerhetsutfordringer ved KI-agenter, også når de i større grad samarbeider om oppgaver i virksomheter, sier sikkerhetsrådgiver Pål Aaserudseter i Check Point. – Dersom én agent blir kompromittert eller begynner å avvike fra etablerte regler, kan påvirkningen spre seg videre til andre agenter gjennom interne kanaler.
Han mener studien viser at det er svært viktig, men ikke nok, å kontrollere den enkelte KI-agent.
– Gruppeeffekter kan bidra til spredning av uønsket adferd uten tydelige varselsignaler. Virksomheter må derfor både ha streng tilgangsstyring og kontroller som følger med på hvordan agentene samarbeider og kommuniserer med hverandre, sier Aaserudseter.
.jpg?w=170&action=fill&sh=ba2ea "Jim DeVries, styreleder, administrerende direktør og konsernsjef i ADT.")
.jpeg?w=480&action=fill&sh=2d5ab "Johannes Vallesverd, seniorrådgiver i Nkom Nkom")
Global
