Når man læser om AI-agenter, der bryder ud af deres testmiljø og hacker sig ind hos virkelige virksomheder, er den nærliggende reaktion at spørge, hvornår sådan en kommer efter én selv. Det er formentlig det forkerte spørgsmål.

Det interessante ved de hændelser, der er offentliggjort hen over sommeren, er nemlig, at ingen af dem var angreb i normal forstand. Ingen havde til hensigt at ramme nogen. I hvert enkelt tilfælde fik en AI-agent en opgave, den skulle løse, en utilstrækkelig afgrænsning af, hvor den måtte lede, og adgang til mere, end den havde brug for. Så gjorde den, hvad den var blevet bedt om — bare mere grundigt og mere bogstaveligt, end nogen havde regnet med.

Den mekanisme kræver hverken et forskningslaboratorium eller en frontier-model. Den kræver bare en agent med et mål og nogle rettigheder.

De færreste tester AI-modeller. Rigtig mange bruger agenter

Ingen danske virksomheder sidder og måler AI-modellers hackingevner. Men mange har allerede kodeassistenter, der kan skrive og køre kode. AI i kundeservice med adgang til kundedata. Agenter koblet på økonomisystemet, på fildrevet, på mailen. Værktøjer, der er indført af gode grunde, og som ofte er blevet givet brede rettigheder, fordi det var nemmere end at finde ud af præcis hvilke der var nødvendige.

Det er den samme opsætning. Et mål, der er formuleret i store træk, og en adgang, der er større end opgaven.

Ét af de dokumenterede forløb illustrerer, hvor langt en agent kan finde på at gå. Modellen fandt en intern udviklervejledning, der henviste til en softwarepakke, som ikke fandtes. Så byggede den selv en pakke med samme navn og lagde den op i det offentlige softwarebibliotek, hvor udviklere henter komponenter fra — i den tro, at biblioteket var en del af øvelsen. For at kunne oprette en konto skulle den bruge en mailadresse. For at få en mailadresse skulle den bruge et telefonnummer. Den forsøgte at skaffe penge til at betale for et, opgav, fandt en gratis mailudbyder og kom igennem. Pakken lå frit tilgængelig i cirka en time og blev i det tidsrum hentet og kørt på 15 virkelige systemer.

En medarbejder ville formentlig være standset undervejs og have spurgt, om det her nu også var meningen. Det gør en agent ikke.

Scenariet, ingen har en plan for

De fleste beredskabsplaner er skrevet ud fra, at virksomheden er offer. Her er der et andet scenarie: at ens egen automatisering forvolder skade hos nogen andre. En agent, der rydder op i noget, den ikke skulle have rørt. Et system hos en kunde eller en leverandør, der bliver ramt, fordi en integration havde bredere adgang end nødvendigt.

Det rejser et spørgsmål, der er billigt at få afklaret nu og dyrt at opdage bagefter: dækker virksomhedens cyberforsikring skade forvoldt af en autonom agent? Flere policer er formuleret med udgangspunkt i, hvad brugere og medarbejdere kan finde på — og "bruger" er ikke nødvendigvis defineret sådan, at en agent er omfattet. Det er et opkald til forsikringsmægleren, ikke et projekt.

Det behøver ikke være stort

Der er ingen grund til at sætte et program i gang. Det, der mangler i de fleste virksomheder, er ikke teknologi, men to helt jordnære ting: at nogen ved, hvilke agenter der kører, og at nogen har lov til at slukke dem.

Resten kan tages i det tempo, virksomheden nu har. Men den dag noget går galt, er forskellen på en hændelse og en krise typisk, om der var et navn på den, der kunne trække stikket — og om nogen kunne se bagefter, hvad agenten egentlig havde lavet.

Det bør direktionen sætte i gang

• Lav en liste. Hvilke AI-agenter og -assistenter kører der i virksomheden — også dem, afdelingerne selv har taget i brug — og hvad har de adgang til?
• Sæt et navn på hver af dem. En ansvarlig, der har mandat til at lukke agenten ned med det samme, uden at skulle spørge om lov først
• Log dem som medarbejdere. Hvilke handlinger, hvilke systemer, hvilken adgang. Uden logning kan man ikke finde ud af, hvad der er sket
• Ring til forsikringsmægleren. Spørg, hvordan policen forholder sig til skade forvoldt af et autonomt system, og om "bruger" er defineret som en fysisk person.

Prøv én gang, hvad I ville gøre. En times bordøvelse med to spørgsmål: hvad gør vi, hvis en agent går galt i byen hos os — og hvad gør vi, hvis vores agent rammer en anden?

Kilde: DI, Dansk Industri

Se flere sikkerhedsnyheder på Securityworldmarket.