Når en brugerkonto med adgang til en AI-assistent kompromitteres, kan angriberen udnytte de samme funktioner og oplysninger, som den legitime bruger har adgang til. AI-assistenten kan dermed bruges til hurtigt at finde følsomme oplysninger, identificere interessante mål og føre angrebet videre.

I et nyt kontrolleret såkaldt proof-of-concept-angreb viser Barracudas red team, hvordan en enkelt kompromitteret medarbejderkonto kan bruges til at eskalere et angreb til en kompromitteret direktørkonto og et bedrageriforsøg i forbindelse med en bankoverførsel. I testen blev Microsoft Copilot anvendt, men ifølge Barracuda kan metoden også benyttes med andre almindeligt tilgængelige AI-assistenter.

AI hjælper angriberen med at kortlægge organisationen

I det kontrollerede angreb bruger angriberne først AI-assistenten til at oprette regler i indbakken, som skjuler advarsler om login og andre mistænkelige notifikationer for brugeren. På den måde kan angriberne bevare deres adgang uden så let at blive opdaget.

Derefter bruges AI-assistenten til at kortlægge organisationens struktur, identificere værdifulde mål og finde relevante samtaler blandt flere måneders e-mails, vedhæftede filer og kalenderaktiviteter.

På baggrund af disse oplysninger får angriberne AI-assistenten til at udforme en troværdig phishingmail til virksomhedens administrerende direktør, skrevet i den kompromitterede medarbejders naturlige skrivestil. Da e-mailen sendes fra en legitim intern konto og bygger på reelle forretningsmæssige sammenhænge, øges sandsynligheden for, at angrebet lykkes.

Da direktørens konto efterfølgende kompromitteres ved tyveri af en sessionstoken, gentages processen. AI-assistenten bruges til at bevare adgangen og finde frem til de mest værdifulde økonomiske oplysninger i direktørens indbakke.

Fandt en betaling på 247.500 dollar

Testen viser, hvordan en AI-assistent hurtigt kan gøre indholdet af en indbakke søgbart for en angriber. Et enkelt spørgsmål om de seneste økonomiske aktiviteter gav blandt andet oplysninger om aktuelle fakturaer, bankoverførsler og procedurer for godkendelse af betalinger.

Blandt oplysningerne var en afventende betaling på 247.500 dollar. Angriberne brugte derefter direktørens konto og AI-assistenten til at formulere en troværdig anmodning til økonomiafdelingen om at ændre modtagerens bankkonto, inden overførslen blev godkendt.

Da anmodningen kommer fra direktørens rigtige e-mailkonto, henviser til en reel transaktion og efterligner direktørens måde at kommunikere på, har traditionelle sikkerhedsløsninger til e-mail kun få grunde til at betragte meddelelsen som mistænkelig.

Angriberne opretter desuden videresendelsesregler for at opsnappe bekræftelsesmeddelelser og bruger AI-assistenten til hurtigt at finde og slette spor efter bedrageriet.

”Kan forbedre både kvaliteten og hastigheden af et angreb”

– En brugers e-mailhistorik er fuld af følsomme oplysninger og sammenhænge, som kan udnyttes af angribere. Det gælder blandt andet sendte og modtagne e-mails, delte dokumenter, vedhæftede filer og kalenderinvitationer. Virksomhedens struktur kan kortlægges gennem relationer, der fremgår af meddelelser, eller direkte via organisationsdiagrammer, siger Daniel Avulov, Senior Cybersecurity Researcher i Barracudas red team.

– Det kontrollerede angreb viser, hvordan AI-assistenter utilsigtet kan fungere som ondsindede insidere og forbedre både kvaliteten og hastigheden af et angreb. Det mest effektive forsvar er at erkende, at angrebsmønstrene er de samme, udnytte den telemetri, der allerede findes, og sørge for, at tiden frem til opdagelse er så kort som muligt, fortsætter Daniel Avulov.

I takt med at AI-assistenter bliver en stadig mere integreret del af virksomhedernes kommunikation og arbejdsgange, er organisationer nødt til at betragte konti med AI-funktioner som værdifulde aktiver. Beskyttelse af identiteter, overvågning af tegn på kompromitterede konti og sikring af AI-assisteret adgang til virksomhedsoplysninger bliver en stadig vigtigere del af sikkerhedsarbejdet omkring e-mail og identiteter, mener virksomheden.