Angrebene beskrives i en ny rapport fra Barracuda Research. De benytter to metoder: social manipulation rettet mod modtageren og såkaldt promptinjektion rettet mod AI-systemet.
Forsøger at styre fortolkningen
Promptinjektion indebærer i dette tilfælde, at angriberen placerer instruktioner i e-mailen for at forsøge at styre, hvordan AI-assistenten fortolker og håndterer indholdet.
E-mailen kan bestå af flere lag – ét med tekst og billeder, som modtageren kan se, og ét med skjulte instruktioner til AI-systemet. Instruktionerne kan skjules i HTML-kommentarer, i tekst med skriftstørrelsen nul eller hvid skriftfarve, i kodet indhold eller i beskyttede vedhæftede filer.
Skjulte instruktioner
AI-assistenter til e-mail bruges til at læse, opsummere, prioritere og håndtere meddelelser. Angriberne forsøger at udnytte disse funktioner til at påvirke, hvordan assistenterne fortolker indholdet, og hvilke handlinger de foretager.
Barracudas eksperter har blandt andet set instruktioner, der forsøger at få AI-systemer til at:
- Tilføje en falsk opgave med høj prioritet, som opfordrer en medarbejder til at ændre en leverandørs betalingsoplysninger. Det kan øge risikoen for, at en betaling foretages til svindleren.
- Manipulere automatisk gennemgang af CV'er ved at give en ansøger topkarakter og anbefale en jobsamtale uanset kvalifikationer.
- Skifte til en godkendt vedligeholdelses- eller administrationstilstand og udlevere oplysninger om systemets konfiguration.
- Indsætte kode, der stjæler loginoplysninger, hver gang en kodeassistent opretter funktioner til autentificering.
– En enkelt e-mail kan nu indeholde to separate angreb. Dels traditionel phishing, som eksempelvis forsøger at stjæle loginoplysninger via en skadelig vedhæftet fil, dels promptinjektion, som forsøger at manipulere AI-systemer og påvirke deres adfærd, siger Guruprasad Kenja, trusselsanalytiker hos Barracuda Networks.
– Når AI-assistenter bliver en del af det daglige arbejde, skal organisationer ikke kun beskytte brugerne og deres indbakker, men også de AI-systemer, der læser og handler på baggrund af oplysninger i e-mails, afslutter han.
.jpg?w=480&action=fill&sh=02a83 "Billede: Digitaliseringsstyrelsen")
Global
