Ifølge WithSecure udgør tilgængeligheden af avancerede sprogmodeller, som ChatGPT, der producerer autentiske tekster på få sekunder, et vendepunkt i forhold til digital sikkerhed.

I rapporten beskrives en række forsøg, der er udført på GPT-3-sprogmodeller (Generative Pre-trained Transformer 3), som benytter maskinlæring til at generere tekst. I forsøgene blev der anvendt prompt engineering – et koncept, hvor man finder de input, der genererer de ønskede resultater – til at producere indhold, der blev betragtet som direkte skadelige.

Sikkerhedseksperterne undersøgte, hvordan ændringer i input til tilgængelige sprogmodeller påvirkede de generede tekster. Formålet var at identificere, hvordan AI-sproggenerering kan misbruges gennem kreativ prompt engineering for på den måde at bidrage til udviklingen af mere sikre sprogmodeller i fremtiden.

Under forskningsprojektet blev der bl.a. eksperimenteret med phishing, spear-phishing, chikane, ondsindet tekst og falske nyheder.

- Alle med en internetforbindelse kan få adgang til kraftfulde sprogmodeller, hvilket har den konsekvens, at enhver kommunikation, man modtager, potentielt kan være skrevet med hjælp fra kunstig intelligens. Fremover vil anvendelsen af kunstig intelligens, til at generere både skadeligt og nyttigt indhold, kræve detektionsstrategier, som kan forstå betydningen og formålet med indholdet, siger Andy Patel, der er Intelligence Researcher hos WithSecure og står i spidsen for forskningsprojektet.

Fundene i forskningsprojektet og den generelle udvikling af GPT-3-modellerne fører bl.a. til følgende konklusioner:

• Prompt engineering og ondsindet prompt-fremstilling vil udvikle sig markant de kommende år

• Hackere vil udvikle de muligheder som sprogmodeller giver på endnu uforudsigelige måder

• Det vil blive vanskeligere for platformsudbydere at identificere ondsindet indhold

• Sprogmodeller giver allerede cyberkriminelle mulighed for at effektivisere målrettet kommunikation som led i et angreb