– Införandet av säkerhetsinitiativ från AI-företag i framkant skapar betydande brus i ett redan bullrigt hotlandskap, säger John Watts, vice analytiker för Gartner och fortsätter:

– Chefer inom cybersäkerhet måste kunna hitta hotsignaler i allt brus för att kunna reagera på förändringar i hotlandskapet.

Komprometterade AI-applikationer

Komprometterade AI-applikationer är i den kritiska hotgruppen eftersom angripare riktar in sig på det växande antalet produktionsklara AI-verktyg för allmänheten och företag. Attackytan har vuxit till att omfatta specialbyggda agenter, tredjepartsintegrationer och applikationer endast för anställda, vilket ofta exponerar känsliga data eller inloggningsuppgifter när kontrollerna är svaga.

– Cybersäkerhetsteam behöver utöka sina program bortom traditionella mjukvaruskydd genom att kartlägga nya attackytor som introduceras av generativa AI-modeller eller agentbaserade verktyg, säger John Watts och fortsätter:

– Genom att använda Gartners ramverk för trust and risk in security management kan cybersäkerhetsteam veta var de behöver integrera AI-specifika riskreducerande åtgärder direkt i utvecklingsprocessen för AI-applikationer.

Identitetsimitation med hjälp av deepfakes

Framväxten av generativ AI har dramatiskt ökat volymen, kvaliteten och tillgängligheten när det gäller att skapa deepfakes för både röst, video och bild – oavsett om det handlar om förinspelat material eller realtidsgenerering.

Detta har utökat möjligheten för angripare att imitera identiteter över en rad olika attackytor. Deepfakes kan användas för att attackera biometriska autentiseringsprocesser, kan kombineras med social engineering i realtidsattacker mot anställda och kan användas för att undergräva rekryteringsprocesser.

– Angripares användning av deepfakes fortsätter att öka och är nu vanligt förekommande, vilket gör bedrägerier och nätfiskebedrägerier svåra att upptäcka, säger John Watts och fortsätter:

– Det finns ingen enskild cybersäkerhetskontroll som skyddar dig. Istället bör organisationer använda en kombination av att stärka affärsprocesser, öka medvetenheten och implementera tillgängliga deepfakes-detekteringstekniker där det är möjligt.

Som ett resultat måste cybersäkerhetsteam se bortom deepfakes-detektering och stärka kontrollerna för att skydda integriteten i realtidskommunikation, såväl som biometriska autentiserings- och verifieringsprocesser genom att beakta följande, menar Gartner:

• Bygg en robust strategi för att minska riskerna genom att inse att deepfake-detektering ensamt inte är tillräckligt för att upptäcka och förhindra deepfake-identitetsattacker.

• Skydda verifiering av biometrisk identitet genom att fokusera på detektering av presentations- och injektionsattacker utöver kontextuella signaler.

• Säkra onlinemöten genom att implementera policyer för villkorlig access för att upprätthålla stark autentisering för samtalsdeltagare och analys av samtalsmetadata.

Hot mot programvaruleveranskedjan

– Utvecklingen av generativa AI-erbjudanden kommer bara att accelerera trenden med attacker mot programvaruleveranskedjan genom sårbarheter i öppen källkodsprogramvara, säger John Watts.

– Organisationer måste arbeta mot betrodda komponentregister, stärka sina CI/CD-pipelines och bygga starka kapaciteter för att upptäcka och reagera på operativa avvikelser.

Cybersäkerhetsteam bör enligt Gartner bygga upp omfattande inventeringar av programvarutillgångar samtidigt som de integrerar starka kontroller i varje utvecklingsstadium. Dessa åtgärder hjälper till att försvara sig mot nya hot som riktar sig mot både traditionella applikationer och moderna AI-drivna pipelines.

Prompt injection

Prompt injection (Prompt injektion) är ett cybersäkerhetshot som riktar sig mot AI-system, särskilt de som använder stora språkmodeller (LLM). Angripare manipulerar prompts för att ändra modellens beteende, vilket får den att läcka känslig information, utföra obehöriga åtgärder eller kringgå kontroller. I takt med att organisationer i allt större utsträckning använder generativ AI ökar risken för prompt injection, vilket gör det till ett kritiskt problem för cybersäkerhetsteam.

För att effektivt motverka detta hot bör cybersäkerhetsteam enligt Gartner implementera en ”layered mitigation strategy”. Detta innebär att AI-säkerhetstester proaktivt identifierar sårbarheter, etablerar starka systemmeddelanden för att vägleda AI-beteende och distribuerar AI-runtime-skyddsräcken som övervakar och blockerar misstänkt aktivitet.