Deep fakes är ett nytt sofistikerat hot från social ingenjörskonst som organisationer över hela världen står inför. Bedragare går vidare från nätfiskemejl och falska fakturor. De börjar anamma deepfakes i realtid och hög upplösning. Det nya hotet, enligt Thales, ställer en grundläggande fråga för cybersäkerhetsledare: "hur kan mina system verifiera vad som är verkligt?"

Deep fakes ursprung

Ursprunget till ansiktsbyte började med en teknik som kallas GAN (generative adversarial networks), som genererar högkvalitativ syntetisk data genom att lära sig mönster från befintliga träningsdataset. GAN öppnade dörren för generering av deep fakes i realtid.

Liksom så många andra samhällsförändrande teknologier framkom AI-ansiktsbyte först som underhållning. Hollywood var snabba med att anamma tekniken – särskilt för att minska ålderstecken. Ett uppmärksammat genombrott kom 2019 med The Irishman, där 76-årige Robert De Niros yngre ansikte återskapades digitalt för flashback-scener.

Ungefär samtidigt började användare av sociala medier också experimentera med en version av tekniken. Snapchat introducerade filter som lät folk förvandla sig till katter eller älvor. Innovationen var enormt populär.

Men bedragarna tittade på. De såg potentialen i ansiktsbyte för att ta social ingenjörskonst till nya nivåer. De fick hjälp av den snabba teknikutvecklingen. Tre sekunders ljud kan producera en 85-procentig röstmatchning från originalet till en klon. Och tack vare sociala medier finns det bilder och videor överallt som ger det källmaterial som behövs.

Som en konsekvens förväntas förlusterna relaterade till deep fakes enligt Thales öka från 12,3 miljarder dollar år 2023 till 40 miljarder dollar år 2027.

Kapprustningen kring AI-deep fakes

Framväxten av AI-deep fakes har förändrat reglerna för "känn din kund” för stora företag. Efter att i åratal ha använt svaga metoder för identifiering (uppladdning av personliga dokument, verifiering av e-postmeddelanden etc.) verkade ansiktsskanning i realtid vara en enorm förbättring. Ansiktsbyte undergrävde snabbt detta.

Jason Keenaghan, Director of product management på Thales Identity and Access Management beskriver hur amerikanska banker fick reda på detta den hårda vägen.

– För ungefär ett år sedan började banken se en ökning av bedrägerier vid öppnande av nya konton. Man var inte säker på vad som pågick. Tekniken för bedrägeriupptäckt kunde inte upptäcka attackerna. Endast manuella kontroller visade att det var deep fakes: det var uppenbart för det mänskliga ögat att ansiktena inte var verkliga, säger han och fortsätter:

– Men idag, ungefär ett år senare, har allt förändrats. Nu kan det mänskliga ögat eller örat inte längre upptäcka en deep fake. Videorna är för bra. Min uppfattning är att vi behöver AI-verktyg för att upptäcka onaturliga ögonblinkningar, felaktig belysning, inkonsekvenser i hudstruktur och 'gränsartefakter' runt ansikten. Vi måste acceptera att detta är en katt-och-råtta-lek. Kapprustningen har vänt – vi behöver nu AI för att upptäcka AI.

De tre försvarslagren

Så hur bör organisationer försvara sig mot dessa attacker? En bra början är att identifiera de processer som bedragare riktar in sig på: onboarding, kontoåterställningsprocesser, helpdesk och så vidare. Och detta bör gälla kundinteraktioner och de med affärspartners/anställda. Företag bör noggrant granska leverantörer eftersom deep fake-attacker i leveranskedjan ökar, menar Thales.

Multifaktorautentisering (MFA) är ett alternativ här. Med andra ord måste personalen be om sekundär bekräftelse innan de agerar i ett videosamtal. Detta innebär dock att man arbetar med tredje part, vilket medför nya risker.

Nästa steg är teknologi. Det finns ingen universell deep fake-detektor, så företag bör leta efter verifieringsverktyg med specifika funktioner. Den kanske viktigaste av dessa är live-känslan, eftersom det är den faktor som skiljer en verklig person från en syntetisk video eller ett AI-genererat ansikte. Företag bör söka vägledning från organisationer som NIST som rankar olika kommersiella erbjudanden.

Det tredje försvaret är träning. Människor kan vara den svagaste länken mot deep fake-attacker – målet för social ingenjörskonst. Säkerhetsteam bör därför visa en viss skepticism hos personalen och se till att utbildningen sker kontinuerligt snarare än en gång. ”Red team testing” kan hjälpa till att identifiera svagheter i säkerhetsprotokoll, menar företaget.

Bortom deepfakes: icke-mänskliga agenter

Bedragare använder uppenbarligen deep fakes-teknik med stor framgång. Men blickar redan mot nya bedrägerier. Experter tror att agentbaserad AI kommer att bli deras nästa attackvektor. Produkter som Chat GPT Agent arbetar för mänskliga användare. De kan planera, genomföra och lära sig utan kontinuerliga uppmaningar. Det är lätt att se hur brottslingar kan använda oseriösa agenter för att lura sig in i organisationer.

I takt med att agentteknik blir allt vanligare blir den stora utmaningen att upptäcka legitima icke-människor från de som kontrolleras av bedragare.

Naturligtvis kan agenter också användas i försvarssyfte. Jason Keenaghan tror att företag skulle kunna använda agenter som medpiloter för att upptäcka deep fakes.

– Man skulle kunna injicera en agent i ett Zoom- eller Teams-möte för att övervaka deltagarna och upptäcka deep fakes i realtid, säger han.

Inget förtroende utan verifiering

I dag finns AI-genererade förfalskningar överallt och de är för realistiska för att människor ska kunna urskilja dem. Därför måste vi verifiera och använda AI-verktyg – i kombination med personalutbildning och robusta processer – för att bekämpa AI-bedrägerier, menar Thales.