Metoder för att skapa deepfakes har utvecklats snabbt de senaste åren. Moderna AI-modeller kan generera realistiska ansikten, objekt och hela scener, vilket har lett till en spridning av manipulerade foton på internet med en förvånansvärt stor likhet med originalen. Generativ AI:s förmåga att skapa verklighetstrogna bilder öppnar upp för nya möjligheter inom områden som kreativa tillämpningar.

Men detta medför en ökad risk för felinformation. Manipulerat innehåll kan förvränga bevis och undergräva förtroendet. I Realorrender-projektet samarbetar forskare vid Fraunhofer IOSB med det tyska federala kontoret för informationssäkerhet (BSI) för att visa hur innovativa AI-metoder kan användas för att tillförlitligt och robust skilja deepfakes från verkliga bilder. Projektet finansieras av BSI.

Använder hybridmetod

Robusta mekanismer för att upptäcka deepfakes är av avgörande betydelse för att minska risker. Forskargruppen på Fraunhofer IOSB använder sig för första gången av en hybridmetod som kombinerar en traditionell klassificeringsmetod för deep learning med en metod som kontrollerar hur väl en bild kan rekonstrueras av en generativ modell.

– Först använder vi en AI-bildgenerator för att rekonstruera bilden. Sedan tar en AI-modell över klassificeringen och utför en hybridberäkning av rekonstruktionsfelet. Slutligen får vi en uppskattning som visar igenkänningsnoggrannheten i procent. Den totala detektionsgraden varierar mellan 85 och 91 procent, även om den säkerligen kan vara högre i enskilda fall, säger Andreas Specker, seniorforskare i forskargruppen Video-Assisted Security and Assistance Systems.

Ju mer framgångsrik rekonstruktionen är, desto mer sannolikt är det att bilden i fråga också är en AI-genererad bild, det vill säga en deepfake. Detektionsnoggrannheten förbättras avsevärt genom att kombinera båda metoderna.

Kombinerar detektering och förklaringsbarhet

Men att bara avslöja förfalskningar räcker inte. Det är lika viktigt att förstå varför metoden upptäcker en deepfake. Att förklara beslut tillsammans med detektering är därför ett centralt mål för forskarna.

– Vi använder förklaringsbara AI-metoder (XAI) för detta, vilket gör att vi kan lyfta fram de bildområden och strukturer som bidrar till modellens beslut. Det kan således tydligt förstås varför en bild klassificeras som verklig eller AI-genererad. Till exempel kan distinkta texturer eller karakteristiska frekvensmönster antyda en bilds syntetiska ursprung. XAI hjälper till att visa vilka funktioner modellen använder i sitt beslut, säger Nadia Burkart, chef för gruppen Applied Explainable AI på Fraunhofer IOSB.

Forskarna använder XAI-metoder som kan klassificeras i heatmap-baserade och segmentbaserade metoder baserat på deras förklaringsformat. Heatmap-baserade metoder visualiserar vilka områden i bilden som bidrog mest till modellens beslut och i vilken grad dessa faktorer påverkade utvärderingen. Däremot analyserar segmentbaserade metoder sammanhängande bildsegment och visar vilka semantiska regioner som bidrog till modellens beslut.

Effektivt tekniskt skydd mot förfalskade bilder

I tester på en stor bilddatauppsättning kunde forskarna visa att denna hybrida, förklaringsorienterade metod överträffar nuvarande metoder. Detta ger en ny generation av intelligenta system som kan lära sig och är transparenta och pålitliga. Genom att kombinera dessa metoder förbättras robustheten hos deepfake-detektering, även med tanke på allt kraftfullare bildgeneratorer.

Forskningsresultaten integreras i en demonstrator som initialt kommer att hjälpa BSI att upptäcka deepfakes. Demonstratorn är enkel att använda: Efter att önskad bild har laddats upp visas detekteringsresultatet, följt av en förklaring. En textsammanfattning ger också en översikt över resultaten.

Forskningen från Fraunhofer IOSB och BSI dokumenteras i två projektrapporter som redan har publicerats. Detta arbete gynnar inte bara säkerhets- och brottsbekämpande myndigheter utan även operatörer av sociala medieplattformar, medieföretag och fotobyråer, menar organisationen.