Deepfakes & social manipulation

Större delen av 2010-talet sade träningen kring business email compromise samma sak: ring tillbaka när du är osäker. Logiken var sund. Även om en angripare kunde spoofa ett mejl kunde de inte producera chefens röst i realtid. Telefonsamtalet var en pålitlig andrakanal.

Röstkloning bröt det försvaret snabbt. 2019, i det första offentligt dokumenterade röstkloningsbedrägeriet, krävdes timmar av källjud. Vid 2024 demonstrerade McAfee och andra att tre till fem sekunder av källmaterial räckte för att producera kloner med 85-procentig akustisk matchning.

Vad som överlever den här förändringen är callback till ett känt nummer från en telefonbok mottagaren upprätthåller oberoende av det meddelande som föranlett samtalet. Om mejlet ber om en överföring och tillhandahåller ett callback-nummer är det numret del av attacken. Om mottagaren ringer chefens kända kontorsnummer bryts attackkedjan.

Video-deepfakes följde samma utvecklingslinje som röstkloner, med ungefär två års eftersläpning. De akademiska demonstrationerna 2017 krävde timmar av beräkningstid. Vid 2023 fanns realtids-face-swap-verktyg som standardprogramvara. I början av 2024 fungerade realtidsdeepfakes med flera personer tillräckligt bra för att lura en ekonomianställd på ett Zoom-samtal med flera deltagare.

Den tekniska mekanismen är begreppsmässigt enkel. En modell tränad på tillräckligt med bilder och video av målpersonen kan generera bildrutor av målets ansikte med vilken min som helst. De artefakter som avslöjar deepfaken, lätt inkonsekvent ögonrörelse, asymmetriska ansiktsuttryck, tillfällig desync mellan röst och läppar, är subtila nog att de flesta tittare i ett typiskt arbetsmöte inte kommer märka dem, särskilt under tidspress.

Arup-attacken är värd att studera i detalj. Offret kontaktades först via mejl, väckte misstanke och bad om verifiering. Angriparen arrangerade då ett videosamtal med flera deepfakade chefer, inte bara en, vilket gav den sociala bevisning som overred den inledande tveksamheten. Försvaret måste vara procedurmässigt: en separat godkännandekanal som var oberoende av själva samtalet.

Deepfakes genereras inte i ett vakuum. De kräver källmaterial, och det källmaterialet är nästan alltid offentligt tillgängligt. Chefers röster finns på kvartalspresentationer, konferensföredrag, podcasts och YouTube-intervjuer. Deras ansikten finns i företagsbiografier, nyhetsbilder och sociala medier.

Detta är samma OSINT-pipeline som driver AI-assisterad phishing, omfunktionerad för att mata deepfake-genereringsmodeller. Wiz VD:s röst klonades från ett offentligt tillgängligt konferensföredrag. Ferrari-VD:ns accent reproducerades från hans många offentliga framträdanden. Varje chef som framträder offentligt tillhandahåller också träningsdata för sin egen framtida imitation.

Det betyder inte att chefer ska försvinna från offentlig kommunikation. Det betyder att försvarsbasen måste anta att vilken offentlig person som helst kan deepfakas, och att skyddet kring den personens auktoritet måste designas därefter. Den rätta frågan är inte "hur förhindrar vi deepfaken" utan "vilken process gör en deepfake otillräcklig för att auktorisera handlingen".

Tre kategorier av försvar överlever deepfake-förändringen, och de delar alla en egenskap: de är inte beroende av att mottagaren skiljer äkta från fejk. Den första är out-of-band-verifiering, att bekräfta varje ovanlig eller högvärdig begäran via en kanal mottagaren kontrollerar. Kanalen måste vara en angriparen inte tillhandahöll.

Den andra är processbaserade kontroller, att ta bort enpersons-auktoritet över högrisk-åtgärder. Överföringar över ett tröskelvärde kräver två oberoende godkännare. Dessa kontroller fungerar eftersom de tvingar angriparen att kompromettera flera oberoende människor samtidigt.

Den tredje är delad-hemlighet-verifiering, att använda information som bara den verkliga personen skulle känna till och som inte finns i offentligt OSINT-material. Ferrari-cheferna stoppade sin attack genom att fråga deepfaken om en aktuell bokrekommendation. Detektionsteknik förbättras snabbt men bör inte förlitas på som primärt försvar. Det operativa försvaret mot deepfake-driven bedrägeri är procedurmässigt, inte tekniskt.