Restarting the experience

Deep

fake

Lab

Går till botten med mysterierna kring deepfakes.

Upptäck hur deepfakes fungerar, och de visuella ledtrådarna som hjälper dig avslöja dem. Vi ger exempel från våra efterforskningar.

01. Tesla Baby

Låt oss titta på ett populärt exempel från nätet.

I den här videon har Elon Musks ansikte satts på ett barn. Den här typen av ansiktsbyten är den vanligaste typen av deepfakes. Titta noga: ansiktets kanter kanterna är suddiga och huden har en annan färg.

Tekniska detaljer

Visuella missar

En deepfake skapas av ett datorprogram som kan lära sig själv att återskapa ett ansikte genom att analysera olika bilder på en person. Det är en form av djupinlärning. Programmet kan sedan lägga in ansiktet det skapat på en existerande video – som en digital mask. Du kan se spår av en sådan mask i den här videon:

02. Gör det själv

Du kan också pröva det här hemma. Vi visar dig hur.

Deepfake-videor kan skapas på hemdatorer, men det kräver ett kraftfullt grafikkort. Denna video visar vårt första försök, som illustrerar varför det är viktigt att använda lämpliga källvideor.

Tekniska detaljer

Visuella missar

Bilderna som algoritmen tränats med innehöll inte rätt ansiktsuttryck för att täcka Shias ansikte i videon, och saknade dessutom bilder på hans ansikte i profil. Om neuronätet inte tränas för dessa situationer så kan det inte skapa en bra digital mask. Notera hur Shias mun syns igenom masken och ger honom två munnar.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Process

Så hur skapar du en deepfake?

Du behöver två saker, en källvideo och en målvideo. Programmet tränar sig själv med hjälp av båda och skapar en mask av källvideon som kan läggas in på målvideon med hjälp av ett redigeringsprogram.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Ursprunglig målvideo: The Devil Wears Prada | Andy's Interview

Original

Dataset

Mask

Placera

Deepfake

Efterbehandling

Välj en målvideo i vilken du vill lägga in ett ansikte. En stabil video med enhetlig bakgrund ger bättre resultat.

04. Träningsdata

Vad händer om vi ger programmet mer underlag? Blir det bättre?

I detta experiment har två program fått olika antal bilder. Mer källmaterial ger ett klart bättre resultat. Modellen hade mer ansiktsinformation och kunde skapa en bättre mask.

Tekniska detaljer

I detta experiment exporterades samma källvideo med två olika bildhastigheter. Båda modellerna tränades med exakt samma studioinställningar. Antalet träningscykler per bild är densamma, men träningstiden var längre med det större datasetet. Man kan klart se att algoritmen som tränades med fler bilder kan producera ett mer raffinerat slutresultat som bättre matchar målet.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Socialt Bedrägeri

Hur sårbar är du? Kan vi stjäla ditt innehåll på sociala medier och skapa en bra deepfake?

Vi tog alla foton från en teammedlems Facebook och skapade en deepfake. Hon log i nästan alla källfiler, och algoritmen kunde därför inte skapa en icke-leende mask.

Natalie Portman

Pilar

Tekniska detaljer

Visuella missar

En video innehåller många fler ansiktsnyanser än bilderna vi tog från Facebook. Fotona som vår teammedlem hade på Facebook var självutvalda, och därmed saknades den typ av bilder som behövs för att skapa ett realistiskt ansiktsuttryck. Även om bättre tekniker kanske kunnat skapa ansiktsuttryck så är det utan ett mångsidigt källmaterial omöjligt att skapa något övertygande.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Val av mål?

Vi har sett hur viktig källan är för att träna algoritmen. Hur är det med målvideon?

Även om källan är bra kan det vara svårt att skapa en deepfake. Indiana Jones är full av kaotiska scener. Jämfört med de tydligare videorna vi använt tidigare har algoritmen nu svårt att hänga med.

Tekniska detaljer

Visuella missar

Deepfaken exporteras i upplösningen 64 px. Den lägre upplösningen gör att det tar mindre tid att träna algoritmen eftersom modellen endast behövt lära sig skapa lågupplösta bilder. I närbilder på ansikten syns den låga upplösningen tydligt.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Blinka inte

Ibland smälter de två ansiktena ihop. I denna video imiterar målet till och med sitt nya ansikte.

Denna deepfake skapades ur ett talkshowinslag där Bill Hader imiterar Arnold Schwarzenegger. Genom att använda källmaterial som passar Arnold Schwarzenegger fick man ett övertygande resultat.

Tekniska detaljer

Visuella missar

Ansiktsblandningen, hudtonen och upplösningen är mycket bra. Avståndet gör det svårt att se någon suddighet. Efterarbetet är mycket skickligt gjort. Det enda avslöjande ögonblicket är när Bill Hader rör sitt finger framför ansiktet och det försvinner bakom masken. Skillnaden i skärpa och fingrets vinkel antyder att skaparen försökt gömma effekten i efterarbetet.

08. Tiden spelar roll

Vad händer om vi låter algoritmen öva mer på källmaterialet? Blir resultaten bättre?

I detta experiment fick ena modellen träna i fyra timmar och den andra i 48. Resultatet från 48-timmars modellen blev förbättrade ansiktsdetaljer och mer tredimensionella ansikten.

Tekniska detaljer

Inlärningstiden är relaterad till hur många gånger algoritmen behandlar bilderna. Behandlingsprocessen innefattar att skapa ett ansikte (eller digital mask), jämföra den med källbilden och sedan justera för att förbättra likheterna mellan masken och källan. Modellen går igenom denna cykel en gång för varje källbild. Sedan börjar den om igen. Hur mycket tid det tar beror på hur kraftfull dator som använts.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmer

Ett sista experiment. Hur svarar olika algoritmer på vissa förhållanden?

I detta experiment skapade vi både käll- och målvideon själva. Algoritmens metoder syns tydligt. H128 skapar en fyrkantig mask medan SAEHD matchar ansiktet bättre.

Arthur

Andrej

Tekniska detaljer

Av de två modellerna är H128 den lättare. Den uppnår bra resultat snabbare. Den mer preciserade SAEHD-masken är bättre på att hantera handen och att smälta in med ljuset. H128 verkar vara bättre tränad i att skapa ansiktet: masken är skarpare, mer stabil och hanterar rörelser och perspektivförändringar bättre. Experter hävdar dock att SAEHD kan prestera bättre än H128 om den får träna mer.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Var på din vakt

Låt oss se vad som faktiskt pågår med deepfakevideor.

Var på din vakt: deepfakes kan vara välgjorda och svårupptäckta. Även om vi här fokuserat på ansiktsbyten kan deepfakes också användas för ansiktsåterskapande, där det ser ut som att någon sagt något.

Tekniska detaljer

Ansiktsåterskapande kräver mycket mer datakraft men är mycket svårare att upptäcka. Många av de utmaningar man ser med källvideor gäller inte för återskapande, men algoritmen fungerar på ett liknande sätt. De återskapade delarna av ansiktet kommer vara lite suddiga och mindre detaljerade.

Var också uppmärksam på ljudet och håll utkik efter fel eller läppsynkningsproblem. Använd det du lärt dig på denna sida, fundera på huruvida videon sannolikt är en målvideo och om omständigheterna stämmer för en möjlig deepfake. Om du är tveksam, kolla videons källa.

Här kommer en behändig sammanfattning av det du lärt dig på denna hemsida, så att du kan granska videor själv.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0