Restarting the experience
Upptäck hur deepfakes fungerar, och de visuella ledtrådarna som hjälper dig avslöja dem. Vi ger exempel från våra efterforskningar.
Tekniska detaljer
Visuella missar
Annan hudfärg : Det är skillnad på maskens och målets hudfärg. Ansiktet tycks vara täckt av ett färglager och man kan se kanter eller prickar.
En deepfake skapas av ett datorprogram som kan lära sig själv att återskapa ett ansikte genom att analysera olika bilder på en person. Det är en form av djupinlärning. Programmet kan sedan lägga in ansiktet det skapat på en existerande video – som en digital mask. Du kan se spår av en sådan mask i den här videon:
Målvideo
Källvideo
Deepfake målvideo: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Deepfake källvideo: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Shia LaBeouf
Pilar
Ursprunglig video: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Tekniska detaljer
Visuella missar
Annan hudfärg : Det är skillnad på maskens och målets hudfärg. Ansiktet tycks vara täckt av ett färglager och man kan se kanter eller prickar.
Olika ansiktsuttryck: Ansiktsuttrycket på deepfaken matchar inte målets ansikte. Ansiktets delar beter sig inte naturligt och är osynliga, suddiga, eller dubblerade.
Synliga kanter: Kanterna på masken syns som skarpa eller suddiga kanter runt ansiktet.
Bilderna som algoritmen tränats med innehöll inte rätt ansiktsuttryck för att täcka Shias ansikte i videon, och saknade dessutom bilder på hans ansikte i profil. Om neuronätet inte tränas för dessa situationer så kan det inte skapa en bra digital mask. Notera hur Shias mun syns igenom masken och ger honom två munnar.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Ursprunglig målvideo: The Devil Wears Prada
| Andy's Interview
Original
Dataset
Mask
Placera
Deepfake
Efterbehandling
Välj en målvideo i vilken du vill lägga in ett ansikte. En stabil video med enhetlig bakgrund ger bättre resultat.
Skapa ett dataset för ansiktet som du vill klistra in (källan), där du matchar ljussättning och ansiktsuttryck så väl som möjligt.
Täck ansiktet på andra personer i videon, annars plockas de upp av algoritmen och rör till träningsprocessen.
Algoritmen klipper ut ansikten för att använda dem till träning och sparar deras position för att placera masken korrekt efteråt.
Algoritmen skapar en mask av ansiktet i källvideon som du sedan får passa in i målvideon.
Med videoredigeringsprogram kan du få masken att smälta in bättre och förfina slutresultatet.
Tekniska detaljer
I detta experiment exporterades samma källvideo med två olika bildhastigheter. Båda modellerna tränades med exakt samma studioinställningar. Antalet träningscykler per bild är densamma, men träningstiden var längre med det större datasetet. Man kan klart se att algoritmen som tränades med fler bilder kan producera ett mer raffinerat slutresultat som bättre matchar målet.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Ursprunglig målvideo: Sherlock | The Reichenbach Fall | Rooftop Showdown
Natalie Portman
Pilar
Ursprunglig målvideo: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Tekniska detaljer
Visuella missar
Suddigt ansikte: Masken är suddig. Det finns en skillnad i skärpa eller upplösning mellan masken och resten av videon.
Olika ansiktsuttryck: Ansiktsuttrycket på deepfaken matchar inte målets ansikte. Ansiktets delar beter sig inte naturligt och är osynliga, suddiga, eller dubblerade.
Profilkant: Sidovyn av masken ser konstig ut. Masken är trasig, mindre detaljerad, eller felaktigt placerad.
En video innehåller många fler ansiktsnyanser än bilderna vi tog från Facebook. Fotona som vår teammedlem hade på Facebook var självutvalda, och därmed saknades den typ av bilder som behövs för att skapa ett realistiskt ansiktsuttryck. Även om bättre tekniker kanske kunnat skapa ansiktsuttryck så är det utan ett mångsidigt källmaterial omöjligt att skapa något övertygande.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Tekniska detaljer
Visuella missar
Suddigt ansikte: Masken är suddig. Det finns en skillnad i skärpa eller upplösning mellan masken och resten av videon.
Flimmereffekt: Flimmer syns mellan ursprungsansiktet och deepfakeansiktet. Algoritmen känner inte igen ansiktet och slutar tillfälligt skapa masken.
Fel perspektiv: Deepfaken har ett annat perspektiv jämfört med resten av videon. Käll- och målvideon har olika skärpavstånd.
Deepfaken exporteras i upplösningen 64 px. Den lägre upplösningen gör att det tar mindre tid att träna algoritmen eftersom modellen endast behövt lära sig skapa lågupplösta bilder. I närbilder på ansikten syns den låga upplösningen tydligt.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Ursprunglig målvideo: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Bill Hader
Arnold Schwarzenegger
Ursprunglig målvideo: Bill Hader Presents: Schwarzenegger Baby
Källa deepfakevideo: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Tekniska detaljer
Visuella missar
Ansiktocklusion: När föremål passerar framför ansiktet så täcker eller förvränger masken föremålet.
Ansiktsblandningen, hudtonen och upplösningen är mycket bra. Avståndet gör det svårt att se någon suddighet. Efterarbetet är mycket skickligt gjort. Det enda avslöjande ögonblicket är när Bill Hader rör sitt finger framför ansiktet och det försvinner bakom masken. Skillnaden i skärpa och fingrets vinkel antyder att skaparen försökt gömma effekten i efterarbetet.
Tekniska detaljer
Inlärningstiden är relaterad till hur många gånger algoritmen behandlar bilderna. Behandlingsprocessen innefattar att skapa ett ansikte (eller digital mask), jämföra den med källbilden och sedan justera för att förbättra likheterna mellan masken och källan. Modellen går igenom denna cykel en gång för varje källbild. Sedan börjar den om igen. Hur mycket tid det tar beror på hur kraftfull dator som använts.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Arthur
Andrej
Tekniska detaljer
Av de två modellerna är H128 den lättare. Den uppnår bra resultat snabbare. Den mer preciserade SAEHD-masken är bättre på att hantera handen och att smälta in med ljuset. H128 verkar vara bättre tränad i att skapa ansiktet: masken är skarpare, mer stabil och hanterar rörelser och perspektivförändringar bättre. Experter hävdar dock att SAEHD kan prestera bättre än H128 om den får träna mer.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Tekniska detaljer
Ansiktsåterskapande kräver mycket mer datakraft men är mycket svårare att upptäcka. Många av de utmaningar man ser med källvideor gäller inte för återskapande, men algoritmen fungerar på ett liknande sätt. De återskapade delarna av ansiktet kommer vara lite suddiga och mindre detaljerade.
Var också uppmärksam på ljudet och håll utkik efter fel eller läppsynkningsproblem. Använd det du lärt dig på denna sida, fundera på huruvida videon sannolikt är en målvideo och om omständigheterna stämmer för en möjlig deepfake. Om du är tveksam, kolla videons källa.
Deepfake källvideo: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.