Restarting the experience
Gennem vores hands-on undersøgelser og de eksempler, vi har indsamlet på internettet, kan du gå på opdagelse i, hvordan deepfakes fungerer og de visuelle spor, du skal kigge efter for at spotte dem.
I denne video er et barns ansigt blevet overlejret med Elon Musks. Denne type ansigtsbytte er den mest almindelige måde at bruge deepfakes på. Se nøje efter: Kanterne er ikke skarpe, og hudtonen er anderledes.
Tekniske detaljer
Visuelle fejl
Uoverensstemmelse i hudtone: Der er forskel i hudtonen mellem masken og mål-ansigtet. Ansigtet ser ud til at være dækket af et lag farve, der viser sig som kanter eller pletter.
En deepfake skabes af et computerprogram, der kan lære sig selv at genskabe et ansigt ved at analysere adskillige billeder af personen. Programmet lægger derefter det ansigt, det har genskabt, på en eksisterende video - næsten som en digital maske. Du kan se spor af en sådan en maske i denne video.
Target Video
Deepfaked Video
Original mål-video: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Deepfake video source: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Deepfake-videoer kan laves på en hjemmecomputer, men du har brug for et kraftigt grafikkort. Videoen her er vores første test, som også gør det klart, hvorfor det er vigtigt fra starten at bruge en videokilde, der er egnet til den slags digital bearbejdning.
Shia LaBeouf
Pilar
Original mål-video: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Tekniske detaljer
Visuelle fejl
Uoverensstemmelse i hudtone: Der er forskel i hudtonen mellem masken og mål-ansigtet. Ansigtet ser ud til at være dækket af et lag farve, der viser sig som kanter eller pletter.
Uoverensstemmelse i ansigtsudtryk: Udtrykkene på deepfake-ansigtet stemmer ikke overens med mål-ansigtet. Ansigtstræk opfører sig unaturligt, er usynlige, slørede eller replikerede.
Synlige kanter: Kanterne på masken er synlige, enten som en skarp eller en sløret kant, der omgiver ansigtet.
Billederne, der blev brugt til at træne algoritmen, indeholdt ikke de rigtige ansigtsudtryk til at dække Shias ansigt i videoen, og de indeholdt heller ikke optagelser af hans ansigt i profil. Hvis det neurale netværk ikke er trænet til disse situationer, kan det ikke producere en nøjagtig digital maske. Læg mærke til, hvordan Shias mund ser ud under masken, hvilket resulterer i to munde.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Du skal bruge to videoer: en kilde og et mål. Programmet træner sig selv ved hjælp af begge dele og opretter en maske fra kilde-videoen, der kan lægges over på mål-videoen ved hjælp af et redigeringssoftware.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Original mål-video: The Devil Wears Prada
| Andy's Interview
Original
Datasæt
Maske
Justering
Deepfake
Efter
Vælg en mål-video, hvor du vil indsætte et ansigt. At vælge en stabil video med en ensartet baggrund giver dig det bedste resultat.
Optag et datasæt til det ansigt, du vil placere (kilden), der matcher belysning og udtryk så meget som muligt.
Dæk ansigterne til på andre mennesker i mål-videoen, ellers bliver de også hentet af algoritmen og forvirrer træningsprocessen.
Algoritmen beskærer ansigterne, så den kan bruge dem til træning og gemmer deres positioner for at kunne lægge masken nøjagtigt på bagefter.
Algoritmen genererer en maske af ansigtet fra kilde-videoen, som du derefter skal justere på mål-videoen.
Redigeringssoftware giver dig efterfølgende mulighed for at tilpasse masken og forfine det endelige resultat.
I dette eksperiment fik to programmer et forskelligt antal billeder. Mere kildemateriale forbedrer klart resultatet. Modellen havde flere oplysninger om ansigtet og kunne udvikle en bedre maske.
Tekniske detaljer
Eksperimentet blev udført med samme kilde-video, der blev eksporteret med to forskellige billedhastigheder, men blev trænet med samme studie-opsætning. Mængden af træningscyklusser pr. billede er ens, men træningstiden var længere med det største datasæt. Man kan tydeligt se, at algoritmen, der er trænet med flere billeder, kan producere et mere raffineret resultat, der bedre matcher målet.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Original mål-video: Sherlock | The Reichenbach Fall | Rooftop Showdown
Vi tog alle Facebook-billederne fra et af vores teammedlemmer og skabte en deepfake. På næsten alt kildematerialet smilede hun, så algoritmen kunne ikke generere en ikke-smilende maske.
Natalie Portman
Pilar
Original mål-video: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Tekniske detaljer
Visuelle fejl
Sløret ansigt: Masken er sløret. Der er forskel i skarphed eller opløsning mellem masken og resten af videoen.
Uoverensstemmelse i ansigtsudtryk: Udtrykkene på deepfake-ansigtet stemmer ikke overens med mål-ansigtet. Ansigtstræk opfører sig unaturligt, er usynlige, slørede eller replikerede.
Profilgrænser: Sidevisningen af ansigtet virker forkert. Deepfake-masken er itu, mindre detaljeret eller forkert justeret.
En video indeholder mange flere ansigtsnuancer end de billeder, vi tog fra Facebook. Fotos af vores teammedlem på sociale medier er selvvalgte og mangler derfor de variationer i udtrykket, der kræves for at skabe realistiske ansigtsudtryk ved tale. Selvom bedre teknologier måske er i stand til at fremstille ansigtsudtryk, er det umuligt at skabe noget overbevisende uden varieret kildemateriale.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Selv med en god kilde er det svært at skabe en deepfake. Klippet med Indiana Jones er mere kaotisk. Sammenlignet med de roligere videoer fra før, har algoritmen nu svært ved at følge med.
Tekniske detaljer
Visuelle fejl
Sløret ansigt: Masken er sløret. Der er forskel i skarphed eller opløsning mellem masken og resten af videoen.
Flimmer-effekt: Det flimrer mellem de originale og deepfake ansigterne. Algoritmen kan ikke genkende ansigtet og stopper med at opretholde masken et øjeblik.
Forkert perspektiv: Masken har et andet perspektiv end videoen. Kilde-videoen og målvideoen er i forskellig brændvidde.
Vores deepfake blev eksporteret med en opløsning på 64 px. Den lavere opløsning betyder, at det tog kortere tid at træne algoritmen, fordi modellen kun skulle lære at skabe et billede med lav opløsning. I nærbilleder af ansigter er den lave opløsning tydelig.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Original målvideo: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Denne deepfake-video stammer fra et talkshow-klip, hvor Bill Hader efterligner Arnold Schwarzenegger. Ved at bruge passende kildemateriale af Arnold Schwarzenegger blev resultatet overbevisende.
Bill Hader
Arnold Schwarzenegger
Original mål-video: Bill Hader Presents: Schwarzenegger Baby
Source deepfaked video: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Tekniske detaljer
Visuelle fejl
Ansigtsokklusion: Når genstande passerer foran ansigtet, fordrejer eller dækker masken genstanden.
Sammensmeltningen af ansigterne, hudtonerne og opløsningen er rigtig god. Det, at videoen er optaget på afstand, gør det svært at se sløringen. Efterproduktionen er dygtigt udført. Det eneste der afslører den er, når Bill Hader bevæger sin finger foran ansigtet, så forsvinder den nemlig bag masken. Forskellen i skarphed og fingerens vinkel antyder, at skaberen har forsøgt at skjule bivirkningen efterfølgende.
Til dette eksperiment blev den ene model trænet i fire timer og den anden i 48. Resultaterne af 48-timers modellen viste klar forbedring i ansigtsdetaljer og et mere tredimensionelt ansigt.
Tekniske detaljer
Træningstid er relateret til det antal gange, algoritmen behandler billederne. Processen involverer at algoritmen skaber et ansigt (eller digital maske), sammenligner det med kilde-billedet og derefter justerer for at forbedre maskens lighed med kilden. Den cyklus gennemgås for alle kilde-billeder og starter derefter forfra. Den tid, det tager, afhænger af styrken på den anvendte computer.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Til dette eksperiment skabte vi selv både kildevideoen og målvideoen. Dette tydeliggjorde algoritmernes forskellige metoder. H128 skaber en firkantet maske, mens SAEHD matcher ansigtet bedre.
Arthur
Andrej
Tekniske detaljer
H128 er den simpleste af de to modeller. Den opnår hurtigere et godt resultat. Den mere præcise maske SAEHD skaber, er bedre til at håndtere hånden og mixe belysningen. H128 ser ud til at være bedre trænet til at lave ansigtet: Masken står skarpere, mere stabilt og fungerer bedre ved bevægelses- og perspektivændringer. Eksperter siger dog, at med mere træningstid vil SAEED overgå H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Vær opmærksom: Deepfakes kan være af høj kvalitet og svære at spotte. Vi har her fokuseret på udskiftning af ansigter, men deepfakes bruges også til rekonstruktion af ansigter, så det, der siges, ændres.
Tekniske detaljer
Ansigtsrekonstruktion kræver mere computerkraft, men er også meget sværere at gennemskue. Mange af udfordringerne ved at anvende kilde-videoer opstår ikke ved rekonstruktion, men algoritmen fungerer på en lignende måde. De rekonstruerede dele af ansigtet bliver lidt slørede og mindre detaljerede.
Vær også opmærksom på lyden, se efter fejl eller problemer i synkroniseringen mellem lyden og læbernes bevægelser. Brug den viden, du her har fået, til at stille kritiske spørgsmål om, hvorvidt en video kan være et mål, og om noget i videoen antyder, at det kunne være en deepfake. Hvis du er i tvivl, husk altid at kontrollere kilden til videoen.
Deepfake målvideo: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.