Restarting the experience

Deep

fake

Lab

Sætter fokus på deepfakes

Gennem vores hands-on undersøgelser og de eksempler, vi har indsamlet på internettet, kan du gå på opdagelse i, hvordan deepfakes fungerer og de visuelle spor, du skal kigge efter for at spotte dem.

01. Tesla Baby

Lad os se på et populært eksempel fra internettet.

I denne video er et barns ansigt blevet overlejret med Elon Musks. Denne type ansigtsbytte er den mest almindelige måde at bruge deepfakes på. Se nøje efter: Kanterne er ikke skarpe, og hudtonen er anderledes.

Tekniske detaljer

Visuelle fejl

En deepfake skabes af et computerprogram, der kan lære sig selv at genskabe et ansigt ved at analysere adskillige billeder af personen. Programmet lægger derefter det ansigt, det har genskabt, på en eksisterende video - næsten som en digital maske. Du kan se spor af en sådan en maske i denne video.

Target Video

Deepfaked Video

02. DIY

Du kan også prøve det derhjemme. Vi viser dig hvordan.

Deepfake-videoer kan laves på en hjemmecomputer, men du har brug for et kraftigt grafikkort. Videoen her er vores første test, som også gør det klart, hvorfor det er vigtigt fra starten at bruge en videokilde, der er egnet til den slags digital bearbejdning.

Tekniske detaljer

Visuelle fejl

Billederne, der blev brugt til at træne algoritmen, indeholdt ikke de rigtige ansigtsudtryk til at dække Shias ansigt i videoen, og de indeholdt heller ikke optagelser af hans ansigt i profil. Hvis det neurale netværk ikke er trænet til disse situationer, kan det ikke producere en nøjagtig digital maske. Læg mærke til, hvordan Shias mund ser ud under masken, hvilket resulterer i to munde.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Process

Hvordan laver man egentlig en deepfake?

Du skal bruge to videoer: en kilde og et mål. Programmet træner sig selv ved hjælp af begge dele og opretter en maske fra kilde-videoen, der kan lægges over på mål-videoen ved hjælp af et redigeringssoftware.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Original mål-video: The Devil Wears Prada | Andy's Interview

Original

Datasæt

Maske

Justering

Deepfake

Efter

Vælg en mål-video, hvor du vil indsætte et ansigt. At vælge en stabil video med en ensartet baggrund giver dig det bedste resultat.

04. TRÆNINGSDATA

Hvad sker der, hvis vi giver programmet mere indhold? Bliver det bedre?

I dette eksperiment fik to programmer et forskelligt antal billeder. Mere kildemateriale forbedrer klart resultatet. Modellen havde flere oplysninger om ansigtet og kunne udvikle en bedre maske.

Tekniske detaljer

Eksperimentet blev udført med samme kilde-video, der blev eksporteret med to forskellige billedhastigheder, men blev trænet med samme studie-opsætning. Mængden af træningscyklusser pr. billede er ens, men træningstiden var længere med det største datasæt. Man kan tydeligt se, at algoritmen, der er trænet med flere billeder, kan producere et mere raffineret resultat, der bedre matcher målet.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. SNYD VIA SOCIALE MEDIER

Hvor sårbar er du? Kan vi stjæle indhold fra dine profiler på sociale medier og skabe en god deepfake?

Vi tog alle Facebook-billederne fra et af vores teammedlemmer og skabte en deepfake. På næsten alt kildematerialet smilede hun, så algoritmen kunne ikke generere en ikke-smilende maske.

Natalie Portman

Pilar

Tekniske detaljer

Visuelle fejl

En video indeholder mange flere ansigtsnuancer end de billeder, vi tog fra Facebook. Fotos af vores teammedlem på sociale medier er selvvalgte og mangler derfor de variationer i udtrykket, der kræves for at skabe realistiske ansigtsudtryk ved tale. Selvom bedre teknologier måske er i stand til at fremstille ansigtsudtryk, er det umuligt at skabe noget overbevisende uden varieret kildemateriale.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. MÅLVALG

Vi har set, hvordan kilden er vigtig i træning af algoritmen. Hvad med målvideoen?

Selv med en god kilde er det svært at skabe en deepfake. Klippet med Indiana Jones er mere kaotisk. Sammenlignet med de roligere videoer fra før, har algoritmen nu svært ved at følge med.

Tekniske detaljer

Visuelle fejl

Vores deepfake blev eksporteret med en opløsning på 64 px. Den lavere opløsning betyder, at det tog kortere tid at træne algoritmen, fordi modellen kun skulle lære at skabe et billede med lav opløsning. I nærbilleder af ansigter er den lave opløsning tydelig.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. IKKE BLINKE

Nogle gange lykkes det at smelte de to dele sammen. I denne video imiterer målet endda kildeansigtet.

Denne deepfake-video stammer fra et talkshow-klip, hvor Bill Hader efterligner Arnold Schwarzenegger. Ved at bruge passende kildemateriale af Arnold Schwarzenegger blev resultatet overbevisende.

Tekniske detaljer

Visuelle fejl

Sammensmeltningen af ansigterne, hudtonerne og opløsningen er rigtig god. Det, at videoen er optaget på afstand, gør det svært at se sløringen. Efterproduktionen er dygtigt udført. Det eneste der afslører den er, når Bill Hader bevæger sin finger foran ansigtet, så forsvinder den nemlig bag masken. Forskellen i skarphed og fingerens vinkel antyder, at skaberen har forsøgt at skjule bivirkningen efterfølgende.

08. TRÆNINGSTID

Hvad sker der, hvis vi lader algoritmen øve sig mere på kilde-indholdet. Bliver resultaterne bedre?

Til dette eksperiment blev den ene model trænet i fire timer og den anden i 48. Resultaterne af 48-timers modellen viste klar forbedring i ansigtsdetaljer og et mere tredimensionelt ansigt.

Tekniske detaljer

Træningstid er relateret til det antal gange, algoritmen behandler billederne. Processen involverer at algoritmen skaber et ansigt (eller digital maske), sammenligner det med kilde-billedet og derefter justerer for at forbedre maskens lighed med kilden. Den cyklus gennemgås for alle kilde-billeder og starter derefter forfra. Den tid, det tager, afhænger af styrken på den anvendte computer.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. ALGORITMER

Et sidste eksperiment. Hvordan reagerer forskellige algoritmer på forskellige betingelser?

Til dette eksperiment skabte vi selv både kildevideoen og målvideoen. Dette tydeliggjorde algoritmernes forskellige metoder. H128 skaber en firkantet maske, mens SAEHD matcher ansigtet bedre.

Arthur

Andrej

Tekniske detaljer

H128 er den simpleste af de to modeller. Den opnår hurtigere et godt resultat. Den mere præcise maske SAEHD skaber, er bedre til at håndtere hånden og mixe belysningen. H128 ser ud til at være bedre trænet til at lave ansigtet: Masken står skarpere, mere stabilt og fungerer bedre ved bevægelses- og perspektivændringer. Eksperter siger dog, at med mere træningstid vil SAEED overgå H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. HOLD ØJNENE ÅBNE

Lad os se, hvad der virkelig sker med deepfake-videoer.

Vær opmærksom: Deepfakes kan være af høj kvalitet og svære at spotte. Vi har her fokuseret på udskiftning af ansigter, men deepfakes bruges også til rekonstruktion af ansigter, så det, der siges, ændres.

Tekniske detaljer

Ansigtsrekonstruktion kræver mere computerkraft, men er også meget sværere at gennemskue. Mange af udfordringerne ved at anvende kilde-videoer opstår ikke ved rekonstruktion, men algoritmen fungerer på en lignende måde. De rekonstruerede dele af ansigtet bliver lidt slørede og mindre detaljerede.

Vær også opmærksom på lyden, se efter fejl eller problemer i synkroniseringen mellem lyden og læbernes bevægelser. Brug den viden, du her har fået, til at stille kritiske spørgsmål om, hvorvidt en video kan være et mål, og om noget i videoen antyder, at det kunne være en deepfake. Hvis du er i tvivl, husk altid at kontrollere kilden til videoen.

Her er et praktisk resume af de tips, du har lært om på vores website, så du selv fremadrettet kan tjekke for deepfakes.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0