Restarting the experience

Deep

fake

Lab

Het mysterie rondom deepfakes ontrafeld.

Ontdek aan de hand van verhalen van ons praktijkgericht onderzoek en voorbeelden uit het web hoe deepfakes werken en welke visuele aanwijzingen je kunt gebruiken om ze te identificeren.

01. Tesla Baby

Laten we een populair voorbeeld bekijken van het internet

In deze video is het gezicht van een baby bedekt met dat van Elon Musk. Zo’n gezichtswissel is het meest voorkomend gebruik van deepfakes. Kijk goed: de randen zijn niet scherp en de huidskleur is anders.

Technische details

Visuele fouten

Een deepfake wordt gemaakt door een computerprogramma dat zichzelf kan leren hoe je een gezicht kunt nabootsen. Door parameters in het systeem aan te passen, wordt het programma beter in het hercreëren van het gezicht van een specifieke persoon, dit is een vorm van deeplearning. Het programma plaatst vervolgens het gezicht dat het opnieuw heeft gemaakt op een bestaande video, zoals een digitaal masker. In deze video zie je sporen van zo'n masker.

02. DIY

Je kan dit ook thuis proberen. Wij laten je zien hoe.

Deepfake-videos kunnen gemaakt worden met gewone computers, maar je zal een redelijk sterke grafische kaart nodig hebben. Deze video laat onze eerste proefversie zien en waarom het zo belangrijk is om geschikte bronvideos te gebruiken.

Technische details

Visuele fouten

De beelden die gebruikt werden om algoritmes te trainen, bevatten niet de juiste gezichtsuitdrukkingen om Shia’s gezicht te bedekken in de video. Ze bevatten ook geen beeldmateriaal van zijn gezicht en profiel. Als het neurale netwerk niet getraind is voor deze situaties, kan het geen nauwkeurig digitaal masker produceren. Let op hoe Shia’s mond tevoorschijn komt van onder het masker, resulterend in twee monden.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Werkwijze

So how do you make a deepfake?

Je hebt twee video’s nodig: een bron- en een doelvideo. Het programma traint zichzelf door beide te gebruiken en creëert een masker van de bronvideo dat over de doelvideo kan worden geplaatst doormiddel van bewerkingssoftware.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Doel video bron: The Devil Wears Prada | Andy's Interview

Origineel

Dataset

Masker

Uitlijnen

Deepfake

Nabewerking

Kies een doelvideo waarover je een gezicht wil plaatsen. Een stabiele video met een gelijkmatige achtergrond geeft een beter resultaat.

04. Data training

Wat gebeurt er als we het programma voorzien van meer content? Zal het verbeteren?

In dit experiment, werd er aan twee programma's een verschillend aantal beelden gegeven. Meer bronmateriaal verbetert duidelijk het resultaat. Het model had meer gezichtsinformatie en kon een beter masker ontwikkelen.

Technische details

Dit experiment werd uitgevoerd met dezelfde bronvideo afgespeeld op twee verschillende beeldfrequenties – beide modellen waren getraind met de exact dezelfde studio-opstelling. Het aantal trainingscycli per beeld is hetzelfde, maar de trainingstijd was langer, met een grotere dataset. Je kon duidelijk zien dat het algoritme dat trainde met meer beelden, meer geraffineerde resultaten kon produceren die een betere overeenkomst vormden met het doel.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Sociale Fraude

Hoe vatbaar ben jij? Kunnen wij de inhoud van jouw sociale media stelen en een goede deepfake creëren?

We namen alle Facebook-beelden van één van onze teamleden en creëerden een deepfake. In bijna alle bronbeelden glimlachte ze, dus het algoritme kon geen niet-lachend masker genereren.

Natalie Portman

Pilar

Technische details

Visuele fouten

Een video bevat veel meer gezichtsnuances dan de beelden die we van Facebook namen. De foto’s van ons teamlid op sociale media zijn zelfgekozen en daarom missen ze het soort beelden die nodig zijn om realistische gezichtsuitdrukkingen voor spraak te creëren. Hoewel betere technologieën uitdrukkingen kunnen fabriceren, is het zonder divers bronmateriaal onmogelijk om iets overtuigends te creëren.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Doelkeuze

We hebben gezien hoe de bron belangrijk is in het trainen van het algoritme. Hoe zit het met de doelvideo?

Zelfs met een goede bron kan het moeilijk zijn een deepfake te creëren. Indiana Jones heeft chaotische shots. Vergeleken met de heldere video’s die we in het verleden gebruikten, kan het algoritme het nu moeilijk bijbenen.

Technische details

Visuele fouten

De deepfake was geëxporteerd met een resolutie van 64px. De lagere resolutie betekent dat het minder tijd innam om het algoritme te trainen, omdat het model alleen moest leren om een beeld te creëren van lage resolutie. In close-up gezichtshots is deze lage resolutie evident.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Niet knipperen

Soms smelten beide gewoon samen. In deze video imiteert het doel zelfs zijn nieuwe gezicht na.

Deze deepfake is gemaakt van een talkshow-segment waar Bill Hader Arnold Schwarzenegger na doet. Omdat hij passend bronmateriaal gebruikte voor Arnold Schwarzenegger waren de resultaten overtuigend.

Bill Hader

Arnold Schwarzenegger

Technische details

Visuele fouten

Het mengen van het gezicht, de huidskleur en resolutie zijn erg goed, het afstands-shot maakt het moeilijk om de wazigheid te zien. De post-productie is vakkundig gedaan. De enige aanwijzing is wanneer Bill Hader zijn vinger voor zijn gezicht beweegt en deze achter het masker verdwijnt. Het verschil in scherpte suggereert dat de maker heeft geprobeerd het effect in de postproductie te verbergen.

08. Tijd doet ertoe

Wat gebeurt er wanneer we het algoritme meer laten oefenen op de bronvideo. Zullen de resultaten verbeteren?

Voor dit experiment trainde het ene model voor vier uur en het andere voor 48 uur. De resultaten van het 48-uur model waren betere gezichtsdetails en een meer driedimensionaal gezicht.

Technische details

Trainingstijd is gerelateerd aan het aantal keren dat het algoritme de beelden verwerkt. Het proces omvat het creëren van een gezicht (of digitaal masker), het vergelijken van het masker met een oorspronkelijk beeld en vervolgens aanpassingen maken om de gelijkenis van de bron met het masker te verbeteren. Het model gaat voor alle bronbeelden één keer door deze cyclus heen en begint dan opnieuw. Hoe lang het duurt, hangt af van de capaciteit van de computer die wordt gebruikt.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmen

Een laatste experiment. Hoe reageren verschillende algoritmes op verschillende toestanden?

Voor dit experiment creëerden we zelf zowel de bron- als de doelvideo. De methodes van het algoritme zijn duidelijk zichtbaar. H128 maakt een vierkant masker, terwijl SAEHD het gezicht beter past.

Arthur

Andrej

Technische details

H128 is het lichtere model van de twee. Het bereikt sneller kwaliteitsresultaten. Het preciezere masker van SAEHD gaat beter om met de hand en mengt de belichting natuurlijker. H128 lijkt beter getraind te zijn om het gezicht te maken: het masker is scherper, meer stabiel en presteert beter met veranderingen in beweging en perspectief. Desalniettemin zeggen experts dat met meer trainingstijd de SAEHD in de toekomst beter zal presteren dan de H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Wees voorzichtig

Laten we zien wat er echt gebeurt met deepfake-videos

Let op: deepfakes kunnen van hoge kwaliteit zijn en daarom moeilijk te herkennen. Hoewel we hebben gekeken naar face swaps kunnen deepfakes ook gebruikt worden voor gezichtsimitatie – waardoor het lijkt alsof een persoon iets zei.

Technische details

Gezichtsimitatie vereist meer computergeheugen, maar is veel moeilijker te herkennen. Veel van de uitdagingen die ontstaan bij bronvideo’s zijn niet van toepassing op imitatie, maar het algoritme handelt op een soortgelijke manier. De nagemaakte delen van het gezicht zullen enigszins vervaagd en minder gedetailleerd zijn.

Let ook op de audio en zoek naar fouten in bijvoorbeeld de lip syncronisatie. Vraag je met behulp van het inzicht dat je op deze website hebt opgedaan af of een video een waarschijnlijk doelwit is en of de omstandigheden geschikt zijn voor een mogelijke deepfake. Controleer bij twijfel altijd de bron van de video.

Hier is een handige samenvatting van de vaardigheden die je hebt verworven op deze website, zodat je zelf video’s kan controleren.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0