Restarting the experience
Ontdek aan de hand van verhalen van ons praktijkgericht onderzoek en voorbeelden uit het web hoe deepfakes werken en welke visuele aanwijzingen je kunt gebruiken om ze te identificeren.
In deze video is het gezicht van een baby bedekt met dat van Elon Musk. Zo’n gezichtswissel is het meest voorkomend gebruik van deepfakes. Kijk goed: de randen zijn niet scherp en de huidskleur is anders.
Technische details
Visuele fouten
Huidskleur komt niet overeen: Er is een verschil in huidskleur tussen het masker en het doelgezicht. Het gezicht lijkt bedekt te zijn met een laag kleuren en toont randen of vlekken.
Een deepfake wordt gemaakt door een computerprogramma dat zichzelf kan leren hoe je een gezicht kunt nabootsen. Door parameters in het systeem aan te passen, wordt het programma beter in het hercreëren van het gezicht van een specifieke persoon, dit is een vorm van deeplearning. Het programma plaatst vervolgens het gezicht dat het opnieuw heeft gemaakt op een bestaande video, zoals een digitaal masker. In deze video zie je sporen van zo'n masker.
Doel video
Video bron
Deepfake doel video: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Deepfake video bron: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Deepfake-videos kunnen gemaakt worden met gewone computers, maar je zal een redelijk sterke grafische kaart nodig hebben. Deze video laat onze eerste proefversie zien en waarom het zo belangrijk is om geschikte bronvideos te gebruiken.
Shia LaBeouf
Pilar
Technische details
Visuele fouten
Huidskleur komt niet overeen: Er is een verschil in huidskleur tussen het masker en het doelgezicht. Het gezicht lijkt bedekt te zijn met een laag kleuren en toont randen of vlekken.
Incorrecte uitdrukkingen: De uitdrukkingen op het deepfake-gezicht komen niet overeen met het doelgezicht. Gezichtskenmerken komen niet natuurlijk over en zijn onzichtbaar, wazig of nagebootst.
Zichtbare randen: De randen van het masker zijn zichtbaar, als een scherpe ofwel wazige rand die het gezicht omringt.
De beelden die gebruikt werden om algoritmes te trainen, bevatten niet de juiste gezichtsuitdrukkingen om Shia’s gezicht te bedekken in de video. Ze bevatten ook geen beeldmateriaal van zijn gezicht en profiel. Als het neurale netwerk niet getraind is voor deze situaties, kan het geen nauwkeurig digitaal masker produceren. Let op hoe Shia’s mond tevoorschijn komt van onder het masker, resulterend in twee monden.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Je hebt twee video’s nodig: een bron- en een doelvideo. Het programma traint zichzelf door beide te gebruiken en creëert een masker van de bronvideo dat over de doelvideo kan worden geplaatst doormiddel van bewerkingssoftware.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Doel video bron: The Devil Wears Prada
| Andy's Interview
Origineel
Dataset
Masker
Uitlijnen
Deepfake
Nabewerking
Kies een doelvideo waarover je een gezicht wil plaatsen. Een stabiele video met een gelijkmatige achtergrond geeft een beter resultaat.
Neem een dataset op voor het gezicht dat je wilt plaatsen (de bron), laat het licht en de gezichtsuitdrukkingen zoveel mogelijk overeenkomen.
Bedek de gezichten van andere mensen in de bronvideo, anders worden ze opgepikt door het algoritme en verwarren het trainingsproces.
Het algoritme zal de gezichten bijsnijden, zodat het ze voor training kan gebruiken, en hun positie opslaan om naderhand nauwkeurig met het masker uit te kunnen lijnen.
Het algoritme genereert een masker van het gezicht van de bronvideo welke je vervolgens op de doelvideo moet uitlijnen.
Videobewerkingssoftware laat je het masker beter overgaan in de video en het uiteindelijke resultaat verfijnen.
In dit experiment, werd er aan twee programma's een verschillend aantal beelden gegeven. Meer bronmateriaal verbetert duidelijk het resultaat. Het model had meer gezichtsinformatie en kon een beter masker ontwikkelen.
Technische details
Dit experiment werd uitgevoerd met dezelfde bronvideo afgespeeld op twee verschillende beeldfrequenties – beide modellen waren getraind met de exact dezelfde studio-opstelling. Het aantal trainingscycli per beeld is hetzelfde, maar de trainingstijd was langer, met een grotere dataset. Je kon duidelijk zien dat het algoritme dat trainde met meer beelden, meer geraffineerde resultaten kon produceren die een betere overeenkomst vormden met het doel.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Originele doel video: Sherlock | The Reichenbach Fall | Rooftop Showdown
We namen alle Facebook-beelden van één van onze teamleden en creëerden een deepfake. In bijna alle bronbeelden glimlachte ze, dus het algoritme kon geen niet-lachend masker genereren.
Natalie Portman
Pilar
Originele doel video: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Technische details
Visuele fouten
Wazig gezicht: Het masker is wazig. Er is een verschil in scherpte of resolutie tussen het masker en de rest van de video.
Incorrecte uitdrukkingen: De uitdrukkingen op het deepfake-gezicht komen niet overeen met het doelgezicht. Gezichtskenmerken komen niet natuurlijk over en zijn onzichtbaar, wazig of nagebootst.
Profielgrenzen: Het zijaanzicht lijkt onnatuurlijk. Het deepfake-masker is gebroken, minder gedetailleerd, of incorrect gesynchroniseerd
Een video bevat veel meer gezichtsnuances dan de beelden die we van Facebook namen. De foto’s van ons teamlid op sociale media zijn zelfgekozen en daarom missen ze het soort beelden die nodig zijn om realistische gezichtsuitdrukkingen voor spraak te creëren. Hoewel betere technologieën uitdrukkingen kunnen fabriceren, is het zonder divers bronmateriaal onmogelijk om iets overtuigends te creëren.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Zelfs met een goede bron kan het moeilijk zijn een deepfake te creëren. Indiana Jones heeft chaotische shots. Vergeleken met de heldere video’s die we in het verleden gebruikten, kan het algoritme het nu moeilijk bijbenen.
Technische details
Visuele fouten
Wazig gezicht: Het masker is wazig. Er is een verschil in scherpte of resolutie tussen het masker en de rest van de video.
Flikkering-effect: Er is een flikkering tussen de originele en de deepfake gezichten. Het algoritme kan het gezicht niet herkennen en stopt even met het maken van het masker.
Verkeerd perspectief: De deepfake heeft een ander perspectief dan de rest van de video. De bron en doelvideo verschillen in brandpuntafstand.
De deepfake was geëxporteerd met een resolutie van 64px. De lagere resolutie betekent dat het minder tijd innam om het algoritme te trainen, omdat het model alleen moest leren om een beeld te creëren van lage resolutie. In close-up gezichtshots is deze lage resolutie evident.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Originele doel video: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Deze deepfake is gemaakt van een talkshow-segment waar Bill Hader Arnold Schwarzenegger na doet. Omdat hij passend bronmateriaal gebruikte voor Arnold Schwarzenegger waren de resultaten overtuigend.
Bill Hader
Arnold Schwarzenegger
Originele doel video: Bill Hader Presents: Schwarzenegger Baby
Bron ge-deepfakete video: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Technische details
Visuele fouten
Gezichtsbedekking: Wanneer objecten voor het gezicht langs bewegen, vervormt of bedekt het masker het object.
Het mengen van het gezicht, de huidskleur en resolutie zijn erg goed, het afstands-shot maakt het moeilijk om de wazigheid te zien. De post-productie is vakkundig gedaan. De enige aanwijzing is wanneer Bill Hader zijn vinger voor zijn gezicht beweegt en deze achter het masker verdwijnt. Het verschil in scherpte suggereert dat de maker heeft geprobeerd het effect in de postproductie te verbergen.
Voor dit experiment trainde het ene model voor vier uur en het andere voor 48 uur. De resultaten van het 48-uur model waren betere gezichtsdetails en een meer driedimensionaal gezicht.
Technische details
Trainingstijd is gerelateerd aan het aantal keren dat het algoritme de beelden verwerkt. Het proces omvat het creëren van een gezicht (of digitaal masker), het vergelijken van het masker met een oorspronkelijk beeld en vervolgens aanpassingen maken om de gelijkenis van de bron met het masker te verbeteren. Het model gaat voor alle bronbeelden één keer door deze cyclus heen en begint dan opnieuw. Hoe lang het duurt, hangt af van de capaciteit van de computer die wordt gebruikt.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Voor dit experiment creëerden we zelf zowel de bron- als de doelvideo. De methodes van het algoritme zijn duidelijk zichtbaar. H128 maakt een vierkant masker, terwijl SAEHD het gezicht beter past.
Arthur
Andrej
Technische details
H128 is het lichtere model van de twee. Het bereikt sneller kwaliteitsresultaten. Het preciezere masker van SAEHD gaat beter om met de hand en mengt de belichting natuurlijker. H128 lijkt beter getraind te zijn om het gezicht te maken: het masker is scherper, meer stabiel en presteert beter met veranderingen in beweging en perspectief. Desalniettemin zeggen experts dat met meer trainingstijd de SAEHD in de toekomst beter zal presteren dan de H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Let op: deepfakes kunnen van hoge kwaliteit zijn en daarom moeilijk te herkennen. Hoewel we hebben gekeken naar face swaps kunnen deepfakes ook gebruikt worden voor gezichtsimitatie – waardoor het lijkt alsof een persoon iets zei.
Technische details
Gezichtsimitatie vereist meer computergeheugen, maar is veel moeilijker te herkennen. Veel van de uitdagingen die ontstaan bij bronvideo’s zijn niet van toepassing op imitatie, maar het algoritme handelt op een soortgelijke manier. De nagemaakte delen van het gezicht zullen enigszins vervaagd en minder gedetailleerd zijn.
Let ook op de audio en zoek naar fouten in bijvoorbeeld de lip syncronisatie. Vraag je met behulp van het inzicht dat je op deze website hebt opgedaan af of een video een waarschijnlijk doelwit is en of de omstandigheden geschikt zijn voor een mogelijke deepfake. Controleer bij twijfel altijd de bron van de video.
Deepfake bron video: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.