Neustart der Erfahrung
Erfahre in Geschichten über unsere praxisorientierte Forschung und anhand von Beispielen
aus
dem Internet, wie Deepfakes funktionieren. Und lerne visuelle Hinweise kennen, wie du sie
identifizieren kannst.
Technische Details
Visuelle Fehler
Hautfarben-Diskrepanz: die Hautfarbe von Maske und Zielgesicht unterscheidet sich. Das Gesicht scheint von einer Farbenschicht bedeckt zu sein, zeigt Kanten oder Flecken.
Ein Deepfake wird von einem Computerprogramm erzeugt, das durch Analyse zahlreicher Bilder die Person ‘erlernt’. Das Programm legt dann das erzeugte Gesicht auf ein vorhandenes Video – eine Art digitaler Maske. Du kannst die Spuren einer solchen Maske in diesem Video sehen
Deepfake-Zielvideo
Deepfaked Video
Deepfake-Zielvideo: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Deepfake-Videoquelle: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Shia LaBeouf
Pilar
Ziel-Videoquelle: YouTube - Einfach machen!
Technische Details
Visuelle Fehler
Hautfarben-Diskrepanz: die Hautfarbe von Maske und Zielgesicht unterscheidet sich. Das Gesicht scheint von einer Farbenschicht bedeckt zu sein, zeigt Kanten oder Flecken.
Ausdrucksdiskrepanz: die Ausdrücke im Deepfake-Gesicht passen nicht zum Zielgesicht. Die Gesichtszüge verhalten sich unnatürlich, sind unsichtbar, unscharf o. repliziert.
Sichtbare Kanten: die Kanten der Maske sind sichtbar, entweder als scharfer oder als verschwommener Rand der das Gesicht umgibt.
Die Bilder, mit denen der Algorithmus trainiert wurde, enthielten nicht die richtigen Gesichtsausdrücke, um Shias Gesicht abzudecken, noch enthielten sie sein Gesicht im Profil. Wenn das neuronale Netzwerk nicht für so etwas trainiert ist, kann es keine akkurate digitale Maske generieren. Beachte, wie Shias eigentlicher Mund unter der Maske erscheint, was zwei Münder ergibt.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Ziel-Videoquelle: Der Teufel trägt Prada | Andys Vorstellungsgespräch
Original
Datensatz
Maske
Anpassung
Deepfake
Nachbearbeitung
Wähle ein Zielvideo aus, in das Du ein Gesicht montieren willst. Nimm ein flüssiges Video mit einem konsistenten Hintergrund, so erhältst Du ein besseres Ergebnis.
Nimm einen Datensatz für das Gesicht auf, das Du montieren willst (die Quelle). Beleuchtung und Ausdrücke sollten so weit wie möglich übereinstimmen.
Decke im Zielvideo die Gesichter anderer Leute ab, sonst werden sie vom Algorithmus erfasst und bringen den Trainingsprozess durcheinander.
Der Algorithmus schneidet die Gesichter aus, um damit zu trainieren, und speichert ihre Position, damit er die Maske akkurat darüber legen kann.
Der Algorithmus generiert eine Maske des Gesichts aus dem Quellvideo, die Du dann beim Zielvideo anpassen musst.
Mit Videobearbeitungssoftware kannst Du die Maske optisch besser angleichen und das Endergebnis verfeinern.
Technische Details
Dieses Experiment fand mit dem gleichen Quellvideo statt, das mit zwei verschiedenen Bildraten exportiert wurde – beide Modelle wurden mit dem selben Studio-Aufbau trainiert. Die Zahl der Trainingszyklen pro Bild ist gleich, aber die Trainingszeit war mit dem größeren Datensatz länger. Man kann deutlich sehen, dass der mit mehr Bildern trainierte Algorithmus ein besseres Ergebnis produziert.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Original Deepfake-Zielvideo: Sherlock | Der Reichenbachfall | Showdown auf dem Dach
Natalie Portman
Pilar
Original Deepfake-Zielvideo: Star Wars: Episode I – Die dunkle Bedrohung | Padmé trifft Anakin
Technische Details
Visuelle Fehler
Unscharfes Gesicht: die Maske ist unscharf. Es gibt einen Unterschied in Schärfe oder Auflösung zwischen Maske und dem Rest des Videos.
Ausdrucksdiskrepanz: die Ausdrücke im Deepfake-Gesicht passen nicht zum Zielgesicht. Die Gesichtszüge verhalten sich unnatürlich, sind unsichtbar, unscharf o. repliziert.
Profilkanten: die Seitenansicht des Gesichts scheint nicht zu stimmen. Die Deepfake-Maske ist zerrüttet, hat weniger Details und ist falsch angepasst.
Ein Video enthält viel mehr Gesichtsnuancen als die Fotos, die wir von Facebook haben. Die Social Media Bilder unserer Teamkollegin sind von ihr ausgewählt, weshalb Bilder zur Erzeugung realistischer Gesichtsausdrücke fehlen. Obwohl bessere Technologie eventuell Gesichtsausdrücke fabrizieren könnte, ist es ohne vielfältiges Quellmaterial unmöglich überzeugende Ergebnisse zu erhalten.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Technische Details
Visuelle Fehler
Unscharfes Gesicht: die Maske ist unscharf. Es gibt einen Unterschied in Schärfe oder Auflösung zwischen Maske und dem Rest des Videos.
Flacker-Effekt: zwischen Original- und Deepfake-Gesicht gibt es ein Flackern. Der Algorithmus kann das Gesicht nicht erkennen und hört auf, die Maske zu generieren.
Falsche Perspektive: das Deepfake hat eine andere Perspektive als der Rest des Videos. Das Quell- und Zielvideo haben andere Brennweiten.
Das Deepfake wurde mit einer Auflösung von 64 px exportiert. Durch die niedrigere Auflösung war das Algorithmus-Training kürzer, weil das Modell nur die Erzeugung eines gering auflösenden Bildes lernen musste. In Nahaufnahmen von Gesichtern wird die geringe Auflösung deutlich.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Original Deepfake-Zielvideo: Indiana Jones und der Tempel des Todes | Seilbrückenkampf
Bill Hader
Arnold Schwarzenegger
Original Deepfake-Zielvideo: Bill Hader Presents: Schwarzenegger Baby
Quell-Deepfake-Video: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Technische Details
Visuelle Fehler
Gesichtsverdeckung: wenn ein Objekt am Gesicht vorbei geführt wird, verzerrt die Maske das Objekt oder verdeckt es.
Gesichtsangleichung, Hautfarbe und Auflösung sind sehr gut. Durch die Fernaufnahme ist es schwer, eine Unschärfe zu erkennen. Die Nachbearbeitung wurde fachmännisch ausgeführt. Der einzige Hinweis ist, wenn Bill Hader seinen Finger vors Gesicht führt und dieser hinter der Maske verschwindet. Schärfe und Winkel des Fingers unterscheiden sich, der Urheber scheint den Effekt in der Nachbearbeitung versteckt zu haben.
Technische Details
Die Trainingszeit hängt davon ab, wie oft der Algorithmus die Bilder verarbeitet. Der Prozess ist, ein Gesicht (o. dig. Maske) zu erstellen, es mit dem Quellbild zu vergleichen und dann anzupassen, um die Ähnlichkeit der Maske zu verbessern. Das Modell durchläuft diesen Zyklus einmal für alle Quellbilder und startet dann neu. Die dafür benötigte Zeit hängt von der Leistung des Computers ab.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Original Deepfake-Zielvideo: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Arthur
Andrej
Technische Details
H128 ist das leichtere Modell. Es erreicht schneller Qualitätsergebnisse. Die präzisere SAEHD-Maske wird besser mit der Hand und der Anpassung der Beleuchtung fertig. H128 scheint besser trainiert für die Maske zu sein: Sie ist schärfer, stabiler und führt bessere Bewegungen und Perspektivänderungen aus. Aber Experten sagen, dass SAEHD mit mehr Trainingszeit H128 übertreffen wird.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Technische Details
Nachahmungen brauchen viel mehr Rechenleistung, sind aber viel schwerer zu erkennen. Viele der Herausforderungen an Quellvideos gelten nicht für Nachahmungen, aber der Algorithmus ist ähnlich. Die nachgeahmten Gesichtsteile sind leicht unscharf und weniger detailliert.
Achte auch auf den Ton oder suche nach Fehlern oder Lippensynchronisationsproblemen. Hinterfrage, mit den Erkenntnissen die Du auf dieser Website gelernt hast, ob ein Video ein geeignetes Ziel ist und die Bedingungen für ein mögliches Deepfake gegeben sind. Wenn Du Zweifel hast, überprüfe immer die Quelle des Videos.
Deepfake-Quellvideo:YouTube | VFXChris Ume | Fake Freeman mouth manipulation.