Redémarrer l'expérience

Deep

fake

Lab

Élucider le mystère des hypertrucages.

Découvrez les secrets des hypertrucages et les indices visuels vous permettant de les identifier grâce à nos recherches pratiques et à des exemples trouvés sur internet.

01. Bébé Tesla

Examinons un exemple populaire sur internet.

Un hypertrucage est créé par un logiciel pouvant apprendre à recréer un visage en analysant différentes photos d'une même personne. Le logiciel colle ensuite le visage recréé sur une vidéo existante, à la manière d'un masque numérique. Les contours de ce masque sont visibles dans cette vidéo.

Détails techniques

Défauts visuels

Un hypertrucage est créé par un logiciel pouvant apprendre à recréer un visage en analysant différentes photos d'une même personne. Le logiciel colle ensuite le visage recréé sur une vidéo existante, à la manière d'un masque numérique. Les contours de ce masque sont visibles dans cette vidéo:

Vidéo cible

Vidéo l'hypertrucage

Vidéo cible pour l'hypertrucage: YouTube | AndrewSchrock | Cutest Baby Montage Ever.

Vidéo source pour l'hypertrucage: YouTube | TheFakening | Baby Elon Musk Montage Deepfake

02. Bricolage

Vous pouvez essayer vous-même. Nous allons vous montrer comment faire.

Pour réaliser votre hypertrucage, il vous faudra une carte graphique puissante. Cette vidéo est notre premier essai et montre l'importance d'utiliser des vidéos sources adaptées.

Détails techniques

Défauts visuels

Les images de Shia utilisées pour former l'algorithme ne contenaient ni les bonnes expressions faciales ni les images de son profil requises pour recouvrir son visage dans la vidéo. Si le réseau neuronal n'est pas entraîné pour ces situations, il ne pourra pas produire de masque correct. Notez les deux bouches, dont celle de Shia qui apparaît sous le masque.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Méthode

Comment créer un hypertrucage?

Il vous faut deux vidéos : une source et une cible. Le logiciel s'entraînera avec les deux et créera un masque à partir de la source qui sera collé sur la cible à l'aide d'un logiciel de montage.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Vidéo cible source: Le diable s'habille en Prada | Entretien d’Andy

Original

Jeu de données

Masque

Alignement

Hypertrucage

Post-traitement

Choisissez une vidéo dans laquelle vous voulez coller un visage. Une vidéo stable avec un arrière-plan régulier permettra un meilleur résultat.

04. Données d'entraînement

Quel résultat obtient-on lorsque l'on fournit plus de données au logiciel?

Pour cette expérience, nous avons fourni différentes quantités d'images à deux logiciels. Le modèle disposant de plus d'informations faciales produit clairement un masque plus fidèle.

Détails techniques

Cette expérience a été réalisée avec une vidéo source exportée à deux fréquences d'affichage différentes, et les deux modèles ont été entraînés suivant la même configuration. Le nombre de cycles d'entraînement par image est le même, mais le temps d'entraînement était plus long avec le jeu de données plus important. L'algorithme ayant reçu le plus d'images produit un résultat plus fin.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Imposture

Êtes-vous susceptible ? Accepteriez-vous de voir vos images volées sur les médias sociaux pour créer un hypertrucage réaliste?

Nous avons pris les images du compte Facebook d'une de nos collègues pour créer un hypertrucage. Elle souriait sur la plupart d'entre elles, l'algorithme n'a donc pas pu créer de masque sans sourire.

Natalie Portman

Pilar

Détails techniques

Défauts visuels

Une vidéo comporte bien plus de nuances faciales que les images prises sur Facebook. Notre collègue a choisi les photos qu'elle a publiées sur les médias sociaux, il manque donc les images nécessaires à la reproduction de certaines expressions faciales. Certaines technologies avancées peuvent créer ces expressions, mais sans un jeu de données varié, le résultat ne sera jamais convaincant.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Choix de la cible

Nous avons vu l'importance de la source pour entraîner l'algorithme. Qu'en est-il de la vidéo cible?

Des données sources de bonne qualité ne suffisent pas à créer un hypertrucage. Indiana Jones contient des plans chaotiques. Comparé aux vidéos antérieures plus nettes, l'algorithme a du mal à suivre.

Détails techniques

Défauts visuels

L'hypertrucage a été exporté à une résolution de 64 px. Grâce à cette faible résolution, l'entraînement de l'algorithme a été plus rapide, car il n'avait qu'à créer une image d'une résolution équivalente. Cette faible résolution est visible sur les plans rapprochés.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Gardez les yeux grands ouverts

Parfois, les deux se mélangent. Dans cette vidéo, la cible imite même son nouveau visage.

Cet hypertrucage a été créé à partir d'une séquence d'émission télévisée où Bill Hader imite Arnold Schwarzenegger. Avec les bonnes données pour Arnold Schwarzenegger, le résultat est convaincant.

Détails techniques

Défauts visuels

L'intégration du visage, la carnation et la résolution sont très bonnes. Le plan d'ensemble réduit les effets de flou. La postproduction est excellente. Le seul indice révélateur intervient lorsque Bill Hader passe son doigt devant son visage et qu'il disparaît derrière le masque. La différence de netteté et l'angle du doigt suggèrent une tentative de cacher cet effet en postproduction.

08. Le temps change la donne

Quel sera le résultat si l'algorithme peut s'entraîner plus longtemps sur le contenu source?

Pour cette expérience, un modèle a été entraîné pendant 4 heures et l'autre pendant 48 heures. Ce dernier produisait un masque plus détaillé avec plus de relief.

Détails techniques

La durée de l'entraînement correspond à la répétition du traitement des images par l'algorithme. Ce procédé comprend la création d'un visage (le masque numérique), sa comparaison à l'image source et les ajustements afin de renforcer les ressemblances. Le modèle effectue ce cycle une fois pour chaque image source, puis recommence. La durée d'un cycle dépend de la puissance de l'ordinateur utilisé.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algorithmes

Dernière expérience : comment différents algorithmes répondent-ils à certaines conditions?

Pour cette expérience, nous avons nous-mêmes créé les vidéos source et cible. Les méthodes des algorithmes sont très apparentes. H128 crée un masque carré tandis que SAEHD correspond mieux au visage.

Arthur

Andrej

Détails techniques

H128 est le modèle le plus simple. Il produit plus rapidement un bon masque. Le masque le plus précis de SAEHD gère mieux la main et la luminosité. H128 semble mieux entraîné pour créer le visage : le masque est plus net, plus stable et fonctionne mieux avec les mouvements et les changements de perspective. Toutefois, selon les expert·es, SAEHD surpasserait H128 avec un entraînement plus long.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Soyez attentif·ve

Voyons comment les hypertrucages sont vraiment utilisés.

Les hypertrucages peuvent être difficiles à repérer. Nous n'avons parlé que de substitution faciale, mais ils peuvent aussi servir à reconstituer le visage d'une personne et lui attribuer des propos.

Détails techniques

La reconstitution d'un visage nécessite beaucoup plus de puissance de calcul, mais est plus difficile à déceler. La plupart des difficultés posées par les vidéos sources n'affectent pas ce procédé, mais l'algorithme fonctionne de manière similaire. Les parties reconstituées seront légèrement floues et moins détaillées.

Prêtez aussi attention au son et guettez les défauts ou les problèmes de synchronisation labiale. Demandez-vous si une vidéo est susceptible d'être ciblée et si elle serait adaptée à un potentiel hypertrucage. En cas de doute, vérifiez la source de la vidéo.

Voici un petit résumé des compétences que vous avez acquises sur ce site, afin de pouvoir vérifier les vidéos par vous-même.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0