Restarting the experience
Descubra como as deepfakes funcionam e as pistas visuais que você pode usar para identificá-las, através de histórias de nossas pesquisas práticas e de exemplos da web.
Detalhes técnicos
Falhas visuais
Incompatibilidade de cor de pele: há uma diferença de tom de pele entre a máscara e o rosto alvo. O rosto parece coberto por uma camada de cores, mostrando bordas ou pontos.
Uma deepfake é criada por um programa de computador que pode ensinar a si mesmo como recriar um rosto por meio da análise de numerosas imagens da pessoa. O programa então sobrepõe o rosto recriado em um vídeo existente - como uma espécie de máscara digital. Você pode ver vestígios dessa máscara neste vídeo:
Target Video
Deepfaked Video
Vídeo de destino da Deepfake: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Fonte do vídeo de Deepfake: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Shia LaBeouf
Pilar
ídeo de destino da Deepfake: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Detalhes técnicos
Falhas visuais
Incompatibilidade de cor de pele: há uma diferença de tom de pele entre a máscara e o rosto alvo. O rosto parece coberto por uma camada de cores, mostrando bordas ou pontos.
Expressões incompatíveis: as expressões do rosto de deepfake não correspondem ao rosto alvo. As características faciais não se comportam naturalmente e são invisíveis, borradas ou replicadas.
Bordas visíveis: as bordas da máscara são visíveis, seja como uma borda afiada ou borrada rodeando o rosto.
As imagens usadas para treinar o algoritmo não continham as expressões faciais certas para cobrir o rosto de Shia no vídeo, nem continham sequências do rosto dele de perfil. Se a rede neural não é treinada para essas situações, ela não consegue produzir uma máscara digital precisa. Note como a boca de Shia aparece por baixo da máscara, resultando em duas bocas.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
ídeo de destino da Deepfake: The Devil
Wears Prada | Andy's Interview
Original
Conjunto de dados
Máscara
Alinhamento
Deepfake
Postar
Selecione um vídeo de destino no qual você quer inserir um rosto. Escolher um vídeo estável com um fundo consistente lhe dará um melhor resultado.
Grave um conjunto de dados para o rosto que você deseja posicionar (a fonte), combinando a iluminação e as expressões o máximo possível.
Cubra os rostos de outras pessoas no vídeo de destino, caso contrário, eles serão captados pelo algoritmo e confundirão o processo de treinamento.
O algoritmo cortará os rostos para que possa usá-los no treinamento e salvará sua posição para sobrepor a máscara com precisão posteriormente.
O algoritmo gera uma máscara do rosto do vídeo de origem, que você precisa alinhar com o vídeo de destino.
O software de edição de vídeo permitirá que você misture melhor a máscara e refine o resultado final.
Detalhes técnicos
Este experimento foi feito com a mesma fonte de vídeo exportada em duas taxas de quadros diferentes - ambos os modelos foram treinados exatamente com a mesma configuração de estúdio. A quantidade de ciclos de treinamento por imagem é igual, mas o tempo de treinamento foi maior com o conjunto de dados maior. Você pode ver claramente que o algoritmo treinado com mais imagens pode produzir um resultado mais refinado que corresponde melhor ao alvo.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Vídeo de destino original: Sherlock | The Reichenbach Fall | Rooftop Showdown
Natalie Portman
Pilar
Vídeo de destino original: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Detalhes técnicos
Falhas visuais
Rosto borrado: a máscara está borrada. Há uma diferença de nitidez ou resolução entre a máscara e o resto do vídeo.
Expressões incompatíveis: As expressões do rosto de deepfake não correspondem ao rosto alvo. As características faciais não se comportam naturalmente e são invisíveis, borradas ou replicadas.
Bordas do Perfil: a visão lateral do rosto parece errada. A máscara de deepfake está quebrada, menos detalhada ou incorretamente alinhada.
Um vídeo contém muito mais nuances faciais do que as imagens que tiramos do Facebook. As fotos da membra de nossa equipe nas redes sociais são selecionadas e, portanto, não possuem o tipo de imagem necessário para criar expressões faciais realistas para a fala. Embora tecnologias melhores possam ser capazes de fabricar expressões, sem material de origem diversa é impossível criar algo convincente.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Detalhes técnicos
Falhas visuais
Rosto borrado: a máscara está borrada. Há uma diferença de nitidez ou resolução entre a máscara e o resto do vídeo.
Efeito de cintilação: há uma cintilação entre o rosto original e o de deepfake. O algoritmo não pode reconhecer o rosto e pára de criar a máscara por um momento.
Perspectiva errada: o deepfake tem uma perspectiva diferente do resto do vídeo. O vídeo de origem e destino diferem em comprimento focal.
O deepfake foi exportado com uma resolução de 64 px. A resolução mais baixa significa que demorou menos para treinar o algoritmo, porque o modelo só teve que aprender a criar uma imagem de baixa resolução. Em fotos de rosto em close, a baixa resolução é evidente.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Vídeo de destino original: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Bill Hader
Arnold Schwarzenegger
Vídeo de destino original: Bill Hader Presents: Schwarzenegger Baby
Fonte do vídeo deepfaked: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Detalhes técnicos
Falhas visuais
Oclusão de rosto: quando objetos passam na frente do rosto, a máscara distorce ou cobre o objeto.
A mistura do rosto, tom de pele e resolução são muito bons. A tomada distante torna difícil ver qualquer desfoque. A pós-produção foi feita com perícia. A única revelação é quando Bill Hader move o dedo na frente do rosto e ele desaparece atrás da máscara. A diferença na nitidez e no ângulo do dedo sugere que o criador tentou esconder o efeito na pós-produção.
Detalhes técnicos
Tempo de treinamento está relacionado ao número de vezes que o algoritmo processa as imagens. O processo envolve a criação de um rosto (ou máscara digital), comparando-o com a imagem de origem e, em seguida, fazendo ajustes para melhorar a semelhança da máscara com a origem. O modelo passa por este ciclo uma vez para todas as imagens de origem e, em seguida, começa novamente. O tempo que leva depende da potência do computador usado.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Vídeo de destino original: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Arthur
Andrej
Detalhes técnicos
H128 é o modelo mais leve dos dois. Ele atinge resultados de qualidade mais rapidamente. A máscara mais precisa do SAEHD é melhor para lidar com a mão e se fundir com a iluminação. O H128 parece ser mais bem treinado para fazer o rosto: a máscara é mais nítida, mais estável e funciona melhor com mudanças de movimento e perspectiva. No entanto, especialistas dizem que com mais tempo de treinamento, o SAEHD superará o H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Detalhes técnicos
A reconstituição facial exige muito mais poder de computação, mas é muito mais difícil de reconhecer. Muitos dos desafios apresentados pelos vídeos de origem não se aplicam à reconstituição, mas o algoritmo atua de maneira semelhante. As partes recriadas do rosto ficarão ligeiramente desfocadas e menos detalhadas.
Além disso, preste atenção ao áudio e procure por falhas ou problemas de sincronização labial. Usando as informações que você aprendeu neste site, questione se um vídeo provavelmente será um alvo e se as condições são adequadas para um possível deepfake. Em caso de dúvida, verifique sempre a origem do vídeo.
Fonte do vídeo de Deepfake: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.