Restarting the experience

Deep

fake

Lab

Desvendando o mistério ao redor das deepfakes.

Descubra como as deepfakes funcionam e as pistas visuais que você pode usar para identificá-las, através de histórias de nossas pesquisas práticas e de exemplos da web.

01. Bebê Tesla

Vamos dar uma olhada num exemplo popular da internet.

Neste vídeo, o rosto de um bebê foi sobreposto com o de Elon Musk. Esse tipo de troca de rosto é o uso mais comum de deepfakes. Observe bem: as bordas não são nítidas e a cor da pele é diferente.

Detalhes técnicos

Falhas visuais

Uma deepfake é criada por um programa de computador que pode ensinar a si mesmo como recriar um rosto por meio da análise de numerosas imagens da pessoa. O programa então sobrepõe o rosto recriado em um vídeo existente - como uma espécie de máscara digital. Você pode ver vestígios dessa máscara neste vídeo:

Target Video

Deepfaked Video

02. Faça Você Mesmo

Você também pode tentar isso em casa. Nós vamos lhe mostrar como.

Vídeos de Deepfake podem ser feitos em casa com computadores domésticos, mas você precisa de uma placa de vídeo bastante poderosa. Este vídeo mostra nossa primeira tentativa, que revela por que é importante usar vídeos de origem adequados.

Shia LaBeouf

Pilar

Detalhes técnicos

Falhas visuais

As imagens usadas para treinar o algoritmo não continham as expressões faciais certas para cobrir o rosto de Shia no vídeo, nem continham sequências do rosto dele de perfil. Se a rede neural não é treinada para essas situações, ela não consegue produzir uma máscara digital precisa. Note como a boca de Shia aparece por baixo da máscara, resultando em duas bocas.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Processo

Então como você faz uma deepfake?

Você precisa de dois vídeos: um de origem e um de destino. O programa se treinará usando ambos e criará uma máscara do vídeo de origem que pode ser sobreposta no vídeo de destino usando um software de edição.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




ídeo de destino da Deepfake: The Devil Wears Prada | Andy's Interview

Original

Conjunto de dados

Máscara

Alinhamento

Deepfake

Postar

Selecione um vídeo de destino no qual você quer inserir um rosto. Escolher um vídeo estável com um fundo consistente lhe dará um melhor resultado.

04. Dados de Treinamento

O que acontecerá se fornecermos mais conteúdo ao programa? Ele vai melhorar?

Neste experimento, dois programas receberam um número diferente de imagens. Mais material de origem melhora claramente o resultado. O modelo tinha mais informações faciais e poderia desenvolver uma máscara melhor.

Detalhes técnicos

Este experimento foi feito com a mesma fonte de vídeo exportada em duas taxas de quadros diferentes - ambos os modelos foram treinados exatamente com a mesma configuração de estúdio. A quantidade de ciclos de treinamento por imagem é igual, mas o tempo de treinamento foi maior com o conjunto de dados maior. Você pode ver claramente que o algoritmo treinado com mais imagens pode produzir um resultado mais refinado que corresponde melhor ao alvo.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Fraude Social

Você é suscetível? Podemos roubar seu conteúdo de mídias sociais e criar um bom deepfake?

Nós pegamos todas as imagens do Facebook de uma das membras da nossa equipe e criamos uma deepfake. Em quase todas as imagens originais, ela estava sorrindo, então o algoritmo não poderia gerar uma máscara não sorridente.

Natalie Portman

Pilar

Detalhes técnicos

Falhas visuais

Um vídeo contém muito mais nuances faciais do que as imagens que tiramos do Facebook. As fotos da membra de nossa equipe nas redes sociais são selecionadas e, portanto, não possuem o tipo de imagem necessário para criar expressões faciais realistas para a fala. Embora tecnologias melhores possam ser capazes de fabricar expressões, sem material de origem diversa é impossível criar algo convincente.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Escolha do Alvo

Vimos como a fonte é importante no treinamento do algoritmo. E o vídeo de destino?

Mesmo com uma boa fonte, pode ser difícil criar um deepfake. Indiana Jones contém fotos caóticas. Em comparação com os vídeos mais limpos que usamos antes, o algoritmo agora tem dificuldade em acompanhar.

Detalhes técnicos

Falhas visuais

O deepfake foi exportado com uma resolução de 64 px. A resolução mais baixa significa que demorou menos para treinar o algoritmo, porque o modelo só teve que aprender a criar uma imagem de baixa resolução. Em fotos de rosto em close, a baixa resolução é evidente.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Não Pisque

Às vezes, os dois simplesmente se fundem. Neste vídeo, o alvo ainda imita seu novo rosto.

Este vídeo de deepfake foi feito a partir de um segmento de talk show onde Bill Hader personifica Arnold Schwarzenegger. Usando material original adequado para Arnold Schwarzenegger, os resultados foram convincentes.

Bill Hader

Arnold Schwarzenegger

Detalhes técnicos

Falhas visuais

A mistura do rosto, tom de pele e resolução são muito bons. A tomada distante torna difícil ver qualquer desfoque. A pós-produção foi feita com perícia. A única revelação é quando Bill Hader move o dedo na frente do rosto e ele desaparece atrás da máscara. A diferença na nitidez e no ângulo do dedo sugere que o criador tentou esconder o efeito na pós-produção.

08. Tempo Importa

O que acontecerá se deixarmos o algoritmo praticar mais no conteúdo de origem. Os resultados vão melhorar?

Para este experimento, um modelo foi treinado por quatro e o outro por 48. Os resultados do modelo de 48 horas mostraram detalhe facial aperfeiçoado e um rosto mais tridimensional.

Detalhes técnicos

Tempo de treinamento está relacionado ao número de vezes que o algoritmo processa as imagens. O processo envolve a criação de um rosto (ou máscara digital), comparando-o com a imagem de origem e, em seguida, fazendo ajustes para melhorar a semelhança da máscara com a origem. O modelo passa por este ciclo uma vez para todas as imagens de origem e, em seguida, começa novamente. O tempo que leva depende da potência do computador usado.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmos

Um último experimento. Como diferentes algoritmos respondem a certas condições?

Para este experimento, nós mesmos criamos o vídeo de origem e de destino. Os métodos do algoritmo são claramente visíveis. H128 cria uma máscara quadrada enquanto SAEHD combina melhor com o rosto.

Arthur

Andrej

Detalhes técnicos

H128 é o modelo mais leve dos dois. Ele atinge resultados de qualidade mais rapidamente. A máscara mais precisa do SAEHD é melhor para lidar com a mão e se fundir com a iluminação. O H128 parece ser mais bem treinado para fazer o rosto: a máscara é mais nítida, mais estável e funciona melhor com mudanças de movimento e perspectiva. No entanto, especialistas dizem que com mais tempo de treinamento, o SAEHD superará o H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Esteja Alerta

Vamos ver o que realmente está acontecendo com os vídeos de deepfake.

Esteja alerta: deepfakes podem ser de alta qualidade e difíceis de detectar. Embora tenhamos nos concentrado em trocas de rosto, deepfakes também podem ser usados para reconstituição facial - fazendo parecer que uma pessoa disse algo.

Detalhes técnicos

A reconstituição facial exige muito mais poder de computação, mas é muito mais difícil de reconhecer. Muitos dos desafios apresentados pelos vídeos de origem não se aplicam à reconstituição, mas o algoritmo atua de maneira semelhante. As partes recriadas do rosto ficarão ligeiramente desfocadas e menos detalhadas.

Além disso, preste atenção ao áudio e procure por falhas ou problemas de sincronização labial. Usando as informações que você aprendeu neste site, questione se um vídeo provavelmente será um alvo e se as condições são adequadas para um possível deepfake. Em caso de dúvida, verifique sempre a origem do vídeo.

Aqui está um resumo acessível das habilidades que você adquiriu neste website, de modo que você pode checar vídeos por si mesmo.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0