Restarting the experience

Deep

fake

Lab

Dezvăluirea misterului din jurul videoclipurilor deepfake.

Descoperiți cum funcționează videoclipurile deepfake și indiciile vizuale pe care le puteți utiliza pentru a le identifica, prin povești despre cercetările noastre practice și exemple de pe web.

01. Tesla Baby

Să aruncăm o privire la un exemplu popular de pe internet.

În acest videoclip, fața unui bebeluș a fost suprapusă peste cea a lui Elon Musk. Acest tip de schimb de înfățișare este cea mai frecventă utilizare a videoclipurilor deepfake. Uitați-vă atent: marginile nu sunt ascuțite, iar culoarea pielii este diferită.

Detalii tehnice

Defecte vizuale

Un deepfake este creat de un program de calculator care se poate auto-învăța să recreeze o față, analizând numeroase imagini ale persoanei. Programul suprapune apoi fața pe care a creat-o pe un videoclip existent - cam ca o mască digitală. Puteți vedea urmele unei astfel de măști în acest videoclip.

Videoclipul țintă

Sursa video

02. DIY

Puteți încerca acest lucru și acasă. Vă vom arăta cum.

Videoclipurile deepfake pot fi realizate cu computere personale, dar aveți nevoie de o placă grafică destul de puternică. Acest videoclip arată prima noastră încercare, care dezvăluie de ce este important să folosiți videoclipuri sursă adecvate.

Detalii tehnice

Defecte vizuale

Imaginile folosite pentru antrenarea algoritmului nu conțineau expresiile faciale potrivite pentru a acoperi fața lui Shia în videoclip și nici nu conțineau imagini ale feței sale din profil. Dacă rețeaua neuronală nu este antrenată pentru aceste situații, nu poate produce o mască digitală precisă. Observați cum apare gura lui Shia de sub mască, rezultând două guri.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Werkwijze

Deci, cum faceți un videoclip deepfake?

Aveți nevoie de două videoclipuri: o sursă și o țintă. Programul se va auto-instrui, folosind ambele videoclipuri, și va crea o mască din videoclipul sursă, care poate fi suprapusă pe videoclipul țintă utilizând programul de editare.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Doel video bron: The Devil Wears Prada | Andy's Interview

Original:

Set de date:

Mască:

Aliniere:

Deepfake

Postare:

Selectați un videoclip țintă pe care doriți să introduceți o față. Alegerea unui videoclip stabil, cu un fundal coerent, vă va oferi un rezultat mai bun.

04. Date de instruire

Ce se întâmplă dacă oferim programului mai mult conținut? Se va îmbunătăți?

În acest experiment, două programe au primit un număr diferit de imagini. Mai mult material sursă îmbunătățește în mod clar rezultatul. Modelul avea mai multe informații faciale și putea elabora o mască mai bună.

Detalii tehnice

Acest experiment a fost realizat cu aceeași sursă video exportată la două valori diferite de cadre - ambele modele au fost instruite cu aceeași configurație de studio. Cantitatea de cicluri de instructaj per imagine este egală, dar timpul de antrenament a fost mai lung în cazul setului de date mai mare. Puteți vedea clar că algoritmul antrenat cu mai multe imagini poate produce un rezultat mai rafinat, care se potrivește mai bine cu ținta.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Frauda de pe rețelele de socializare

Cât de vulnerabil sunteți? Vă putem fura conținutul de pe rețelele de socializare pentru a crea un videoclip deepfake reușit?

Am luat toate imaginile de pe Facebook de la unul dintre membrii echipei noastre și am creat un videoclip deepfake. Ea zâmbea în aproape toate imaginile sursă, astfel încât algoritmul nu putea genera o mască care nu zâmbea.

Natalie Portman

Pilar

Detalii tehnice

Defecte vizuale

Un videoclip conține mult mai multe nuanțe faciale decât imaginile pe care le-am luat de pe Facebook. Fotografiile membrei echipei noastre, preluate de pe rețelele de socializare, sunt auto-selectate și, prin urmare, lipsește tipul de imagini necesare pentru a crea expresii faciale realiste pentru vorbire. Deși tehnologiile mai bune ar putea fi capabile să fabrice expresii, fără materiale sursă diverse, este imposibil să creăm ceva convingător.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Alegerea țintei

Am văzut cum sursa este importantă în pregătirea algoritmului. Dar cum rămâne cu videoclipul țintă?

Chiar și cu o sursă bună, poate fi greu să creezi un videoclip deepfake. Indiana Jones conține cadre haotice. Comparativ cu videoclipurile mai curate pe care le-am folosit înainte, algoritmul are acum dificultăți în a ține pasul.

Detalii tehnice

Defecte vizuale

Videoclipul deepfake a fost exportat cu o rezoluție de 64 px. O rezoluție mai mică înseamnă că a fost nevoie de mai puțin timp pentru a antrena algoritmul, deoarece modelul a trebuit doar să învețe cum să creeze o imagine cu rezoluție mică. În cazul cadrelor portret apropiate, rezoluția redusă este evidentă.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Nu clipi

Uneori cele două se contopesc pur și simplu. În acest videoclip, ținta imită chiar noul său chip.

Acest videoclip deepfake a fost realizat dintr-un segment de talk-show în care Bill Hader îl imită pe Arnold Schwarzenegger. Prin utilizarea materialului sursă adecvat pentru Arnold Schwarzenegger, rezultatele au fost convingătoare.

Bill Hader

Arnold Schwarzenegger

Detalii tehnice

Defecte vizuale

Amestecul feței, nuanța pielii și rezoluția sunt foarte bune. Imaginea îndepărtată face dificilă observarea vreunei neclarități. Post-producția a fost realizată în mod profesionist. Singurul element care îl dă de gol este când Bill Hader își mișcă degetul în fața feței, iar acesta dispare în spatele măștii. Diferența de claritate și unghiul degetului sugerează că creatorul a încercat să ascundă efectul în post-producție.

08. Timpul contează

Ce se întâmplă dacă lăsăm algoritmul să se antreneze mai mult pe conținutul sursă. Rezultatele se vor îmbunătăți?

Pentru acest experiment, un model a fost instruit timp de patru ore, iar celălalt timp de 48 de ore. Rezultatele modelului de 48 de ore au arătat detalii faciale îmbunătățite și o față mai tridimensională.

Detalii tehnice

Timpul de instructaj este legat de numărul de ori în care algoritmul procesează imaginile. Procesul implică crearea unei fețe (sau a unei măști digitale), comparând-o cu imaginea sursă și apoi efectuând modificări pentru a îmbunătăți asemănarea măștii cu sursa. Modelul parcurge acest ciclu o dată pentru toate imaginile sursă, iar apoi pornește din nou. Timpul necesar depinde de puterea computerului utilizat.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmi

Un ultim experiment. Cum răspund diferiți algoritmi la anumite condiții?

Pentru acest experiment, am creat chiar noi atât sursa, cât și videoclipul țintă. Metodele algoritmului sunt vizibile clar. H128 creează o mască pătrată, în timp ce SAEHD se potrivește mai bine cu fața.

Arthur

Andrej

Detalii tehnice

H128 este modelul mai ușor dintre cele două. Obține rezultate de calitate mai rapide. Masca mai precisă a SAEHD este mai bună în ceea ce privește mâna și se armonizează mai bine cu luminozitatea. H128 pare să fie mai bine antrenat pentru a face fața: masca este mai ascuțită, mai stabilă și funcționează mai bine cu mișcări și schimbări de perspectivă. Cu toate acestea, experții spun că, în cazul în care va avea mai mult timp de antrenament, SAEHD va depăși performanța H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Fiți atenți

Să vedem ce se întâmplă cu adevărat în videoclipurile deepfake.

Fiți atenți: videoclipurile deepfake pot fi de înaltă calitate și dificil de observat. Deși ne-am concentrat asupra schimbărilor de față, videoclipurile deepfake pot fi folosite și pentru reconstituirea feței - făcând să pară că o persoană ar fi spus ceva.

Detalii tehnice

Recrearea facială necesită mult mai multă putere cibernetică, dar este mult mai greu de recunoscut. Multe dintre provocările prezentate de videoclipurile sursă nu se aplică reconstituirii, dar algoritmul acționează într-un mod similar. Părțile recreate ale feței vor fi ușor neclare și mai puțin detaliate.

De asemenea, acordați atenție sunetului și căutați defecte sau probleme de sincronizare a buzelor. Folosind informațiile pe care le-ați învățat pe această pagină web, întrebați-vă dacă este posibil ca un videoclip să fie o țintă și dacă se întrunesc condițiile necesare pentru existența unui posibil deepfake. Dacă aveți îndoieli, verificați întotdeauna sursa videoclipului.

Sursa video a videoclipului deepfake: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.

Iată un rezumat la îndemână al abilităților pe care le-ați dobândit pe această pagină web, astfel încât să puteți verifica chiar dvs. videoclipurile.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0