Restarting the experience
Descoperiți cum funcționează videoclipurile deepfake și indiciile vizuale pe care le puteți utiliza pentru a le identifica, prin povești despre cercetările noastre practice și exemple de pe web.
În acest videoclip, fața unui bebeluș a fost suprapusă peste cea a lui Elon Musk. Acest tip de schimb de înfățișare este cea mai frecventă utilizare a videoclipurilor deepfake. Uitați-vă atent: marginile nu sunt ascuțite, iar culoarea pielii este diferită.
Detalii tehnice
Defecte vizuale
Nepotrivirea culorii pielii: Există o diferență a tonului pielii dintre mască și fața țintă. Fața pare a fi acoperită de un strat de culori, care prezintă margini sau pete.
Un deepfake este creat de un program de calculator care se poate auto-învăța să recreeze o față, analizând numeroase imagini ale persoanei. Programul suprapune apoi fața pe care a creat-o pe un videoclip existent - cam ca o mască digitală. Puteți vedea urmele unei astfel de măști în acest videoclip.
Videoclipul țintă
Sursa video
Videoclipul vizat de Deepfake: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Sursa video Deepfake: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Videoclipurile deepfake pot fi realizate cu computere personale, dar aveți nevoie de o placă grafică destul de puternică. Acest videoclip arată prima noastră încercare, care dezvăluie de ce este important să folosiți videoclipuri sursă adecvate.
Shia LaBeouf
Pilar
Sursă video vizată: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Detalii tehnice
Defecte vizuale
Nepotrivirea culorii pielii: Există o diferență a tonului pielii dintre mască și fața țintă. Fața pare a fi acoperită de un strat de culori, care prezintă margini sau pete.
Nepotrivirea expresiilor faciale: Expresiile de pe fața imaginii din deepfake nu se potrivesc cu fața țintă. Caracteristicile feței nu se comportă natural și sunt invizibile, neclare sau reproduse.
Margini vizibile Marginile măștii sunt vizibile, fie ca o margine ascuțită sau ca una neclară, care înconjoară fața.
Imaginile folosite pentru antrenarea algoritmului nu conțineau expresiile faciale potrivite pentru a acoperi fața lui Shia în videoclip și nici nu conțineau imagini ale feței sale din profil. Dacă rețeaua neuronală nu este antrenată pentru aceste situații, nu poate produce o mască digitală precisă. Observați cum apare gura lui Shia de sub mască, rezultând două guri.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Aveți nevoie de două videoclipuri: o sursă și o țintă. Programul se va auto-instrui, folosind ambele videoclipuri, și va crea o mască din videoclipul sursă, care poate fi suprapusă pe videoclipul țintă utilizând programul de editare.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Doel video bron: The Devil Wears Prada
| Andy's Interview
Original:
Set de date:
Mască:
Aliniere:
Deepfake
Postare:
Selectați un videoclip țintă pe care doriți să introduceți o față. Alegerea unui videoclip stabil, cu un fundal coerent, vă va oferi un rezultat mai bun.
Înregistrați un set de date pentru fața pe care doriți să o plasați (sursa), potrivind cât mai mult luminozitatea și expresiile faciale.
Acoperiți fețele altor persoane din videoclipul țintă, altfel vor fi preluate de algoritm și vor produce confuzii în procesul de instruire.
Algoritmul va decupa fețele, astfel încât să le poată folosi pentru instructaj și le va salva poziția pentru a acoperi, mai apoi, masca cu precizie.
Algoritmul generează o mască a feței din videoclipul sursă, pe care mai apoi trebuie să o potriviți peste videoclipul țintă.
Programul de editare video vă va permite să armonizați mai bine masca și să rafinați rezultatul final.
În acest experiment, două programe au primit un număr diferit de imagini. Mai mult material sursă îmbunătățește în mod clar rezultatul. Modelul avea mai multe informații faciale și putea elabora o mască mai bună.
Detalii tehnice
Acest experiment a fost realizat cu aceeași sursă video exportată la două valori diferite de cadre - ambele modele au fost instruite cu aceeași configurație de studio. Cantitatea de cicluri de instructaj per imagine este egală, dar timpul de antrenament a fost mai lung în cazul setului de date mai mare. Puteți vedea clar că algoritmul antrenat cu mai multe imagini poate produce un rezultat mai rafinat, care se potrivește mai bine cu ținta.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Videoclipul țintă original: Sherlock | The Reichenbach Fall | Rooftop Showdown
Am luat toate imaginile de pe Facebook de la unul dintre membrii echipei noastre și am creat un videoclip deepfake. Ea zâmbea în aproape toate imaginile sursă, astfel încât algoritmul nu putea genera o mască care nu zâmbea.
Natalie Portman
Pilar
Videoclipul țintă original: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Detalii tehnice
Defecte vizuale
Față neclară: Masca este estompată. Există o diferență de claritate sau rezoluție între mască și restul videoclipului.
Nepotrivirea expresiilor faciale: Expresiile de pe fața imaginii din deepfake nu se potrivesc cu fața țintă. Caracteristicile feței nu se comportă natural și sunt invizibile, neclare sau reproduse.
Marginile profilului: Vederea laterală a feței pare greșită. Masca din videoclipul deepfake este ruptă, mai puțin detaliată sau aliniată incorect.
Un videoclip conține mult mai multe nuanțe faciale decât imaginile pe care le-am luat de pe Facebook. Fotografiile membrei echipei noastre, preluate de pe rețelele de socializare, sunt auto-selectate și, prin urmare, lipsește tipul de imagini necesare pentru a crea expresii faciale realiste pentru vorbire. Deși tehnologiile mai bune ar putea fi capabile să fabrice expresii, fără materiale sursă diverse, este imposibil să creăm ceva convingător.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Chiar și cu o sursă bună, poate fi greu să creezi un videoclip deepfake. Indiana Jones conține cadre haotice. Comparativ cu videoclipurile mai curate pe care le-am folosit înainte, algoritmul are acum dificultăți în a ține pasul.
Detalii tehnice
Defecte vizuale
Față neclară: Masca este estompată. Există o diferență de claritate sau rezoluție între mască și restul videoclipului.
Efect de pâlpâire: Se observă o pâlpâire între fețele originale și cele false. Algoritmul nu poate recunoaște fața și pentru o clipă, se oprește din a mai crea o mască.
EPerspectivă greșită:: Videoclipul deepfake are o perspectivă diferită față de restul videoclipului. Videoclipul sursă și videoclipul țintă diferă, în ceea ce privește distanța focală.
Videoclipul deepfake a fost exportat cu o rezoluție de 64 px. O rezoluție mai mică înseamnă că a fost nevoie de mai puțin timp pentru a antrena algoritmul, deoarece modelul a trebuit doar să învețe cum să creeze o imagine cu rezoluție mică. În cazul cadrelor portret apropiate, rezoluția redusă este evidentă.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Videoclipul țintă original: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Acest videoclip deepfake a fost realizat dintr-un segment de talk-show în care Bill Hader îl imită pe Arnold Schwarzenegger. Prin utilizarea materialului sursă adecvat pentru Arnold Schwarzenegger, rezultatele au fost convingătoare.
Bill Hader
Arnold Schwarzenegger
Videoclipul țintă original: Bill Hader Presents: Schwarzenegger Baby
Videoclipul deepfake sursă: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Detalii tehnice
Defecte vizuale
Ocluzia feței: Când obiectele trec prin fața chipului, masca distorsionează sau acoperă obiectul.
Amestecul feței, nuanța pielii și rezoluția sunt foarte bune. Imaginea îndepărtată face dificilă observarea vreunei neclarități. Post-producția a fost realizată în mod profesionist. Singurul element care îl dă de gol este când Bill Hader își mișcă degetul în fața feței, iar acesta dispare în spatele măștii. Diferența de claritate și unghiul degetului sugerează că creatorul a încercat să ascundă efectul în post-producție.
Pentru acest experiment, un model a fost instruit timp de patru ore, iar celălalt timp de 48 de ore. Rezultatele modelului de 48 de ore au arătat detalii faciale îmbunătățite și o față mai tridimensională.
Detalii tehnice
Timpul de instructaj este legat de numărul de ori în care algoritmul procesează imaginile. Procesul implică crearea unei fețe (sau a unei măști digitale), comparând-o cu imaginea sursă și apoi efectuând modificări pentru a îmbunătăți asemănarea măștii cu sursa. Modelul parcurge acest ciclu o dată pentru toate imaginile sursă, iar apoi pornește din nou. Timpul necesar depinde de puterea computerului utilizat.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Videoclipul țintă original: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Pentru acest experiment, am creat chiar noi atât sursa, cât și videoclipul țintă. Metodele algoritmului sunt vizibile clar. H128 creează o mască pătrată, în timp ce SAEHD se potrivește mai bine cu fața.
Arthur
Andrej
Detalii tehnice
H128 este modelul mai ușor dintre cele două. Obține rezultate de calitate mai rapide. Masca mai precisă a SAEHD este mai bună în ceea ce privește mâna și se armonizează mai bine cu luminozitatea. H128 pare să fie mai bine antrenat pentru a face fața: masca este mai ascuțită, mai stabilă și funcționează mai bine cu mișcări și schimbări de perspectivă. Cu toate acestea, experții spun că, în cazul în care va avea mai mult timp de antrenament, SAEHD va depăși performanța H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Fiți atenți: videoclipurile deepfake pot fi de înaltă calitate și dificil de observat. Deși ne-am concentrat asupra schimbărilor de față, videoclipurile deepfake pot fi folosite și pentru reconstituirea feței - făcând să pară că o persoană ar fi spus ceva.
Detalii tehnice
Recrearea facială necesită mult mai multă putere cibernetică, dar este mult mai greu de recunoscut. Multe dintre provocările prezentate de videoclipurile sursă nu se aplică reconstituirii, dar algoritmul acționează într-un mod similar. Părțile recreate ale feței vor fi ușor neclare și mai puțin detaliate.
De asemenea, acordați atenție sunetului și căutați defecte sau probleme de sincronizare a buzelor. Folosind informațiile pe care le-ați învățat pe această pagină web, întrebați-vă dacă este posibil ca un videoclip să fie o țintă și dacă se întrunesc condițiile necesare pentru existența unui posibil deepfake. Dacă aveți îndoieli, verificați întotdeauna sursa videoclipului.
Sursa video a videoclipului deepfake: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.
All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0