Restarting the experience

Deep

fake

Lab

Razotkrivanje misterija u vezi sa Deepfake softverima.

Otkrijte kako funkcionišu deepfake softveri i vizuelna pomagala koja možete koristiti da biste ih identifikovali, kroz priče o našim praktičnim istraživanjima i primerima sa interneta.

01. Bebe Tesla

Pogledajmo popularan primer sa interneta.

Pogledajmo popularan primer sa interneta. U ovom videu, bebino lice je prekriveno licem Elona Maska. Ova vrsta zamene lica je najčešća upotreba deepfake softvera. Pogledajte pažljivo: ivice nisu oštre i boja kože je drugačija.

Tehnički detalji

Vizuelne mane

Deepfake se kreira pomoću kompjuterskog programa koji može sam da nauči kako da ponovo kreira lice analizirajući brojne slike jedne iste osobe. Program zatim prekriva lice koje je ponovo kreirao na postojeći video – nešto poput digitalne maske. Tragove takve maske možete videti u ovom videu:

Ciljni video

Video izvor

02. DIY

Možete ovo pokušati i sami kod kuće. Pokazaćemo vam kako.

Deepfake video snimci se mogu napraviti na kućnim računarima, ali vam je potrebna zaista moćna grafička kartica. Ovaj video pokazuje našu prvu probu koja otkriva zašto je važno koristiti odgovarajuće izvorne video zapise.

Tehnički detalji

Vizuelne mane

Slike koje su korišćene za obradu algoritma nisu sadržale prave izraze lica da pokriju Šajino lice u videu, niti su sadržale snimke njegovog lica u profilu. Ako neuronska mreža nije dizajnirana za ovakve situacije, ne može se proizvesti tačna digitalna maska. Obratite pažnju na to kako se Šajina usta pojavljuju ispod maske, kao da ima dva para usta.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Proces

Kako napraviti deepfake?

Potrebna su dva video snimka: izvorni i ciljni. Program će obraditi sam sebe koristeći oba i stvoriti masku od izvornog videa koja se može preklopiti na ciljni video pomoću softvera za montiranje.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Originalni ciljni video: The Devil Wears Prada | Andy's Interview

Original

Skup podataka

Maska

Usklađivanje

Deepfake

Objava

Izaberite ciljni video na koji želite da umetnete lice. Odabir statičnog video zapisa sa doslednom pozadinom daće vam bolji rezultat.

04. Podaci za obradu

Šta se dešava ako programu pružimo više sadržaja? Da li će se poboljšati?

U ovom eksperimentu, dva programa su dobila različiti broj slika. Više izvornog materijala naravno poboljšava rezultat. Model je imao više informacija o licu i mogao je da razvije bolju masku.

Tehnički detalji

Ovaj eksperiment je urađen sa istim izvornim video zapisom izvezenim sa dve različite brzine kadrova – oba modela su obrađena sa potpuno istim studijskim podešavanjem. Količina ciklusa obrade po slici je jednaka, ali je vreme obrade bilo duže sa većim brojem podataka. Jasno možete videti da algoritam obrađen sa više slika može proizvesti jasniji rezultat koji bolje odgovara cilju.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Društvena prevara

Koliko ste podložni deepfake-u? Možemo li ukrasti vaš sadržaj na društvenim mrežama i napraviti dobar deepfake?

Preuzeli smo sve slike sa Fejsbuk profila jedne od članova našeg tima i napravili deepfake. Ona se osmehuje u skoro svim izvornim slikama, tako da algoritam nije mogao da generiše masku na kojoj se ne smeje.

Natalie Portman

Pilar

Tehnički detalji

Vizuelne mane

Video sadrži mnogo više nijansi lica od slika koje smo preuzeli sa Fejsbuka. Fotografije članice našeg tima na društvenim mrežama su samo-odabrane i stoga im nedostaje ona vrsta slika koja je potrebna za stvaranje realističnih izraza lica za govor. Iako bi bolje tehnologije mogle da proizvedu izraze lica, nemoguće je stvoriti nešto ubedljivo bez raznovrsnog izvornog materijala.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Ciljani izvor

Videli smo koliko je izvor važan u obradi algoritma. Šta je sa ciljanim video snimkom?

Čak i sa dobrim izvorom, teško je stvoriti deepfake. Indijana Džouns sadrži haotične kadrove. U poređenju sa jasnijim snimcima koje smo ranije koristili, algoritam sada ima poteškoća da održi korak s nama.

Tehnički detalji

Vizuelne mane

Deepfake je urađen u rezoluciji od 64 piksela. Niža rezolucija znači da je bilo potrebno manje vremena za obradu algoritma, jer je model morao samo da nauči kako da kreira sliku niske rezolucije. Na snimcima lica izbliza, niska rezolucija je očigledna.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Ne trepći!

Nekada se jednostavno stope jedno u drugo. Na ovom videu ciljano lice čak imitira svoje novo lice.

Ovaj deepfake video je napravljen od snimka iz dela televizijske emisije gde Bil Hejder imitira Arnolda Švarcenegera. Pošto je koristešćen odgovarajući izvorni materijal za Arnolda Švarcenegera, rezultati su bili ubedljivi.

Bill Hader

Arnold Schwarzenegger

Tehnički detalji

Vizuelne mane

Stapanje lica, nijansa boje kože i rezolucija su veoma dobri. Daleki snimak otežava uočavanje bilo kakvog zamućenja. Postprodukcija je odrađena stručno. Jedino što ga odaje je trenutak kada Bil Hejder pomeri prst ispred svog lica, a prst nestane iza maske. Razlika u oštrini i uglu prsta sugeriše da je kreator pokušao da sakrije efekat u postprodukciji.

08. Vreme je važno

Šta se dešava ako dozvolimo algoritmu da više vežba na izvornom sadržaju? Da li će rezultati biti bolji?

Za ovaj eksperiment, jedan model je rađen četiri sata, a drugi 48. Rezultati 48-satnog modela pokazali su poboljšane detalje lica i trodimenzionalnije lice.

Tehnički detalji

Vreme obrade je povezano sa brojem puta koji algoritam obrađuje slike. Proces uključuje kreiranje lica (ili digitalne maske), upoređivanje sa izvornom slikom, a zatim prilagođavanje kako bi se poboljšala sličnost maske sa izvorom. Model prolazi kroz ovaj ciklus jednom za sve izvorne slike, a zatim počinje ponovo. Vreme koje je potrebno zavisi od snage računara koji se koristi.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmi

Poslednji eksperiment. Kako različiti algoritmi reaguju na određene uslove?

Za ovaj eksperiment, sami smo kreirali i izvorni i ciljni video. Metode algoritma su jasno vidljive. H128 stvara kvadratnu masku, dok SAEHD bolje odgovara licu.

Arthur

Andrej

Tehnički detalji

H128 je laganiji model od ova dva. Brže postiže kvalitetne rezultate. Preciznija maska SAEHD je bolja u radu sa rukom i stapanju sa osvetljenjem. Čini se da je H128 bolje dizajniran da napravi lice: maska je oštrija, stabilnija i bolje se ponaša sa pokretima i promenama perspektive. Međutim, stručnjaci kažu da će nakon duže vremena obrade SAEHD nadmašiti H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Budite oprezni

Hajde da vidimo šta se zaista dešava sa deepfake snimcima.

Budite oprezni: deepfake snimci mogu biti visokog kvaliteta i teško ih je uočiti. Iako smo se fokusirali na zamenu lica, deepfake-ovi se takođe mogu koristiti za rekonstrukciju lica – tako da izgleda kao da je osoba nešto rekla.

Tehnički detalji

Rekonstrukcija lica zahteva mnogo više računarske snage, ali ju je mnogo teže prepoznati. Mnogi izazovi koje predstavljaju izvorni video snimci ne odnose se na rekonstrukciju, ali algoritam deluje na sličan način. Rekreirani delovi lica biće blago zamućeni i sa manje detalja.

Takođe, obratite pažnju na zvuk i potražite nedostatke ili probleme sa sinhronizacijom usana. Koristeći uvid koji ste naučili na ovom veb sajtu, zapitajte se da li će video biti moguća meta i da li su uslovi pogodni za mogući deepfake. Ako ste u nedoumici, uvek proverite izvor video snimka.

Evo praktičnog rezimea veština koje ste stekli na ovom veb sajtu, tako da možete sami da proverite video zapise.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0