Restarting the experience

Deep

fake

Lab

Razotkrivanje misterija deepfakea.

Otkrijte kako deepfake funkcionira i vizuelne znakove pomoću kojih ga možete prepoznati kroz priče iz našeg praktičnog istraživanja i primjere iz svih krajeva interneta.

01. Tesla Baby

Pogledajmo popularan primjer s interneta.

U ovom snimku, lice bebe je prekriveno licem Elona Muska. Ovakva zamjena lica je najčešća upotreba deepfakea. Pogledajte pažljivo: ivice nisu oštre i boja kože je drugačija.

Tehnički detalji

Vizuelni nedostaci

Deepfake kreira kompjuterski program koji sam može naučiti kako rekreirati nečije lice analiziranjem velikog broja slika te osobe. Program zatim umeće lice koje je rekreiralo u postojeći videozapis – nešto poput digitalne maske. Tragove takve maske možete vidjeti u ovom snimku.

Target Video

Deepfaked Video

02. Uradi sam(a)

Ovo možete pokušati i kod kuće. Pokazat ćemo vam kako.

Deepfake se može napraviti i na kućnom računaru, ali trebat će vam moćna grafička kartica. Ovaj video je naš prvi pokušaj koji pokazuje zašto je važno koristiti odgovarajuće izvorne snimke.

Tehnički detalji

Vizuelni nedostaci

Slike korištene za obuku algoritma nisu sadržavale prave izraze lica da pokriju Shijino lice u videu niti su sadržavale snimke njegovog lica iz profila. Ako neuronska mreža nije obučena za ove situacije, ne može napraviti preciznu digitalnu masku. Obratite pažnju kako se Shijina usta pojavljuju ispod maske pa na snimku ima dvoje usta.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Proces

Kako napraviti deepfake?

Trebaju vam dva snimka: izvorni i ciljni. Program će naučiti da koristi oba i na osnovu izvornog snimka kreirati masku koja se može umetnuti u ciljni video pomoću softvera za uređivanje.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Originalni ciljni snimak: The Devil Wears Prada | Andy's Interview

Original

Skup podataka

Maska

Poravnanje

Deepfake

Naknadno uređivanje

Odaberite ciljni snimak u koji želite umetnuti lice. Za bolje rezultate odaberite snimak bez puno pomjeranja s nepomičnom pozadinom.

04. Podaci za obuku

Šta ako programu damo više sadržaja? Hoće li se poboljšati?

U ovom eksperimentu, dva programa su dobila različit broj slika. Više izvornog materijala jasno poboljšava rezultat. Model je imao više informacija o licu i mogao je razviti bolju masku.

Tehnički detalji

Eksperiment je urađen s istim izvornim videom koji je izvezen u dvije različite brzine kadrova – oba modela su uvježbana s potpuno istim studijskim postavkama. Broj ciklusa vježbi po slici je jednak, ali je vrijeme vježbe bilo duže s većim skupom podataka. Jasno možete vidjeti da algoritam uvježban s većim brojem slika može proizvesti profinjeniji rezultat koji bolje odgovara ciljnom snimku.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Društvena prevara

Koliko ste podložni deepfakeu? Možemo li ukrasti vaš sadržaj na društvenim mrežama i napraviti dobar deepfake?

Uzeli smo sve slike članice našeg tima s Facebooka i napravili deepfake. Na gotovo svim izvornim slikama ona se smiješila, tako da algoritam nije mogao generirati masku bez osmijeha.

Natalie Portman

Pilar

Tehnički detalji

Vizuelni nedostaci

Videosnimci sadržavaju mnogo više izraza lica od slika koje smo preuzeli s Facebooka. Članica našeg tima je sama izabrala fotografije objavljene na društvenim mrežama i stoga nedostaju slike potrebne za stvaranje realističnih izraza lica za govor. Iako bi bolje tehnologije mogle proizvesti izraze lica, bez raznolikog izvornog materijala, nije moguće stvoriti nešto uvjerljivo.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Odabir ciljnog snimka

Vidjeli smo koliko je izvorni materijal važan za obuku algoritma. Šta je s ciljnim snimkom?

Čak i s dobrim izvorom može biti teško napraviti deepfake. Indiana Jones sadržava haotične kadrove. U poređenju s čišćim videima koje smo prethodno koristili, algoritmu je sada teško držati korak.

Tehnički detalji

Vizuelni nedostaci

Deepfake je izvezen u rezoluciji od 64 px. Niža rezolucija znači da je bilo potrebno manje vremena za obuku algoritma, jer je model samo morao naučiti kako da kreira sliku niske rezolucije. Na krupnim kadrovima lica, niska rezolucija je očigledna.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Ne trepćite

Ponekad se ciljni i izvorni snimak jednostavno stope. U ovom videu osoba iz ciljnog snimka čak imitira vlasnika novog lica.

Ovaj deepfake je napravljen od isječka talk showa u kojem Bill Hader imitira Arnolda Schwarzeneggera. Rezultati su uvjerljivi jer je za Arnolda Schwarzeneggera korišten odgovarajući izvorni materijal.

Bill Hader

Arnold Schwarzenegger

Tehnički detalji

Vizuelni nedostaci

Stapanje lica, ton kože i rezolucija su vrlo dobri. Kadar iz daljine otežava da vidimo eventualno zamućenje. Postprodukcija je odrađena stručno. Jedina greška je kada Bill Hader pomakne prst ispred lica i on nestane iza maske. Razlika u oštrini i uglu prsta sugerira da je kreator pokušao da sakrije efekat u postprodukciji.

08. Vrijeme je važno

Šta će se dogoditi ako algoritmu dopustimo da više vježba na izvornom sadržaju. Hoće li se rezultati poboljšati?

Za ovaj eksperiment jedan model je vježbao četiri sata, a drugi 48. Rezultati 48-satnog modela su pokazali poboljšane detalje lica i trodimenzionalnije lice.

Tehnički detalji

Vrijeme vježbanja je povezano s brojem puta koji algoritam obrađuje slike. Proces obuhvata kreiranje lica (ili digitalne maske), poređenje s izvornom slikom, a zatim prilagođavanje kako bi se poboljšala sličnost maske s izvorom. Model prolazi kroz ovaj ciklus jednom za sve izvorne slike, a zatim počinje ponovo. Potrebno vrijeme zavisi od snage računara.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmi

Posljednji eksperiment. Kako različiti algoritmi reagiraju na određene uslove?

Za ovaj eksperiment smo sami kreirali i izvorni i ciljni video. Metode algoritma su jasno vidljive. H128 stvara kvadratnu masku dok SAEHD bolje imitira lice.

Arthur

Andrej

Tehnički detalji

H128 je lakši od ova dva modela. Brže postiže kvalitetne rezultate. Preciznija maska modela SAEHD bolje obrađuje ruku i stapanje s osvjetljenjem. Čini se da je H128 bolje uvježban da napravi lice: maska je oštrija, stabilnija i bolje se ponaša prilikom kretanja i promjena perspektive. Međutim, stručnjaci kažu da s više vremena za vježbu SAEHD daje bolje rezultate nego H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Budite na oprezu

Pogledajmo šta se stvarno dešava s deepfake snimcima.

Budite na oprezu: deepfake može biti kvalitetan i teško uočljiv. Iako smo se fokusirali na zamjenu lica, deepfake se može koristiti i za rekonstrukciju lica tako da izgleda kao da je neko nešto rekao.

Tehnički detalji

Rekonstrukcija lica zahtijeva mnogo moćniji računar, ali je mnogo teže prepoznati. Mnogi problemi s izvornim snimcima se ne odnose na rekonstrukciju, ali algoritam funkcionira na sličan način. Rekreirani dijelovi lica su blago mutni i manje detaljni.

Obratite pažnju i na zvuk i potražite nedostatke ili probleme sa sinhronizacijom usana. Koristeći sve što ste naučili na ovoj web stranici, zapitajte se koliko je vjerovatno da neki snimak bude predmet deepfakea i jesu li uslovi pogodni za mogući deepfake. Ako ste u nedoumici, uvijek provjerite izvor videa.

Evo praktičnog sažetka vještina koje ste stekli na ovoj web stranici da možete sami provjeravati videozapise.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0