Restarting the experience

Deep

fake

Lab

Razotkrivanje misterije deepfake videa.

Saznanjima našeg praktičnog istraživanja i primjerima s interneta otkrijte kako deepfakes funkcioniraju te po kojim ih se vizualnim tragovima može identificirati.

01. Tesla Baby

Pogledajmo jedan popularan primjer s interneta.

U ovom je videu na bebino lice položeno ono Elona Muska. Ovakav tip zamjene lica najčešći je način upotrebe deepfake videa. Pogledajte bolje: rubovi nisu bistri, a i boja kože je različita.

Tehnički detalji

Vizualni nedostac

Deepfake nastaje računalnim programom koji samog sebe može naučiti kako reproducirati lice analizirajući mnoštvo slika dotične osobe. Program tada na postojeći video polaže lice koje je kreirao – kao nekakvu digitalnu masku. Tragovi takve maske primjetni su u sljedećem videu.

Ciljani video

Deepfaked Video

02. Uradi sam

Ovo možete napraviti i kod kuće. Pokazat ćemo vam kako.

Deepfake snimke mogu se napraviti na kućnim računalima, ali je za to potreba jaka grafička kartica. U ovom videu prikazan je naš prvi pokušaj koji pokazuje važnost korištenja prikladne izvorne video snimke.

Tehnički detalji

Vizualni nedostac

Slike koje smo koristili za trening algoritma nisu sadržavale potrebne izraze lica koji bi prekrili Shiaino lice u ovom videu niti su sadržavale snimke njegovog lica u profilu. Ako se neuronsku mrežu ne istrenira za takve situacije, ona ne može proizvesti točnu digitalnu masku. Primijetite kako se Shiaina usta pojavljuju od ispod maske, što rezultira dupliciranim ustima.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Proces

Kako napraviti deepfake?

Trebate dva videa: izvorni i ciljani. Softver će istrenirati samog sebe koristeći obje snimke te kreirati masku iz izvornog videa koju će prevući preko ciljanog videa koristeći softver za montažu.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Originalni ciljani video: The Devil Wears Prada | Andy's Interview

Original

Podaci

Maska

Podudaranje

Deepfake

Postprodukcija

Odaberite ciljani video u koji želiš umetnuti nečije lice. Najbolji rezultati postižu se odabirom videa s jednoličnom pozadinom.

04. Podaci za učenje

Što se događa kada računalnom programu damo više informacija? Hoće li to poboljšati rezultat?

U ovom su eksperimentu dva računalna programa dobila različit broj slika. Više materijala očito daje bolji rezultat. Model je imao više podataka o licu pa je stoga kreirao i bolju masku.

Tehnički detalji

Ovaj je eksperiment napravljen s istim izvornim videom izvedenim u dvije različite frekvencije slika - oba su modela trenirana na istoj opremi s istim postavkama. Broj ciklusa treninga po slici je bio isti, ali je trajanje treninga bilo duže kod većeg seta podataka. Jasno se vidi da algoritam koji je učio s većim brojem slika daje rafiniraniji rezultat koji se bolje podudara s ciljanim videom.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Društvena prevar

Koliko ste ranjivi? Možemo li ukrasti vaš sadržaj na društvenim mrežama i napraviti dobar deepfake?

Uzeli smo sve slike s Facebook profila članice našeg tima i kreirali deepfake. U skoro svim izvornim slikama ona se smiješi te stoga algoritam nije morao kreirati masku bez osmjeha.

Natalie Portman

Pilar

Tehnički detalji

Vizualni nedostac

Video sadrži mnogo više nijansi izraza lica nego slike koje smo uzeli s Facebooka. Slike s društvenih mreža naše članice odabrala je ona sama, pa zato nedostaje onih slika potrebnih za kreiranje realističnih izraza lica pri govoru. Iako bi bolja tehnologija možda mogla fabricirati te izraze lica, bez raznolikog izvornog materijala nemoguće je napraviti nešto uvjerljivo.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Odabir ciljanog videa

Vidjeli smo zašto je važan izvor podataka za trening algoritma. A što je s ciljanim videom?

Čak i s kvalitetnim izvornim materijalnom kreirati deepfake može biti teško. Indiana Jones sadrži kaotične kadrove. U usporedbi s ćišćim video snimkama korištenim ranije, algoritmu je sada teže.

Tehnički detalji

Vizualni nedostac

Deepfake je izveden u rezoluciji od 64 px. Niža rezolucija znači da je za trening algoritma trebalo manje vremena jer je model trebao naučiti samo kako kreirati sliku niske rezolucije. U krupnim kadrovima niska je rezolucija evidentna.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Ne trepći

Ponekad se dva videa jednostavno stapaju. U ovom videu ciljano lice čak imitira svoje novo lice.

Ovaj deepfake napravljen je od isječka iz talk showa u kojem Bill Hader imitira Arnolda Schwarzeneggera. Rezultat je uvjerljiv zbog korištenja prikladnog izvornog materijala za Arnolda Schwarzeneggera.

Bill Hader

Arnold Schwarzenegger

Tehnički detalji

Vizualni nedostac

Stapanje lica, boja kože i rezolucija vrlo su dobri. Video je snimljen izdaleka pa je teško primijetiti je li nešto mutno. Postprodukcija je obavljena stručno. Jedino što odaje deepfake jest ono kad Bill Hader pomakne prst ispred svog lica, a on nestane iza maske. Razlika u oštrini i kutu prsta sugerira da je kreator pokušao sakriti ovaj efekt u postprodukciji.

08. Vrijeme je važno

Što se događa kada algoritmu dozvolimo da se duže trenira na izvornom sadržaju? Daje li to bolje rezultate?

Za ovaj eksperiment jedan se model trenirao četiri sata, a drugi 48. 48-satni model dao je više detalja na licu te je ono djelovalo trodimenzionalnije.

Tehnički detalji

Trajanje učenja povezano je s time koliko puta algoritam procesira slike. Proces se sastoji od kreiranja lica (ili digitalne maske), uspoređivanja tog lica s izvornom slikom te modifikacija u cilju poboljšanja sličnosti maske s izvornom slikom. Model prolazi kroz taj ciklus jednom za sve izvorne slike, a onda ga ponavlja. Koliko to vremena traje, ovisi o jačini računala koje se koristi.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmi

Zadnji eksperiment. Kako različiti algoritmi reagiraju na određene uvjete?

Za ovaj eksperiment sami smo kreirali i izvorni i ciljani video. Metode algoritma jasno su vidljive. H128 kreira kvadratnu masku, dok se SAEHD bolje podudara s licem.

Arthur

Andrej

Tehnički detalji

Od ova dva modela, H128 je jednostavniji. Kvalitetne rezultate postiže brže. Preciznija maska SAEHD modela bolje se nosi s rukom i stapa se s osvjetljenjem. Čini se da je H128 bolje istreniran za kreiranje lica: maska je oštrija, stabilnija i daje bolje rezultate kod kretnji i promjena u perspektivi. Međutim, stručnjaci kažu da će uz dulji trening SAEHD nadići H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Osvijestite se

Pogledajmo što se doista događa s deepfake video snimkama.

Osvijestite se: deepfakes mogu biti kvalitetni i teško prepoznatljivi. Osim za zamjenu lica, mogu se koristiti i za animaciju lica – što stvara privid da je neka osoba nešto izjavila, a nije.

Tehnički detalji

Animacija lica zahtijeva mnogo više računalnog kapaciteta i mnogo ju je teže prepoznati. Mnogi izazovi koje postavljaju izvorne video snimke ne vrijede kad je riječ o animaciji, no algoritmi se ponašaju na sličan način. Rekreirani dijelovi lica bit će malo zamućeni i imat će manje detalja.

Također, obratite pažnju na audio i provjerite ima li nedostataka u sinkronizaciji zvuka i kretnji ustiju. Uz uvid stečen na ovim web stranicama, razmislite je li izgledno da je neki video zapravo ciljani video te jesu li uvjeti prikladni za mogući deepfake. Ako posumnjate da se radi o deepfake videu, uvijek provjerite odakle on dolazi.

Ovdje se nalazi praktičan sažetak vještina koje ste stekli na ovoj web stranici kako biste mogli sami analizirati video snimke.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0