Restarting the experience
Otkrijte kako deepfake funkcionira i vizuelne znakove pomoću kojih ga možete prepoznati kroz priče iz našeg praktičnog istraživanja i primjere iz svih krajeva interneta.
U ovom snimku, lice bebe je prekriveno licem Elona Muska. Ovakva zamjena lica je najčešća upotreba deepfakea. Pogledajte pažljivo: ivice nisu oštre i boja kože je drugačija.
Tehnički detalji
Vizuelni nedostaci
Razlika u boji kože: Boja kože maske i stvarnog lica se ne podudara. Lice izgleda kao da ima nekoliko nijansi boja s jasnim rubovima ili mrljama.
Deepfake kreira kompjuterski program koji sam može naučiti kako rekreirati nečije lice analiziranjem velikog broja slika te osobe. Program zatim umeće lice koje je rekreiralo u postojeći videozapis – nešto poput digitalne maske. Tragove takve maske možete vidjeti u ovom snimku.
Target Video
Deepfaked Video
Ciljni snimak za deepfake: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Izvorni snimak za deepfake: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Deepfake se može napraviti i na kućnom računaru, ali trebat će vam moćna grafička kartica. Ovaj video je naš prvi pokušaj koji pokazuje zašto je važno koristiti odgovarajuće izvorne snimke.
Shia LaBeouf
Pilar
Ciljni videosnimak: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Tehnički detalji
Vizuelni nedostaci
Razlika u boji kože: Boja kože maske i stvarnog lica se ne podudara. Lice izgleda kao da ima nekoliko nijansi boja s jasnim rubovima ili mrljama.
Razlika u boji kože: Postoji razlika u boji kože između maske i ciljnog lica. Lice izgleda kao da je prekriveno slojem boja, s vidljivim rubovima ili mrljama.
Vidljivi rubovi: Rubovi maske su vidljivi kao oštra ili mutna ivica oko lica.
Slike korištene za obuku algoritma nisu sadržavale prave izraze lica da pokriju Shijino lice u videu niti su sadržavale snimke njegovog lica iz profila. Ako neuronska mreža nije obučena za ove situacije, ne može napraviti preciznu digitalnu masku. Obratite pažnju kako se Shijina usta pojavljuju ispod maske pa na snimku ima dvoje usta.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Trebaju vam dva snimka: izvorni i ciljni. Program će naučiti da koristi oba i na osnovu izvornog snimka kreirati masku koja se može umetnuti u ciljni video pomoću softvera za uređivanje.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Originalni ciljni snimak: The Devil Wears Prada
| Andy's Interview
Original
Skup podataka
Maska
Poravnanje
Deepfake
Naknadno uređivanje
Odaberite ciljni snimak u koji želite umetnuti lice. Za bolje rezultate odaberite snimak bez puno pomjeranja s nepomičnom pozadinom.
Snimite skup podataka za lice koje želite umetnuti (izvor) s najpribližnijim mogućim osvjetljenjem i izrazima lica.
Sakrijte lica drugih osoba u ciljnom videozapisu, u suprotnom će ih algoritam prepoznati, što može poremetiti proces vježbanja.
Algoritam će isjeći lica da bi ih mogao koristiti za obuku i sačuvati njihove položaje da bi kasnije precizno umetnuo masku.
Algoritam generira masku lica iz izvornog snimka koju zatim možete umetnuti u ciljni snimak.
Softver za uređivanje videozapisa vam omogućava da bolje uklopite masku i dotjerate konačni rezultat.
U ovom eksperimentu, dva programa su dobila različit broj slika. Više izvornog materijala jasno poboljšava rezultat. Model je imao više informacija o licu i mogao je razviti bolju masku.
Tehnički detalji
Eksperiment je urađen s istim izvornim videom koji je izvezen u dvije različite brzine kadrova – oba modela su uvježbana s potpuno istim studijskim postavkama. Broj ciklusa vježbi po slici je jednak, ali je vrijeme vježbe bilo duže s većim skupom podataka. Jasno možete vidjeti da algoritam uvježban s većim brojem slika može proizvesti profinjeniji rezultat koji bolje odgovara ciljnom snimku.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Originalni ciljni snimak: Sherlock | The Reichenbach Fall | Rooftop Showdown
Uzeli smo sve slike članice našeg tima s Facebooka i napravili deepfake. Na gotovo svim izvornim slikama ona se smiješila, tako da algoritam nije mogao generirati masku bez osmijeha.
Natalie Portman
Pilar
Originalni ciljni snimak: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Tehnički detalji
Vizuelni nedostaci
Mutno lice: Maska je mutna. Postoji razlika u oštrini ili rezoluciji između maske i ostatka videa.
Razlika u boji kože: Postoji razlika u boji kože između maske i ciljnog lica. Lice izgleda kao da je prekriveno slojem boja, s vidljivim rubovima ili mrljama.
Rubovi profila: Bočni izgled lica ne izgleda prirodno. Deepfake maska je isprekidana, ima manje detalja ili nije dobro poravnata.
Videosnimci sadržavaju mnogo više izraza lica od slika koje smo preuzeli s Facebooka. Članica našeg tima je sama izabrala fotografije objavljene na društvenim mrežama i stoga nedostaju slike potrebne za stvaranje realističnih izraza lica za govor. Iako bi bolje tehnologije mogle proizvesti izraze lica, bez raznolikog izvornog materijala, nije moguće stvoriti nešto uvjerljivo.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Čak i s dobrim izvorom može biti teško napraviti deepfake. Indiana Jones sadržava haotične kadrove. U poređenju s čišćim videima koje smo prethodno koristili, algoritmu je sada teško držati korak.
Tehnički detalji
Vizuelni nedostaci
Mutno lice: Maska je mutna. Postoji razlika u oštrini ili rezoluciji između maske i ostatka videa.
Efekat treperenja: Vidi se treperenje originalnog i deepfake lica. Algoritam ne može prepoznati lice i privremeno prestaje kreirati masku.
Pogrešna perspektiva: Deepfake ima drugačiju perspektivu nego ostatak videozapisa. Izvorni i ciljni snimak imaju različite fokalne daljine.
Deepfake je izvezen u rezoluciji od 64 px. Niža rezolucija znači da je bilo potrebno manje vremena za obuku algoritma, jer je model samo morao naučiti kako da kreira sliku niske rezolucije. Na krupnim kadrovima lica, niska rezolucija je očigledna.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Originalni ciljni snimak: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Ovaj deepfake je napravljen od isječka talk showa u kojem Bill Hader imitira Arnolda Schwarzeneggera. Rezultati su uvjerljivi jer je za Arnolda Schwarzeneggera korišten odgovarajući izvorni materijal.
Bill Hader
Arnold Schwarzenegger
Originalni ciljni snimak: Bill Hader Presents: Schwarzenegger Baby
Izvorni snimak za deepfake: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Tehnički detalji
Vizuelni nedostaci
Zaklanjanje licem: Kada predmeti prolaze ispred lica, maska se izobličava ili prekriva predmet.
Stapanje lica, ton kože i rezolucija su vrlo dobri. Kadar iz daljine otežava da vidimo eventualno zamućenje. Postprodukcija je odrađena stručno. Jedina greška je kada Bill Hader pomakne prst ispred lica i on nestane iza maske. Razlika u oštrini i uglu prsta sugerira da je kreator pokušao da sakrije efekat u postprodukciji.
Za ovaj eksperiment jedan model je vježbao četiri sata, a drugi 48. Rezultati 48-satnog modela su pokazali poboljšane detalje lica i trodimenzionalnije lice.
Tehnički detalji
Vrijeme vježbanja je povezano s brojem puta koji algoritam obrađuje slike. Proces obuhvata kreiranje lica (ili digitalne maske), poređenje s izvornom slikom, a zatim prilagođavanje kako bi se poboljšala sličnost maske s izvorom. Model prolazi kroz ovaj ciklus jednom za sve izvorne slike, a zatim počinje ponovo. Potrebno vrijeme zavisi od snage računara.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Originalni ciljni snimak: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Za ovaj eksperiment smo sami kreirali i izvorni i ciljni video. Metode algoritma su jasno vidljive. H128 stvara kvadratnu masku dok SAEHD bolje imitira lice.
Arthur
Andrej
Tehnički detalji
H128 je lakši od ova dva modela. Brže postiže kvalitetne rezultate. Preciznija maska modela SAEHD bolje obrađuje ruku i stapanje s osvjetljenjem. Čini se da je H128 bolje uvježban da napravi lice: maska je oštrija, stabilnija i bolje se ponaša prilikom kretanja i promjena perspektive. Međutim, stručnjaci kažu da s više vremena za vježbu SAEHD daje bolje rezultate nego H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Budite na oprezu: deepfake može biti kvalitetan i teško uočljiv. Iako smo se fokusirali na zamjenu lica, deepfake se može koristiti i za rekonstrukciju lica tako da izgleda kao da je neko nešto rekao.
Tehnički detalji
Rekonstrukcija lica zahtijeva mnogo moćniji računar, ali je mnogo teže prepoznati. Mnogi problemi s izvornim snimcima se ne odnose na rekonstrukciju, ali algoritam funkcionira na sličan način. Rekreirani dijelovi lica su blago mutni i manje detaljni.
Obratite pažnju i na zvuk i potražite nedostatke ili probleme sa sinhronizacijom usana. Koristeći sve što ste naučili na ovoj web stranici, zapitajte se koliko je vjerovatno da neki snimak bude predmet deepfakea i jesu li uslovi pogodni za mogući deepfake. Ako ste u nedoumici, uvijek provjerite izvor videa.
Izvorni snimak za deepfake: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.