Restarting the experience
Otkrijte kako funkcionišu deepfake softveri i vizuelna pomagala koja možete koristiti da biste ih identifikovali, kroz priče o našim praktičnim istraživanjima i primerima sa interneta.
Pogledajmo popularan primer sa interneta. U ovom videu, bebino lice je prekriveno licem Elona Maska. Ova vrsta zamene lica je najčešća upotreba deepfake softvera. Pogledajte pažljivo: ivice nisu oštre i boja kože je drugačija.
Tehnički detalji
Vizuelne mane
Neslaganje u boji kože: Postoji razlika u nijansi boje kože između maske i ciljanog lica. Čini se da je lice prekriveno slojem boja koje pokazuju ivice ili mrlje.
Deepfake se kreira pomoću kompjuterskog programa koji može sam da nauči kako da ponovo kreira lice analizirajući brojne slike jedne iste osobe. Program zatim prekriva lice koje je ponovo kreirao na postojeći video – nešto poput digitalne maske. Tragove takve maske možete videti u ovom videu:
Ciljni video
Video izvor
Deepfake ciljni video: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Deepfake video izvor: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Deepfake video snimci se mogu napraviti na kućnim računarima, ali vam je potrebna zaista moćna grafička kartica. Ovaj video pokazuje našu prvu probu koja otkriva zašto je važno koristiti odgovarajuće izvorne video zapise.
Shia LaBeouf
Pilar
Ciljani video izvor: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Tehnički detalji
Vizuelne mane
Nepodudaranje nijansi boje kože: Postoji razlika u nijansi boje kože između maske i ciljanog lica. Lice izgleda kao da je prekriveno slojem boja, vidljivim ivicama ili mrljama.
Izrazi lica koji se ne podudaraju: Izrazi na deepfake licu ne odgovaraju ciljanom licu. Crte lica nisu prirodne, nevidljive su, zamagljene ili replicirane.
Vidljive ivice: Ivice maske su vidljive, bilo kao oštre ili zamagljene ivice koje okružuju lice.
Slike koje su korišćene za obradu algoritma nisu sadržale prave izraze lica da pokriju Šajino lice u videu, niti su sadržale snimke njegovog lica u profilu. Ako neuronska mreža nije dizajnirana za ovakve situacije, ne može se proizvesti tačna digitalna maska. Obratite pažnju na to kako se Šajina usta pojavljuju ispod maske, kao da ima dva para usta.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Potrebna su dva video snimka: izvorni i ciljni. Program će obraditi sam sebe koristeći oba i stvoriti masku od izvornog videa koja se može preklopiti na ciljni video pomoću softvera za montiranje.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Originalni ciljni video: The Devil Wears Prada
| Andy's Interview
Original
Skup podataka
Maska
Usklađivanje
Deepfake
Objava
Izaberite ciljni video na koji želite da umetnete lice. Odabir statičnog video zapisa sa doslednom pozadinom daće vam bolji rezultat.
Snimite skup podataka za lice koje želite da postavite (izvor), u skladu sa osvetljenjem i izrazima koliko god to bilo moguće.
Prekrijte lica drugih ljudi u ciljanom videu, inače će ih algoritam pokupiti i zbuniti proces obrade.
Algoritam će izrezati lica kako bi mogao da ih koristi za obradu i sačuvaće njihov položaj da bi se nakon toga tačno prekrila maska.
Algoritam generiše masku lica iz izvornog videa, koju zatim treba da uskladite sa ciljnim video snimkom.
Softver za montiranje snimaka će vam omogućiti da bolje uklopite masku i precizirate konačni rezultat.
U ovom eksperimentu, dva programa su dobila različiti broj slika. Više izvornog materijala naravno poboljšava rezultat. Model je imao više informacija o licu i mogao je da razvije bolju masku.
Tehnički detalji
Ovaj eksperiment je urađen sa istim izvornim video zapisom izvezenim sa dve različite brzine kadrova – oba modela su obrađena sa potpuno istim studijskim podešavanjem. Količina ciklusa obrade po slici je jednaka, ali je vreme obrade bilo duže sa većim brojem podataka. Jasno možete videti da algoritam obrađen sa više slika može proizvesti jasniji rezultat koji bolje odgovara cilju.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Originli ciljni video: Sherlock | The Reichenbach Fall | Rooftop Showdown
Preuzeli smo sve slike sa Fejsbuk profila jedne od članova našeg tima i napravili deepfake. Ona se osmehuje u skoro svim izvornim slikama, tako da algoritam nije mogao da generiše masku na kojoj se ne smeje.
Natalie Portman
Pilar
Originalni ciljni video: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Tehnički detalji
Vizuelne mane
Zamagljeno lice: Maska je zamagljena. Postoji razlika u oštrini ili rezoluciji između maske i ostatka videa.
Izrazi lica koji se ne podudaraju: Izrazi deepfake-u ne odgovaraju ciljanom licu. Crte lica se ne ponašaju prirodno i nevidljive su, zamagljene ili replicirane.
Granice profila: Pogled iz profila izgleda pogrešno. Deepfake je netačan, manje detaljan ili je pogrešno usklađen.
Video sadrži mnogo više nijansi lica od slika koje smo preuzeli sa Fejsbuka. Fotografije članice našeg tima na društvenim mrežama su samo-odabrane i stoga im nedostaje ona vrsta slika koja je potrebna za stvaranje realističnih izraza lica za govor. Iako bi bolje tehnologije mogle da proizvedu izraze lica, nemoguće je stvoriti nešto ubedljivo bez raznovrsnog izvornog materijala.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Čak i sa dobrim izvorom, teško je stvoriti deepfake. Indijana Džouns sadrži haotične kadrove. U poređenju sa jasnijim snimcima koje smo ranije koristili, algoritam sada ima poteškoća da održi korak s nama.
Tehnički detalji
Vizuelne mane
Zamagljeno lice: Maska je zamagljena. Postoji razlika u oštrini ili rezoluciji između maske i ostatka videa.
Efekat treperenja: Postoji treperenje između originalnog i deepfake lica. Algoritam ne može da prepozna lice i na trenutak prestaje da pravi masku.
Pogrešna perspektiva: Deepfake ima drugačiju perspektivu od ostatka videa. Izvorni i ciljani video se razlikuju po žižnoj daljini.
Deepfake je urađen u rezoluciji od 64 piksela. Niža rezolucija znači da je bilo potrebno manje vremena za obradu algoritma, jer je model morao samo da nauči kako da kreira sliku niske rezolucije. Na snimcima lica izbliza, niska rezolucija je očigledna.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Originalni ciljani video: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Ovaj deepfake video je napravljen od snimka iz dela televizijske emisije gde Bil Hejder imitira Arnolda Švarcenegera. Pošto je koristešćen odgovarajući izvorni materijal za Arnolda Švarcenegera, rezultati su bili ubedljivi.
Bill Hader
Arnold Schwarzenegger
Originalni ciljani video: Bill Hader Presents: Schwarzenegger Baby
Izvor deepfake videa: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Tehnički detalji
Vizuelne mane
Okluzija lica: Kada predmeti prolaze ispred lica, maska izobličava ili pokriva predmet.
Stapanje lica, nijansa boje kože i rezolucija su veoma dobri. Daleki snimak otežava uočavanje bilo kakvog zamućenja. Postprodukcija je odrađena stručno. Jedino što ga odaje je trenutak kada Bil Hejder pomeri prst ispred svog lica, a prst nestane iza maske. Razlika u oštrini i uglu prsta sugeriše da je kreator pokušao da sakrije efekat u postprodukciji.
Za ovaj eksperiment, jedan model je rađen četiri sata, a drugi 48. Rezultati 48-satnog modela pokazali su poboljšane detalje lica i trodimenzionalnije lice.
Tehnički detalji
Vreme obrade je povezano sa brojem puta koji algoritam obrađuje slike. Proces uključuje kreiranje lica (ili digitalne maske), upoređivanje sa izvornom slikom, a zatim prilagođavanje kako bi se poboljšala sličnost maske sa izvorom. Model prolazi kroz ovaj ciklus jednom za sve izvorne slike, a zatim počinje ponovo. Vreme koje je potrebno zavisi od snage računara koji se koristi.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Originalni ciljani video: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Za ovaj eksperiment, sami smo kreirali i izvorni i ciljni video. Metode algoritma su jasno vidljive. H128 stvara kvadratnu masku, dok SAEHD bolje odgovara licu.
Arthur
Andrej
Tehnički detalji
H128 je laganiji model od ova dva. Brže postiže kvalitetne rezultate. Preciznija maska SAEHD je bolja u radu sa rukom i stapanju sa osvetljenjem. Čini se da je H128 bolje dizajniran da napravi lice: maska je oštrija, stabilnija i bolje se ponaša sa pokretima i promenama perspektive. Međutim, stručnjaci kažu da će nakon duže vremena obrade SAEHD nadmašiti H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Budite oprezni: deepfake snimci mogu biti visokog kvaliteta i teško ih je uočiti. Iako smo se fokusirali na zamenu lica, deepfake-ovi se takođe mogu koristiti za rekonstrukciju lica – tako da izgleda kao da je osoba nešto rekla.
Tehnički detalji
Rekonstrukcija lica zahteva mnogo više računarske snage, ali ju je mnogo teže prepoznati. Mnogi izazovi koje predstavljaju izvorni video snimci ne odnose se na rekonstrukciju, ali algoritam deluje na sličan način. Rekreirani delovi lica biće blago zamućeni i sa manje detalja.
Takođe, obratite pažnju na zvuk i potražite nedostatke ili probleme sa sinhronizacijom usana. Koristeći uvid koji ste naučili na ovom veb sajtu, zapitajte se da li će video biti moguća meta i da li su uslovi pogodni za mogući deepfake. Ako ste u nedoumici, uvek proverite izvor video snimka.
Deepfake izvorni video: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.