Restarting the experience
Ugotovite, kako delujejo globoki ponaredki, in se jih naučite prepoznavati s pomočjo naših praktičnih raziskav in primerov s spleta.
Na videoposnetku je obraz otroka, prekrit z masko Elona Muska. Tovrstna zamenjava obrazov je najpogostejši primer globokega ponaredka. Podrobno poglejte: robovi niso ostri, razlikuje se tudi barva kože.
Tehnične podrobnosti
Vizualne pomanjkljivosti
Neujemanje barve kože: Barva kože pri maski in dejanski osebi na posnetku je različna. Obraz je prikrit s sloji barv, vidni so madeži ali robovi.
Globoke ponaredke ustvarjajo računalniški programi, ki znajo poustvariti obraz, tako da analizirajo več slik iste osebe. Program nato prikrije obstoječi obraz na videoposnetku z novim – kot neke vrste digitalna maska. Primer si lahko ogledate na videoposnetku.
Obravnavani posnetek
Vir globokega ponaredka
Obravnavani posnetek: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Izvorni globoki ponaredek: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Globoke ponaredke lahko ustvarimo z domačim računalnikom, potrebujemo le zmogljivo grafično kartico. V videoposnetku je prikazan prvi preizkus, ki razkriva pomembnost uporabe ustreznih videoposnetkov.
Shia LaBeouf
Pilar
Obravnavani posnetek: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Tehnične podrobnosti
Vizualne pomanjkljivosti
Neujemanje barve kože: Barva kože pri maski in dejanski osebi na posnetku je različna. Obraz je prikrit s sloji barv, vidni so madeži ali robovi.
Neujemanje obraznih izrazov: Obrazni izrazi globokega ponaredka se ne ujemajo z izvornim. Obrazne poteze niso videti naravno in so slabo vidne, zamegljenje ali replicirane.
Vidni robovi: Robove maske prepoznamo po ostrih ali zamegljenih robovih, ki obkrožajo obraz.
Slike, s pomočjo katerih se je učil algoritem, niso vsebovale primernih obraznih izrazov, da bi uspešno prikrile obraz Shie na videoposnetku, nezadostno je prikrit tudi njegov obrazni profil. Če nevronska mreža ni primerna, ne more ustvariti ustrezne obrazne maske. Na videoposnetku so denimo vidna tudi usta pod masko, zato je videti, kot da ima oseba dvojna usta.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
H64
Doseg projekta
200
/2000 Slike
106000
/268000 Termini
64
/128 Piksli
31
/63 Ure
Potrebujete dva videoposnetka: izvornega in ciljnega. Program se bo naučil uporabljati oba in iz izvornega ustvariti masko ter jo s pomočjo programske opreme za urejanje uporabiti na drugem posnetku.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
SAEHD
Doseg projekta
750
/2000 Slike
200000
/268000 Termini
128
/128 Piksli
48
/63 Ure
Obravnavani posnetek: The Devil Wears Prada
| Andy's Interview
Izvorni
Nabor podatkov
Maska
Razporeditev
Ciljni
Objava
Izberite ciljni videoposnetek, na katerem želite prikriti obraz z masko. Svetujemo, da izberete statičen videoposnetek s stalno podlago.
Posnemite analizo obraza, ki ga želite namestiti na izvorni videoposnetek. Bodite čim bolj pozorni na ujemanje svetlobe in obraznih izrazov.
Algoritem bo obravnaval vse obraze na videoposnetku, kar zna zmanjšati njegovo učinkovitost – izberite samo enega, ostale pa zakrijte ter tako izboljšajte njegovo natančnost.
Algoritem bo s posnetka izrezal obraze in shranil njihov položaj, s čimer bo lahko potem učinkovito prekril obraz z masko.
Algoritem iz izvornega posnetka ustvari masko, ki jo morate potem ustrezno namestiti na ciljni videoposnetek.
Programska oprema za urejanje videoposnetkov omogoča, da lahko izostrite ujemanje maske in tako izboljšate svoj končni izdelek.
V eksperimentu sta programa uporabljala različno količino slik – tisti, ki je imel na voljo več virov obraznih informacij, je dosegel bistveno boljše rezultate in ustvaril boljšo masko.
Tehnične podrobnosti
V eksperimentu je bil uporabljen enak izvoren videoposnetek, a z različnim številom slik – oba modela sta za učenje uporabila enake nastavitve v studiu in enak cikel učenja na sliko, s tem da je imel en na voljo več časa in večji nabor podatkov. Algoritem, naučen z več slikami, lahko več kot očitno ustvari boljši rezultat, ki se bolje ujema s tarčo.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
SAEHD
Doseg projekta
200
/2000 Slike
200000
/20000
/268000 Termini
128
/128 Piksli
8
/63 Ure
Benedict Cumberbatch
Arthur
Izvorni ciljni videoposnetek: Sherlock | The Reichenbach Fall | Rooftop Showdown
Uporabili smo vse fotografije naše sodelavke na Facebooku in ustvarili globoki ponaredek. Na skoraj vseh izvornih fotografijah se smeji, zato algoritem ni mogel ustvariti maske, na kateri je videti resna.
Natalie Portman
Pilar
Izvorni ciljni videoposnetek: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Tehnične podrobnosti
Vizualne pomanjkljivosti
Nejasen/meglen obraz: Maska je meglena. Obstaja razlika med ostrostjo ali ločljivostjo maske in ostalim videoposnetkom.
Neujemanje obraznih izrazov: Obrazni izrazi globokega ponaredka se ne ujemajo z originalnim. Obrazne poteze ne izgledajo naravno in so slabo vidne, zamegljenje ali replicirane.
Robovi profila: S strani obraz ne izgleda prepričljivo. Globoki ponaredek maske je poškodovan, manj podroben ali pa nepravilno prikrit.
Video vsebuje veliko več obraznih nians kot slike, ki smo jih vzeli s Facebooka. Fotografije, ki jih je sodelavka objavila na socialnih omrežjih, je izbrala sama, zato niso dovolj raznolike, da bi lahko z njimi realistično poustvarili obrazne izraze med govorom. Boljše tehnologije morda lahko ustvarijo takšne obrazne izraze, a je praktično nemogoče ustvariti nekaj prepričljivega, če nimamo dovolj raznovrstnega izvornega materiala.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
SAEHD
Doseg projekta
165
/2000 Slike
215000
/268000 Termini
128
/128 Piksli
44
/63 Ure
Kljub dobremu viru je vseeno težko ustvariti globoki ponaredek. Indiana Jones vključuje kaotične posnetke. V primerjavi z jasnejšimi posnetki, ki smo jih uporabili prej, ima algoritem težave s sledenjem.
Tehnične podrobnosti
Vizualne pomanjkljivosti
Nejasen/meglen obraz: Maska je meglena. Med ostrino ali ločljivostjo maske in ostalim videoposnetkom je razlika.
Učinek utripanja: Med izvornim obrazom in tistim v globokem ponaredku je vidno utripanje. Algoritem ne more prepoznati obraza in zato začasno preneha ustvarjati masko.
Napačna perspektiva: Globoki ponaredek ima drugačno perspektivo od preostalega videoposnetka. Izvorni in ciljni videoposnetek imata različno osrednjo dolžino.
Globoki ponaredek smo izvozili z resolucijo 64 pikslov. Nižja ločljivost pomeni, da je algoritem potreboval manj časa za učenje – model se je moral naučiti ustvariti sliko z nizko ločljivostjo, kar pa se v posnetkih od blizu tudi opazi.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
SAEHD
Doseg projekta
1400
/2000 Slike
100000
/268000 Termini
64
/128 Piksli
8
/63 Ure
Harrison Ford
Andrej
Izvorni ciljni videoposnetek: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Globoki ponaredek je bil ustvarjen iz izseka pogovorne oddaje, v kateri Bill Hader oponaša Arnolda Schwarzeneggerja. Zaradi uporabe primernega izvornega gradiva slednjega je rezultat prepričljiv.
Bill Hader
Arnold Schwarzenegger
Izvorni ciljni videoposnetek: Bill Hader Presents: Schwarzenegger Baby
Izvorni globoki ponaredek: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Tehnične podrobnosti
Vizualne pomanjkljivosti
Zakritost obraza: Ko se pred obrazom znajde predmet, ga maska popači ali prikrije.
Prikrivanje obraza, barva kože in resolucija so zelo dobri. Na oddaljenem posnetku težko najdemo zameglitev. Predelava je narejena profesionalno. Edina pomanjkljivost je, ko Bill Hader premakne prst pred svoj obraz in ta izgine za masko. Razlika v ostrosti in kot prsta namigujeta, da je avtor želel prikriti učinek v predelavi.
V preizkusu je imel en model za učenje na voljo štiri, drugi pa 48 ur. Slednji je poustvaril podrobnejše obrazne poteze in bolj tridimenzionalen obraz.
Tehnične podrobnosti
Učenje je povezano s tem, kolikokrat je algoritem procesiral neko sliko. Proces zajema ustvarjanje obraza (ali digitalne maske), ki se jo nato primerja z izvorno sliko, nazadnje pa še prilagodi in tako izboljša podobnost med masko in izvorom. Model naenkrat naredi cel cikel za vse izvorne slike, potem pa začne znova. Čas, ki ga pri tem porabi, je odvisen od moči računalnika.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
SAEHD
Doseg projekta
400
/400
/2000 Slike
20000
/268000 Termini
128
/128 Piksli
4
/48
/63 Ure
Constance Wu
Yueling
Originalni ciljni videoposnetek: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Za eksperiment smo sami ustvarili tako izvorni kot tudi ciljni videoposnetek. Metode algoritma so več kot očitne. H128 ustvari kvadratno masko, medtem ko se SAEHD bolje ujema z obrazom.
Arthur
Andrej
Tehnične podrobnosti
H128 je enostavnejši model in hitreje doseže kakovostne rezultate. Bolj podrobna maska, ki jo ustvari model SAEHD, pa se bolje ujema z roko in svetlobo. Zdi se, da je H128 boljši pri oblikovanju obraza: maska je ostrejša in stabilna ter deluje bolje pri gibanju in spremembah perspektive. Kljub temu pa strokovnjaki menijo, da bi SAEHD z več učenja prekosil H128.
Algoritem
Velikost nabora podatkov
Število iteracij
Izhodna ločljivost
Čas strojnega učenja
SAEHD
H128
Doseg projekta
500
/500
/2000 Slike
150000
/150000
/268000 Termini
128
/128 Piksli
24
/40
/63 Ure
Globoki ponaredki so lahko visokokakovostni in težko prepoznavni. Čeprav smo se osredotočili na zamenjave obraza, jih lahko uporabimo tudi za rekonstrukcijo – ustvarimo učinek, kot da oseba govori.
Tehnične podrobnosti
Poustvarjanje obraza zahteva veliko več računske moči, a jo je veliko težje prepoznati. Številne težave, ki jih prinašajo izvorni videoposnetki, niso vezane na poustvarjanje, čeprav algoritem deluje na podoben način. Ponovno ustvarjeni deli obraza so zamegljeni in manj podrobni.
Bodite pozorni tudi na zvok in pomanjkljivosti ali težave s sinhronizacijo ustnic. Z vpogledom, ki ste ga dobili na tej spletni strani, se vprašajte, ali je videoposnetek res ciljni in ali obstajajo pogoji za ustvarjanje globokega ponaredka. Če ste v dvomih, vedno preverite vir videoposnetka.
Izvorni globoki ponaredek: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.