Restarting the experience

Deep

fake

Lab

Razkrivamo skrivnosti o globokih ponaredkih.

Ugotovite, kako delujejo globoki ponaredki, in se jih naučite prepoznavati s pomočjo naših praktičnih raziskav in primerov s spleta.

01. Mali Tesla

Oglejmo si nekaj priljubljenih primerov s spleta.

Na videoposnetku je obraz otroka, prekrit z masko Elona Muska. Tovrstna zamenjava obrazov je najpogostejši primer globokega ponaredka. Podrobno poglejte: robovi niso ostri, razlikuje se tudi barva kože.

Tehnične podrobnosti

Vizualne pomanjkljivosti

Globoke ponaredke ustvarjajo računalniški programi, ki znajo poustvariti obraz, tako da analizirajo več slik iste osebe. Program nato prikrije obstoječi obraz na videoposnetku z novim – kot neke vrste digitalna maska. Primer si lahko ogledate na videoposnetku.

Obravnavani posnetek

Vir globokega ponaredka

02. Naredite si sami

To lahko poskusite tudi sami doma. Pokazali vam bomo, kako.

Globoke ponaredke lahko ustvarimo z domačim računalnikom, potrebujemo le zmogljivo grafično kartico. V videoposnetku je prikazan prvi preizkus, ki razkriva pomembnost uporabe ustreznih videoposnetkov.

Tehnične podrobnosti

Vizualne pomanjkljivosti

Slike, s pomočjo katerih se je učil algoritem, niso vsebovale primernih obraznih izrazov, da bi uspešno prikrile obraz Shie na videoposnetku, nezadostno je prikrit tudi njegov obrazni profil. Če nevronska mreža ni primerna, ne more ustvariti ustrezne obrazne maske. Na videoposnetku so denimo vidna tudi usta pod masko, zato je videti, kot da ima oseba dvojna usta.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

H64

Doseg projekta

200

/2000 Slike

106000

/268000 Termini

64

/128 Piksli

31

/63 Ure

03. Postopek

Kako torej ustvariti globok ponaredek?

Potrebujete dva videoposnetka: izvornega in ciljnega. Program se bo naučil uporabljati oba in iz izvornega ustvariti masko ter jo s pomočjo programske opreme za urejanje uporabiti na drugem posnetku.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

SAEHD

Doseg projekta

750

/2000 Slike

200000

/268000 Termini

128

/128 Piksli

48

/63 Ure




Obravnavani posnetek: The Devil Wears Prada | Andy's Interview

Izvorni

Nabor podatkov

Maska

Razporeditev

Ciljni

Objava

Izberite ciljni videoposnetek, na katerem želite prikriti obraz z masko. Svetujemo, da izberete statičen videoposnetek s stalno podlago.

04. Podatki za učenje algoritma

Kaj se zgodi, če programu posredujemo več vsebine? Bo to izboljšalo njegovo učinkovitost?

V eksperimentu sta programa uporabljala različno količino slik – tisti, ki je imel na voljo več virov obraznih informacij, je dosegel bistveno boljše rezultate in ustvaril boljšo masko.

Tehnične podrobnosti

V eksperimentu je bil uporabljen enak izvoren videoposnetek, a z različnim številom slik – oba modela sta za učenje uporabila enake nastavitve v studiu in enak cikel učenja na sliko, s tem da je imel en na voljo več časa in večji nabor podatkov. Algoritem, naučen z več slikami, lahko več kot očitno ustvari boljši rezultat, ki se bolje ujema s tarčo.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

SAEHD

Doseg projekta

200

/2000 Slike

200000

/20000

/268000 Termini

128

/128 Piksli

8

/63 Ure

Benedict Cumberbatch

Arthur

05. Socialna prevara

Kako dovzetni ste sami? Ali lahko ukrademo vsebino na vaših družbenih omrežjih in ustvarimo dober globok ponaredek?

Uporabili smo vse fotografije naše sodelavke na Facebooku in ustvarili globoki ponaredek. Na skoraj vseh izvornih fotografijah se smeji, zato algoritem ni mogel ustvariti maske, na kateri je videti resna.

Natalie Portman

Pilar

Tehnične podrobnosti

Vizualne pomanjkljivosti

Video vsebuje veliko več obraznih nians kot slike, ki smo jih vzeli s Facebooka. Fotografije, ki jih je sodelavka objavila na socialnih omrežjih, je izbrala sama, zato niso dovolj raznolike, da bi lahko z njimi realistično poustvarili obrazne izraze med govorom. Boljše tehnologije morda lahko ustvarijo takšne obrazne izraze, a je praktično nemogoče ustvariti nekaj prepričljivega, če nimamo dovolj raznovrstnega izvornega materiala.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

SAEHD

Doseg projekta

165

/2000 Slike

215000

/268000 Termini

128

/128 Piksli

44

/63 Ure

06. Izbira tarče

Videli smo, kako pomemben je vir pri učenju algoritma. Kaj pa ciljni videoposnetek?

Kljub dobremu viru je vseeno težko ustvariti globoki ponaredek. Indiana Jones vključuje kaotične posnetke. V primerjavi z jasnejšimi posnetki, ki smo jih uporabili prej, ima algoritem težave s sledenjem.

Tehnične podrobnosti

Vizualne pomanjkljivosti

Globoki ponaredek smo izvozili z resolucijo 64 pikslov. Nižja ločljivost pomeni, da je algoritem potreboval manj časa za učenje – model se je moral naučiti ustvariti sliko z nizko ločljivostjo, kar pa se v posnetkih od blizu tudi opazi.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

SAEHD

Doseg projekta

1400

/2000 Slike

100000

/268000 Termini

64

/128 Piksli

8

/63 Ure

Harrison Ford

Andrej

07. Ne spreglejte

Včasih se dva preprosto spojita. V tem videoposnetku tarča celo oponaša svoj novi obraz.

Globoki ponaredek je bil ustvarjen iz izseka pogovorne oddaje, v kateri Bill Hader oponaša Arnolda Schwarzeneggerja. Zaradi uporabe primernega izvornega gradiva slednjega je rezultat prepričljiv.

Bill Hader

Arnold Schwarzenegger

Tehnične podrobnosti

Vizualne pomanjkljivosti

Prikrivanje obraza, barva kože in resolucija so zelo dobri. Na oddaljenem posnetku težko najdemo zameglitev. Predelava je narejena profesionalno. Edina pomanjkljivost je, ko Bill Hader premakne prst pred svoj obraz in ta izgine za masko. Razlika v ostrosti in kot prsta namigujeta, da je avtor želel prikriti učinek v predelavi.

08. Čas je pomemben

Kaj se zgodi, če dovolimo algoritmu daljše učenje na izvorni vsebini? So rezultati boljši?

V preizkusu je imel en model za učenje na voljo štiri, drugi pa 48 ur. Slednji je poustvaril podrobnejše obrazne poteze in bolj tridimenzionalen obraz.

Tehnične podrobnosti

Učenje je povezano s tem, kolikokrat je algoritem procesiral neko sliko. Proces zajema ustvarjanje obraza (ali digitalne maske), ki se jo nato primerja z izvorno sliko, nazadnje pa še prilagodi in tako izboljša podobnost med masko in izvorom. Model naenkrat naredi cel cikel za vse izvorne slike, potem pa začne znova. Čas, ki ga pri tem porabi, je odvisen od moči računalnika.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

SAEHD

Doseg projekta

400

/400

/2000 Slike

20000

/268000 Termini

128

/128 Piksli

4

/48

/63 Ure

09. Algoritmi

Še zadnji eksperiment. Kako se različni algoritmi odzivajo na določene pogoje?

Za eksperiment smo sami ustvarili tako izvorni kot tudi ciljni videoposnetek. Metode algoritma so več kot očitne. H128 ustvari kvadratno masko, medtem ko se SAEHD bolje ujema z obrazom.

Arthur

Andrej

Tehnične podrobnosti

H128 je enostavnejši model in hitreje doseže kakovostne rezultate. Bolj podrobna maska, ki jo ustvari model SAEHD, pa se bolje ujema z roko in svetlobo. Zdi se, da je H128 boljši pri oblikovanju obraza: maska je ostrejša in stabilna ter deluje bolje pri gibanju in spremembah perspektive. Kljub temu pa strokovnjaki menijo, da bi SAEHD z več učenja prekosil H128.

Algoritem

Velikost nabora podatkov

Število iteracij

Izhodna ločljivost

Čas strojnega učenja

SAEHD

H128

Doseg projekta

500

/500

/2000 Slike

150000

/150000

/268000 Termini

128

/128 Piksli

24

/40

/63 Ure

10. Zavedajte se

Poglejmo, kaj se resnično dogaja z globokimi ponaredki videoposnetkov.

Globoki ponaredki so lahko visokokakovostni in težko prepoznavni. Čeprav smo se osredotočili na zamenjave obraza, jih lahko uporabimo tudi za rekonstrukcijo – ustvarimo učinek, kot da oseba govori.

Tehnične podrobnosti

Poustvarjanje obraza zahteva veliko več računske moči, a jo je veliko težje prepoznati. Številne težave, ki jih prinašajo izvorni videoposnetki, niso vezane na poustvarjanje, čeprav algoritem deluje na podoben način. Ponovno ustvarjeni deli obraza so zamegljeni in manj podrobni.

Bodite pozorni tudi na zvok in pomanjkljivosti ali težave s sinhronizacijo ustnic. Z vpogledom, ki ste ga dobili na tej spletni strani, se vprašajte, ali je videoposnetek res ciljni in ali obstajajo pogoji za ustvarjanje globokega ponaredka. Če ste v dvomih, vedno preverite vir videoposnetka.

Tukaj je priročen povzetek spretnosti, ki ste jih pridobili na tej spletni strani. Z njimi lahko videoposnetke preverjate tudi sami.

Vsi izvorni globoki ponaredki v tem projektu so bili ustvarjeni z odprtokodno programsko opremo DeepFaceLab v10.1 podjetja Iperov pod Splošno javno licenco GNU v3.0.