Restarting the experience

Deep

fake

Lab

Razkritje skrivnosti o globokih ponaredkih.

Ugotovite, kako delujejo globoki ponaredki in se jih naučite prepoznavati s pomočjo naših praktičnih raziskav in primerov s spleta.

01. Mali Tesla

Oglejmo si nekaj popularnih primerov s spleta.

Na videoposnetku je obraz otroka prikrit z masko Elona Muska. Tovrstna zamenjava obrazov je najpogostejši primer globokega ponaredka. Poglejte bolje: robovi niso ostri, razlikuje se tudi barva kože.

Tehnične podrobnosti

Vizualne pomanjkljivosti

Globoke ponaredke ustvarjajo računalniški programi, ki znajo poustvariti obraz, tako da analizirajo več slik iste osebe. Program nato prikrije obstoječi obraz na videoposnetku z novim – kot neke vrste digitalna maska. Primer si lahko ogledate na videoposnetku.

Obravnavani posnetek

Vir globokega ponaredka

02. Naredite si sami

To lahko poizkusite tudi sami doma. Pokazali vam bomo, kako.

Globoke ponaredke lahko ustvarimo z domačim računalnikom, potrebujemo le zmogljivo grafično kartico. V videoposnetku je prikazan prvi preizkus, ki razkriva pomembnost uporabe ustreznih videoposnetkov.

Tehnične podrobnosti

Vizualne pomanjkljivosti

Slike, s pomočjo katerih se je učil algoritem, niso vsebovale primernih obraznih izrazov, da bi uspešno prikrile obraz Shie na videoposnetku, nezadostno je prikrit tudi njegov obrazni profil. Če nevronska mreža ni primerna, ne more ustvariti ustrezne obrazne maske. Na videoposnetku so denimo vidna tudi usta pod masko, zato je videti, kot da ima oseba dvojna usta.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Postopek

Kako torej ustvariti globok ponaredek?

Potrebujete dva videoposnetka: izvornega in ciljnega. Program se bo naučil uporabljati oba in iz izvornega ustvariti masko ter jo s pomočjo programske opreme za urejanje uporabiti na drugem posnetku.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Obravnavani posnetek: The Devil Wears Prada | Andy's Interview

Izvorni

Nabor podatkov

Maska

Razporeditev

Ciljni

Objava

Izberite ciljni videoposnetek, na katerem želite prikriti obraz z masko. Svetujemo, da izberete statičen videoposnetek s stalno podlago.

04. Podatki za urjenje algoritma

Kaj se zgodi, če programu posredujemo več vsebine? Bo to izboljšalo njegovo učinkovitost?

V eksperimentu sta programa uporabljala različno količino slik – tisti, ki je imel na voljo več virov obraznih informacij, je dosegel bistveno boljše rezultate in ustvaril boljšo masko.

Tehnične podrobnosti

V eksperimentu je bil uporabljen enak izvoren videoposnetek, a z različnim številom slik – oba modela sta za urjenje uporabila enake nastavitve v studiu in enak cikel urjenja na sliko, s tem da je imel en na voljo več časa in večji nabor podatkov. Algoritem, urjen z več slikami, lahko več kot očitno ustvari boljši rezultat, ki se bolje ujema s tarčo.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

Originalni ciljni videoposnetek: Sherlock | The Reichenbach Fall | Rooftop Showdown

05. Socialna prevara

Kako dovzetni ste sami? Ali lahko ukrademo vsebino na vaših družbenih omrežjih in ustvarimo dober globok ponaredek?

Uporabili smo vse Facebook fotografije naše sodelavke in ustvarili globok ponaredek. Na skoraj vseh izvornih fotografijah se smeji, zato algoritem ni mogel ustvariti maske, na kateri je videti resna.

Natalie Portman

Pilar

Tehnične podrobnosti

Vizualne pomanjkljivosti

Video vsebuje veliko več obraznih nians kot slike, ki smo jih vzeli iz Facebooka. Fotografije, ki jih je sodelavka objavila na socialnih omrežjih, je izbrala sama, zato niso dovolj raznolike, da bi lahko z njimi realistično poustvarili obrazne izraze med govorom. Boljše tehnologije morda lahko ustvarijo takšne obrazne izraze, a je praktično nemogoče ustvariti nekaj prepričljivega, če nimamo dovolj raznovrstnega izvornega materiala.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Izbira tarče

Videli smo, kako pomemben je vir pri urjenju algoritma. Kaj pa ciljni videoposnetek?

Kljub dobremu viru je vseeno težko ustvariti globok ponaredek. Indiana Jones vključuje kaotične posnetke. V primerjavi s čistimi posnetki, ki smo jih uporabili prej, ima algoritem težave s sledenjem.

Tehnične podrobnosti

Vizualne pomanjkljivosti

Globok ponaredek smo izvozili z resolucijo 64 px. Nižja resolucija pomeni, da je algoritem potreboval manj časa za urjenje – model se je moral naučiti ustvariti sliko z nizko resolucijo, kar pa se v posnetkih od blizu tudi opazi.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Ne spreglejte

Včasih se dva preprosto spojita. V tem videoposnetku tarča celo oponaša svoj novi obraz.

Globok ponaredek je bil ustvarjen iz izseka pogovorne oddaje, v kateri Bill Hader oponaša Arnolda Schwarzeneggerja. Zaradi uporabe primernega izvornega gradiva slednjega, je rezultat prepričljiv.

Bill Hader

Arnold Schwarzenegger

Tehnične podrobnosti

Vizualne pomanjkljivosti

Prikrivanje obraza, barva kože in resolucija so zelo dobri. Na oddaljenem posnetku težko najdemo zameglitev. Predelava je narejena profesionalno. Edina pomanjkljivost je, ko Bill Hader premakne prst pred svoj obraz in ta izgine za masko. Razlika v ostrosti in kot prsta namigujeta, da je avtor želel prikriti učinek v predelavi.

08. Čas je pomemben

Kaj se zgodi, če dovolimo algoritmu daljše urjenje na izvorni vsebini? Bo to izboljšalo rezultate?

V poizkusu je imel en model za urjenje na voljo štiri, drugi pa 48 ur. Slednji je ustvaril boljše obrazne podrobnosti in bolj tridimenzionalni obraz.

Tehnične podrobnosti

Urjenje je povezano s tem, kolikokrat je algoritem procesiral neko sliko. Proces zajema ustvarjanje obraza (ali digitalne maske), ki se jo nato primerja z izvorno sliko, nazadnje pa še prilagodi in tako izboljša podobnost med masko in virom. Model naenkrat naredi cel cikel za vse izvorne slike, potem pa začne znova. Čas, ki ga pri tem porabi, je odvisen od moči računalnika.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmi

Še zadnji eksperiment. Kako se različni algoritmi odzivajo na določene pogoje?

Za eksperiment smo sami ustvarili tako izvorni kot tudi ciljni videoposnetek. Metode algoritma so več kot očitne. H128 ustvari kvadratno masko, medtem ko se SAEHD bolje ujema z obrazom.

Arthur

Andrej

Tehnične podrobnosti

H128 je enostavnejši model in hitreje doseže kakovostne rezultate. Bolj podrobna maska, ki jo ustvari SAEHD, pa se bolje ujema z roko in svetlobo. Zdi se, da je H128 bolje usposobljen za oblikovanje obraza: maska je bolj ostra in stabilna ter deluje bolje pri gibanju in spremembah perspektive. Kljub temu pa strokovnjaki menijo, da bi SAEHD z več urjenja prekosil H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Zavedajte se

Poglejmo, kaj se resnično dogaja z globokimi ponaredki videoposnetkov.

Globoki ponaredki so lahko visokokakovostni in težko prepoznavni. Čeprav smo se osredotočili na zamenjave obraza, jih lahko uporabimo tudi za rekonstrukcijo – ustvarimo učinek, kot da oseba govori.

Tehnične podrobnosti

Obrazna obnova zahteva veliko več računalniške moči, a jo je veliko težje prepoznati. Številni izzivi, ki jih predstavljajo izvorni videoposnetki, niso povezani z obnovo, čeprav algoritem deluje na podoben način. Ponovno ustvarjeni deli obraza bodo zamegljeni in manj podrobni.

Bodite pozorni tudi na zvok in oprezajte za pomanjkljivostmi ali težave, povezane s sinhronizacijo ustnic. Z vpogledom, ki ste ga dobili na tej spletni strani, se vprašajte, ali je videoposnetek res ciljni in če obstajajo pogoji za ustvarjanje globokega ponaredka. Če ste v dvomih, vedno preverite vir videoposnetka.

Tukaj je priročen povzetek spretnosti, ki ste jih pridobili na tej spletni strani. Z njimi lahko videoposnetke preverjate tudi sami.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0