Sākt no jauna

Deep

fake

Lab

Dziļviltojumu noslēpuma atklāšana.

Uzziniet, kā darbojas dziļviltojumi un pēc kādiem vizuālajiem parametriem varat tos atpazīt, izmantojot mūsu praktisko pētījumu un piemērus no tīmekļvietnēm.

01. Tesla Baby

Aplūkosim kādu populāru piemēru no interneta

Videoierakstā bērna seja ir noslēpta aiz Īlona Maska sejas. Šāda veida sejas maiņa ir visizplatītākais dziļviltojuma izmantošanas veids. Aplūkojiet uzmanīgi: malas nav asas, un ādas krāsa atšķiras.

Tehniskā informācija

Vizuālie trūkumi

Dziļviltojumu rada, izmantojot datorprogrammu, kas, analizējot vairākus attēlus, spēj atveidot cilvēku sejas. Pēc tam programma uzliek atjaunoto seju esošajā videoierakstā – tā ir kā digitālā maska. Šādas maskas var redzēt šajā videoierakstā.

Mērķa videoieraksts

Videoieraksta avots

Dziļviltojuma mērķa videoieraksts: YouTube | AndrewSchrock | Cutest Baby Montage Ever.

Dziļviltojuma videoieraksta avots: YouTube | TheFakening | Baby Elon Musk Montage Deepfake

02. DARI PATS

To var izmēģināt arī mājās. Mēs parādīsim, kā tas iespējams.

Dziļviltojuma videoierakstus var izveidot ar mājas datoriem, taču ir nepieciešama jaudīga grafiskā karte. Šajā videoierakstā ir parādīts, kāpēc ir svarīgi izmantot piemērotus avota videoierakstus.

Shia LaBeouf

Pilar

Tehniskā informācija

Vizuālie trūkumi

Attēlos, kas tika izmantoti algoritma mācīšanai, nebija pareizu sejas izteiksmju, kas videoierakstā aizsegtu Šijas seju, kā arī tajā nebija kadru ar viņa seju profilā. Ja neironu tīklam šādas situācijas nav mācītas, tas nevar izveidot precīzu digitālo masku. Ievērojiet, kā Šijas mute parādās zem maskas, veidojot divas mutes.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Process

Kā izveidot dziļviltojumu?

Nepieciešami divi videoieraksti: avota un mērķa. Programma mācīs sevi, izmantojot abus videoierakstus, un izveidos masku, kas tiks pielikta mērķa videoierakstam, izmantojot rediģēšanas programmatūru.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Sākotnējais mērķa video: The Devil Wears Prada | Andy's Interview

Oriģināls

Datu kopa

Maska

Pielīdzināšana

Dziļviltojums

Pēcrediģēšana

Izvēlieties mērķa videoierakstu, kurā vēlaties ievietot seju. Izvēloties videoierakstu ar viendabīgu fonu, iegūsiet labāku rezultātu.

04. Mācību dati

Kas notiks, ja nodrošināsim programmai vairāk satura? Vai tas uzlabos rezultātu?

Šajā eksperimentā 2 programmām tika dots atšķirīgs attēlu skaits. Lielāks attēlu skaits acīmredzami uzlabo rezultātu. Modelim bija pieejama plašāka informācija, un tas varēja izveidot labāku masku.

Tehniskā informācija

Eksperiments tika veikts ar vienu un to pašu avota videoierakstu, kas tika eksportēts ar diviem dažādiem kadru ātrumiem, – abi modeļi tika mācīti, izmantojot tādus pašus iestatījumus. Mācību ciklu skaits uz vienu attēlu ir vienāds, bet mācību laiks bija ilgāks, izmantojot lielāku datu kopu. Algoritms, kas iekļāva vairāk attēlu, ieguva precīzāku rezultātu, kurš labāk atbilda noteiktajam mērķim.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Krāpniecība sociālajos tīklos

Cik aizsargāts jūs esat? Vai varam nozagt jūsu sociālo tīklu saturu un izveidot labu dziļviltojumu?

Paņēmām mūsu komandas biedrenes “Facebook” attēlus un uz to pamata izveidojām dziļviltojumu. Gandrīz visos avota attēlos viņa smaidīja, tāpēc algoritms nevarēja ģenerēt cita veida masku.

Natalie Portman

Pilar

Tehniskā informācija

Vizuālie trūkumi

Videoierakstā ir daudz vairāk nianšu nekā attēlos, ko paņēmām no “Facebook”. Mūsu komandas biedrenes fotoattēli sociālajos tīklos ir pašas atlasīti, tāpēc tajos trūkst tādu attēlu, kas nepieciešami, lai radītu reālistisku sejas izteiksmi runas vajadzībām. Lai gan ar labākām tehnoloģijām varētu radīt izteiksmīgāku mīmiku, bez daudzveidīga izejmateriāla nav iespējams radīt kaut ko pārliecinošu.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Mērķa ieraksta izvēle

Redzējām, cik svarīgs algoritma mācībās ir avota materiāls. Kā ir ar mērķa videoierakstu?

Pat ar labu avota ierakstu var būt grūti izveidot dziļviltojumu. “Indiana Džonss” satur haotiskus kadrus. Salīdzinot ar iepriekš izmantotajiem videoierakstiem, algoritmam tagad ir grūtāk tikt līdzi.

Tehniskā informācija

Vizuālie trūkumi

Dziļviltojums tika eksportēts ar izšķirtspēju 64 px. Zemāka izšķirtspēja nozīmē, ka algoritmam mācībām bija nepieciešams mazāk laika, jo modelim bija jāapgūst, kā izveidot zemas izšķirtspējas attēlu. Tuvplāna kadros ir skaidri redzama zema izšķirtspēja.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Nemirkšķiniet

Dažreiz abas sejas vienkārši saplūst kopā. Šajā videoierakstā mērķis pat atdarina savu jauno seju.

Šī dziļviltojuma videosižeta pamatā ir fragments no sarunu šova, kurā Bils Heiders atveido Arnoldu Švarcenegeru. Izmantojot piemērotu izejmateriālu ar Arnoldu Švarcenegeru, rezultāti bija pārliecinoši.

Bill Hader

Arnold Schwarzenegger

Tehniskā informācija

Vizuālie trūkumi

Sejas saplūšana, ādas tonis un izšķirtspēja ir ļoti laba. Attālajā kadrā ir grūti saskatīt, vai maska izplūst. Pēcapstrāde tika veikta meistarīgi. Vienīgā dziļviltojuma pazīme: kad Bils Heiders kustina pirkstu sejas priekšā, un tas pazūd aiz maskas. Atšķirība asumā un pirksta leņķis liecina, ka autors ir mēģinājis slēpt efektu, veicot pēcapstrādi.

08. Laikam ir nozīme

Kas notiks, ja ļausim algoritmam vairāk izmantot avota saturu? Vai rezultāti būs labāki?

Šajā eksperimentā viens modelis mācījās četras stundas, bet otrs – 48 stundas. 48 stundu modeļa rezultāti parādīja uzlabotas sejas izteiksmes un lielākas izšķirtspējas trīsdimensionālu sejas masku.

Tehniskā informācija

No mācību laiks ir atkarīgs tas, cik reižu algoritms apstrādā attēlus. Šajā procesā tiek izveidota seja (vai digitālā maska), tā tiek salīdzināta ar avota attēlu un pēc tam tiek veiktas korekcijas, lai uzlabotu maskas līdzību ar avotu. Modelis šo ciklu veic vienu reizi visiem avota attēliem un pēc tam sāk darbu no jauna. Tam nepieciešamo laiku nosaka izmantotā datora jauda.

Šajā eksperimentā viens modelis mācījās 4 stundas, bet otrs – 48. 48 stundu modelim parādījās detalizētāki sejas vaibsti un izteiktāks 3D efekts.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Algoritmi

Pēdējais eksperiments. Kā dažādi algoritmi reaģē uz noteiktiem apstākļiem?

Šajā eksperimentā paši izveidojām gan avota, gan mērķa videoierakstu. Algoritma metodes ir skaidri redzamas. H128 veido kvadrātveida masku, savukārt SAEHD labāk atbilst sejai.

Arthur

Andrej

Tehniskā informācija

H128 ir vieglākais no abiem modeļiem. Tas ātrāk sniedz kvalitatīvus rezultātus. Precīzākā SAEHD maska labāk tiek galā ar roku un pielāgošanos apgaismojumam. H128 ir labāk iemācīts veidot sejas masku: tā ir asāka, stabilāka un labāk darbojas kustību un perspektīvas izmaiņu gadījumā. Tomēr eksperti apgalvo, ka ar ilgāku mācību laiku SAEHD pārspēs H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Esiet vērīgi

Paskatīsimies, kas īsti notiek ar dziļviltojuma videoierakstiem.

Dziļviltojumi var būt augstas kvalitātes un grūti pamanāmi. Lai gan iepriekš mēs pievērsām uzmanību sejas maskām, dziļviltojumus var izmantot arī mīmikas atveidošanai – lai radītu iespaidu, ka persona kaut ko ir pateikusi.

Tehniskā informācija

Mīmikas atveidošana prasa daudz lielāku skaitļošanas jaudu, taču to ir daudz grūtāk atpazīt. Daudzas problēmas saistībā ar avota videoierakstiem uz mīmikas atveidošanu neattiecas, taču algoritms darbojas līdzīgi. Pārveidotās sejas daļas būs nedaudz izplūdušas un mazāk detalizētas.

Pievērsiet uzmanību skaņai/attēlam un meklējiet trūkumus. Izmantojot šajā vietnē iegūto informāciju, pārbaudiet, vai videoieraksts varētu būt mērķa ieraksts un vai tas nav dziļviltojums. Ja rodas šaubas, vienmēr pārbaudiet videoieraksta avotu.

Dziļviltojuma avota videoieraksts: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.

Šeit ir kopsavilkums par prasmēm, ko esat apguvis šajā vietnē, lai jūs pats varētu pārbaudīt videoierakstus.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0