Sākt no jauna
Uzziniet, kā darbojas dziļviltojumi un pēc kādiem vizuālajiem parametriem varat tos atpazīt, izmantojot mūsu praktisko pētījumu un piemērus no tīmekļvietnēm.
Videoierakstā bērna seja ir noslēpta aiz Īlona Maska sejas. Šāda veida sejas maiņa ir visizplatītākais dziļviltojuma izmantošanas veids. Aplūkojiet uzmanīgi: malas nav asas, un ādas krāsa atšķiras.
Tehniskā informācija
Vizuālie trūkumi
Ādas krāsas neatbilstība: Ja salīdzināt masku un īsto seju, tām ir atšķirīgs ādas tonis. Šķiet, seju klāj krāsas slānis, uz kura ir redzamas malas vai plankumi.
Dziļviltojumu rada, izmantojot datorprogrammu, kas, analizējot vairākus attēlus, spēj atveidot cilvēku sejas. Pēc tam programma uzliek atjaunoto seju esošajā videoierakstā – tā ir kā digitālā maska. Šādas maskas var redzēt šajā videoierakstā.
Mērķa videoieraksts
Videoieraksta avots
Dziļviltojuma mērķa videoieraksts: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Dziļviltojuma videoieraksta avots: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Dziļviltojuma videoierakstus var izveidot ar mājas datoriem, taču ir nepieciešama jaudīga grafiskā karte. Šajā videoierakstā ir parādīts, kāpēc ir svarīgi izmantot piemērotus avota videoierakstus.
Shia LaBeouf
Pilar
Mērķa videoieraksta avots: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Tehniskā informācija
Vizuālie trūkumi
Ādas krāsas neatbilstība: Ja salīdzināt masku un īsto seju, tām ir atšķirīgs ādas tonis. Šķiet, seju klāj krāsas slānis, uz kura ir redzamas malas vai plankumi.
Nesakritības sejas izteiksmēs: Dziļviltojuma sejas izteiksmes neatbilst mērķa sejai. Sejas vaibsti nav dabiski un ir neredzami, izplūduši vai neīsti.
Redzamās malas: Maskas malas ir redzamas kā asas vai izplūdušas malas ap seju.
Attēlos, kas tika izmantoti algoritma mācīšanai, nebija pareizu sejas izteiksmju, kas videoierakstā aizsegtu Šijas seju, kā arī tajā nebija kadru ar viņa seju profilā. Ja neironu tīklam šādas situācijas nav mācītas, tas nevar izveidot precīzu digitālo masku. Ievērojiet, kā Šijas mute parādās zem maskas, veidojot divas mutes.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Nepieciešami divi videoieraksti: avota un mērķa. Programma mācīs sevi, izmantojot abus videoierakstus, un izveidos masku, kas tiks pielikta mērķa videoierakstam, izmantojot rediģēšanas programmatūru.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Sākotnējais mērķa video: The Devil Wears Prada | Andy's Interview
Oriģināls
Datu kopa
Maska
Pielīdzināšana
Dziļviltojums
Pēcrediģēšana
Izvēlieties mērķa videoierakstu, kurā vēlaties ievietot seju. Izvēloties videoierakstu ar viendabīgu fonu, iegūsiet labāku rezultātu.
Ierakstiet datu kopu sejai, kuru vēlaties ievietot (avots), pēc iespējas pielāgojot apgaismojumu un sejas izteiksmi.
Aizklājiet citu cilvēku sejas mērķa videoierakstā, pretējā gadījumā algoritms tās uztvers un sajauks mācību procesu.
Algoritms izgriezīs sejas, lai tās varētu izmantot mācībām, un saglabās to atrašanās vietu, lai pēc tam varētu uzlikt masku.
Algoritms ģenerē sejas masku no avota videoieraksta, kas pēc tam ir jāsaskaņo ar mērķa videoierakstu.
Videoieraksta rediģēšanas programmatūra ļaus labāk sapludināt masku un uzlabot galarezultātu.
Šajā eksperimentā 2 programmām tika dots atšķirīgs attēlu skaits. Lielāks attēlu skaits acīmredzami uzlabo rezultātu. Modelim bija pieejama plašāka informācija, un tas varēja izveidot labāku masku.
Tehniskā informācija
Eksperiments tika veikts ar vienu un to pašu avota videoierakstu, kas tika eksportēts ar diviem dažādiem kadru ātrumiem, – abi modeļi tika mācīti, izmantojot tādus pašus iestatījumus. Mācību ciklu skaits uz vienu attēlu ir vienāds, bet mācību laiks bija ilgāks, izmantojot lielāku datu kopu. Algoritms, kas iekļāva vairāk attēlu, ieguva precīzāku rezultātu, kurš labāk atbilda noteiktajam mērķim.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Sākotnējais mērķa video: Sherlock | The Reichenbach Fall | Rooftop Showdown
Paņēmām mūsu komandas biedrenes “Facebook” attēlus un uz to pamata izveidojām dziļviltojumu. Gandrīz visos avota attēlos viņa smaidīja, tāpēc algoritms nevarēja ģenerēt cita veida masku.
Natalie Portman
Pilar
Sākotnējais mērķa video: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Tehniskā informācija
Vizuālie trūkumi
Izplūdusi seja: Maska ir izplūdusi. Starp masku un pārējo videoieraksta daļu ir asuma vai izšķirtspējas atšķirības.
Nesakritības sejas izteiksmē: Dziļviltojuma sejas izteiksmes neatbilst mērķa sejai. Sejas vaibsti nav dabiski un ir neredzami, izplūduši vai neīsti.
Profila robežas: Sejas sānu skats šķiet nepareizs. Dziļviltojuma maska ir bojāta, mazāk detalizēta vai nepareizi izlīdzināta.
Videoierakstā ir daudz vairāk nianšu nekā attēlos, ko paņēmām no “Facebook”. Mūsu komandas biedrenes fotoattēli sociālajos tīklos ir pašas atlasīti, tāpēc tajos trūkst tādu attēlu, kas nepieciešami, lai radītu reālistisku sejas izteiksmi runas vajadzībām. Lai gan ar labākām tehnoloģijām varētu radīt izteiksmīgāku mīmiku, bez daudzveidīga izejmateriāla nav iespējams radīt kaut ko pārliecinošu.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Pat ar labu avota ierakstu var būt grūti izveidot dziļviltojumu. “Indiana Džonss” satur haotiskus kadrus. Salīdzinot ar iepriekš izmantotajiem videoierakstiem, algoritmam tagad ir grūtāk tikt līdzi.
Tehniskā informācija
Vizuālie trūkumi
Izplūdusi seja: Maska ir izplūdusi. Starp masku un pārējo videoieraksta daļu ir asuma vai izšķirtspējas atšķirības.
Mirgošanas efekts: Aiz viltotajām sejām dažreiz pazib oriģināla seja. Algoritms nespēj atpazīt seju un uz brīdi noņem masku.
Nepareiza perspektīva: Dziļviltojumam ir atšķirīga perspektīva salīdzinājumā ar pārējo videoierakstu. Sākotnējais un mērķa videoieraksts atšķiras pēc fokusa attāluma.
Dziļviltojums tika eksportēts ar izšķirtspēju 64 px. Zemāka izšķirtspēja nozīmē, ka algoritmam mācībām bija nepieciešams mazāk laika, jo modelim bija jāapgūst, kā izveidot zemas izšķirtspējas attēlu. Tuvplāna kadros ir skaidri redzama zema izšķirtspēja.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Sākotnējais mērķa video: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Šī dziļviltojuma videosižeta pamatā ir fragments no sarunu šova, kurā Bils Heiders atveido Arnoldu Švarcenegeru. Izmantojot piemērotu izejmateriālu ar Arnoldu Švarcenegeru, rezultāti bija pārliecinoši.
Bill Hader
Arnold Schwarzenegger
Sākotnējais mērķa video: Bill Hader Presents: Schwarzenegger Baby
Dziļviltojuma videoieraksta avots: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Tehniskā informācija
Vizuālie trūkumi
Sejas aizsegšana: Kad gar seju tiek virzīts kāds objekts, maska to izkropļo vai aizsedz.
Sejas saplūšana, ādas tonis un izšķirtspēja ir ļoti laba. Attālajā kadrā ir grūti saskatīt, vai maska izplūst. Pēcapstrāde tika veikta meistarīgi. Vienīgā dziļviltojuma pazīme: kad Bils Heiders kustina pirkstu sejas priekšā, un tas pazūd aiz maskas. Atšķirība asumā un pirksta leņķis liecina, ka autors ir mēģinājis slēpt efektu, veicot pēcapstrādi.
Šajā eksperimentā viens modelis mācījās četras stundas, bet otrs – 48 stundas. 48 stundu modeļa rezultāti parādīja uzlabotas sejas izteiksmes un lielākas izšķirtspējas trīsdimensionālu sejas masku.
Tehniskā informācija
No mācību laiks ir atkarīgs tas, cik reižu algoritms apstrādā attēlus. Šajā procesā tiek izveidota seja (vai digitālā maska), tā tiek salīdzināta ar avota attēlu un pēc tam tiek veiktas korekcijas, lai uzlabotu maskas līdzību ar avotu. Modelis šo ciklu veic vienu reizi visiem avota attēliem un pēc tam sāk darbu no jauna. Tam nepieciešamo laiku nosaka izmantotā datora jauda.
Šajā eksperimentā viens modelis mācījās 4 stundas, bet otrs – 48. 48 stundu modelim parādījās detalizētāki sejas vaibsti un izteiktāks 3D efekts.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Sākotnējais mērķa video: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Šajā eksperimentā paši izveidojām gan avota, gan mērķa videoierakstu. Algoritma metodes ir skaidri redzamas. H128 veido kvadrātveida masku, savukārt SAEHD labāk atbilst sejai.
Arthur
Andrej
Tehniskā informācija
H128 ir vieglākais no abiem modeļiem. Tas ātrāk sniedz kvalitatīvus rezultātus. Precīzākā SAEHD maska labāk tiek galā ar roku un pielāgošanos apgaismojumam. H128 ir labāk iemācīts veidot sejas masku: tā ir asāka, stabilāka un labāk darbojas kustību un perspektīvas izmaiņu gadījumā. Tomēr eksperti apgalvo, ka ar ilgāku mācību laiku SAEHD pārspēs H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Dziļviltojumi var būt augstas kvalitātes un grūti pamanāmi. Lai gan iepriekš mēs pievērsām uzmanību sejas maskām, dziļviltojumus var izmantot arī mīmikas atveidošanai – lai radītu iespaidu, ka persona kaut ko ir pateikusi.
Tehniskā informācija
Mīmikas atveidošana prasa daudz lielāku skaitļošanas jaudu, taču to ir daudz grūtāk atpazīt. Daudzas problēmas saistībā ar avota videoierakstiem uz mīmikas atveidošanu neattiecas, taču algoritms darbojas līdzīgi. Pārveidotās sejas daļas būs nedaudz izplūdušas un mazāk detalizētas.
Pievērsiet uzmanību skaņai/attēlam un meklējiet trūkumus. Izmantojot šajā vietnē iegūto informāciju, pārbaudiet, vai videoieraksts varētu būt mērķa ieraksts un vai tas nav dziļviltojums. Ja rodas šaubas, vienmēr pārbaudiet videoieraksta avotu.
Dziļviltojuma avota videoieraksts: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.