Restarting the experience
Մեր մասնագետների օգնությամբ և համացանցից բերված օրինակներով բացահայտեք՝ ինչպես է աշատում դիփքֆեյքը, և ինչ վիզուալ հուշումներ կան այն հայտնաբերելու համար.
Այս տեսանյութում Էլոն Մասկի վրա տեղադրել են երեխայի դեմք: Պատկերը փոխելու այս տեսակը դիփֆեյքի ամենատարածված ձևն է: Ուշադի՛ր նայեք. պատկերի եզրերը սուր չեն, մաշկի գույնն էլ տարբեր է:
Տեխնիկական նյուանսներ
Վիզուալ էֆեկտներ
Մաշկի գույնի անհամապատասխանություն: Դիմակի և թիրախ-դեմքի մաշկի գույները տարբերվում են: Թվում է` դեմքի վրա մի քանի գույն կա՝ անկյուններով և հետքերով:
Դիփֆեյքը ստեղծվում է համակարգչային ծրագրի միջոցով, որը վերծանելով մարդու բազմաթիվ լուսանկարներ՝ վերարտադրում է դեմքը: Հետո արդեն ստեղծված դեմքը տեղադրվում է տեսանյութի վրա, կարծես թվային դիմակ լինի: Այդ դիմակի հետքերը կարող եք տեսնել այս տեսանյութում.
Target Video
Deepfaked Video
Դիփֆեյքի թիրախ-տեսանյութ՝YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Դիփֆեյք աղբյուր-տեսանյութ`YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Դիփֆեյք տեսանյութեր կարելի է պատրաստել տան համակարգիչներով, բայց անհրաժեշտ է բավականին հզոր գրաֆիկ քարտ: Այս տեսանյութում մեր առաջին փորձն է, որը ցույց է տալիս, թե ինչու է պետք օգտագործել համապատասխան սկզբնաղբյուր-տեսանյութ:
Shia LaBeouf
Pilar
Թիրախ-տեսանյութի աղբյուր՝ YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Տեխնիկական հուշումներ.
Նշանների բացատրություն
Մաշկի գույնի անհամապատասխանություն. Դիմակի և թիրախ-դեմքի մաշկի գույները տարբերվում են: Դեմքը կարծես մի քանի գունավորում ունի, երևում են անկյուններ և հետքեր:
Արտահայտության անհամապատասխանություն. Դիփֆեյք դեմքի արտահայտությունը չի համապատասխանում թիրախ-դեմքին: Դիմագծերը բնական չեն, չեն երևում, լղոզված են կամ կրկնվում են:
Տեսանելի անկյուններ. Դիմակի անկյունները տեսանելի են, դեմքի շուրջ սուր կամ լղոզված եզրեր են:
Ալգորիթմի մշակման համար ընտրված նկարներն այնքան էլ համապատասխան չէին՝ տեսանյութում Շայայի դեմքը ծածկելու համար, բացի այդ, չկար պրոֆիլից լուսանկար: Եթե նեյրոնային ցանցը սովոր չէ աշխատել այդպիսի սյուժեների հետ, այն չի կարող ստեղծել ճշգրիտ թվային դիմակ: Նկատեք, որ Շայայի դեմքը դիմակի տակից երևում է, արդյունքում ստացվում է երկու բերան:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Ձեզ պետք կգա երկու տեսանյութ՝ աղբյուր և թիրախ: Ծրագիրը կսովորի դրանք երկուսն էլ օգտագործել և պատրաստել դիմակ սկզբնաղբյուր տեսանյութից, որը կարելի է տեղադրել թիրախ տեսանյութի վրա: Դրա համար կիրառվում է խմբագրման ծրագիր:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Target video source: The Devil Wears Prada | Andy's Interview
Բնօրինակ:
Տվյալների շտեմարան
Դիմակ
Հավասարեցում
Դիփֆեյք
Հրապարակում
Ընտրեք թիրախ տեսանյութը, որի վրա ցանկանում եք դեմք տեղադրել: Ավելի լավ արդյունք կունենաք, եթե ընտրեք միատոն ֆոնով տեսանյութ:
Գրանցեք տեղադրվող դեմքի տվյալների շտեմարանը՝ հնարավորինս համապատասխանեցնելով լույսը և դեմքի արտահայտությունները:
Ծածկեք մյուս մարդկանց դեմքերը թիրախ տեսանյութում, այլապես ալգորիթմը նրանց էլ կընտրի և ճանաչելու գործընթացը կխճճվի:
Ալգիրիթմը դեմքերը կկկտրի այնպես, որպեսզի իր սովորելու համար հարմար չափսեր լինեն, և կպահի դրանց դիրքը, որպեսզի հետո ճիշտ տեղադրի:
Ալգորիթմը դեմքի դիմակ է ստեղծում սկզբնաղբյուր տեսանյութից, որը հետո դուք պետք է համապատասխանեցնեք թիրախ-տեսանյութին:
Վիդեոխմբագրման ծրագիրը թույլ կտա հնարավորինս լավ տեղադրել դիմակը և կհղկի վերջնական արդյունքը:
Այս փորձի ժամանակ երկու ծրագրերի տրվել են տարբեր թվով նկարներ: Փորձը ցույց է տվել, որ երբ աղբյուրները շատ են, արդյունքը զգալիորեն ավելի լավն է: Մոդելն ունենում է դեմքի մասին ավելի շատ տեղեկատվություն և կարողանում է մշակել ավելի լավ դիմակ:
Տեխնիկական նյուանսներ
Փորձարկումն արվել է միևնույն աղբյուր-տեսանյութով, որոնք մուտք են արվել կադրերի տարբեր հաճախականությամբ. երկու մոդելներն էլ սովորել են միևնույն կարգավորումներով: Սովորելու ցիկլերի քանակը յուրաքանչյուր նկարի համար նույնն է եղել, բայց տվյալների ավելի մեծ շտեմարանով տեսանյութը սովորելու վրա ավելի շատ ժամանակ է պահանջվել: Ակնհայտ է դառնում, որ ավելի շատ պատկերների վրա սովորած ալգորիթմը ավելի ճշգրիտ արդյունք կարող է տալ, որն ավելի լավ է համապատասխանում թիրախին:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Բնօրինակ թիրախ-տեսանյութ՝Sherlock | The Reichenbach Fall | Rooftop Showdown
Մենք վերցրել մեր թիմի անդամներից մեկի ֆեյսբուքյան լուսանկարները և ստեղծել դիփֆեյք: Գրեթե բոլոր սկզբնաղբյուր լուսանկարներում նա ժպտում է, ուստի ալգորիթմը չի կարող գեներացնել չժպտացող դիմակ:
Natalie Portman
Pilar
Բնօրինակ թիրախ-տեսանյութը՝ Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Տեխնիկական նյուանսներ.
Նշանների բացատրություն.
Լղոզված դեմք. Դիմակը լղոզված է: Դիմակը և տեսանյութի մյուս հատվածները տարբերվում են պատկերների գույներով:
Արտահայտությունների անհամապատասխանություն. Դիփֆեյք դիմակի արտահայտությունները չեն համապատասխանում թիրախ-դեմքին: Դիմագծերն անբնական են, լավ չեն երևում, լղոզված են կամ կրկնվում են:
Պատկերի եզրերը. Կողքից դեմքը աղավաղված է երևում: Դիփֆեյք դիմակը դեֆորմացված է, մանրամասն չի մշակված և սխալ է հավասարեցված:
Տեսանյութը պարունակում է ավելի շատ դիմագծեր, քան այն լուսանկարները, որոնք մենք վերցրել ենք Facebook-ից: Սոցիալական ցանցում մեր թիմի անդամի լուսանկարները ընտրվում են ավտոմատ կերպով, ուստի դրանց մեջ չկան նկարներ, որոնք անհրաժեշտ են խոսքի ժամանակ իրական դեմքի արտահայտություն ստեղծելու համար: Եվ չնայած առավել կատարելագործված տեխնոլոգիաները կարող են ստեղծել այդպիսի արտահայտություններ՝ առանց բազմազան սկզբնաղբյուր նյութի՝ համոզիչ բան չեք ստանա:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Անգամ լավ աղբյուրի դեպքում դժվար կլինի ստեղծել դիփֆեյք: Ինդիանա Ջոնսը քաոտիկ կադրեր ունի: Համեմատած նախկինում մեր օգտագործած առավել մաքուր տեսանյութերի հետ՝ ալգորիթմը հիմա արագության հետ չի հասցնում:
Տեխնիկական նյուանսներ.
Նշանների բացատություն.
Լղոզված դեմք. Դիմակը լղոզված է: Դիմակը և տեսանյութի մյուս հատվածները տարբերվում են պատկերների գույներով:
Առկայծման էֆեկտ. Բնօրինակից դիփֆեյք դեմքին անցնելիս առկայծում կա: Ալգորիթմը չի կարողանում ճանաչել դեմքը և մի պահ դադարում է դիմակ ստեղծել:
Սխալ տարածություն. Դիփֆեյքը տեսանյութի մյուս հատվածների նկատմամբ այլ կերպ է երևում: Աղբյուրը և թիրախ-տեսանյութը տարբեր են ֆոկուսային հեռավորությամբ:
Դիփֆեյք տեսանյութը ներբեռնվել է 64 պիքսելով: Ցածր պիքսելները նշանակում է, որ ալգորիթմին ավելի քիչ ժամանակ է պահանջվել սովորելու համար: Խոշոր պլանով դեմքերի դեպքում ցածր պիքսելներով լուսանկարն ակնհայտ երևում է:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Բնօրինակ թիրախ-տեսանյութ՝ Indiana Jones and the Temple of Doom | Rope Bridge Fight
Այս դիփֆեյք տեսանյութը պատրաստվել է թոք շոուի մի կտորից, որում Բիլ Հեյդերը պատկերում է Արնոլդ Շվարցեներգերին: Քանի որ Արնոլդ Շվարցենեգերից օգտագործվել է համապատասխան սզկզբնաղբյուրային նյութեր, արդյունքը համոզիչ է:
Bill Hader
Arnold Schwarzenegger
Բնօրինակ թիրախ-տեսանյութ՝Bill Hader Presents: Schwarzenegger Baby
Աղբյուր հանդիսացող թիփֆեյքի տեսանյութ՝ YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Տեխնիկական նյուանսներ.
Նշանների բացատրություն
Դեմքի պատնեշ. Երբ դեմքի առաջ օբյեկտներ են երևում, դիմակն աղավաղում է կամ փակում է այդ օբյեկտները:
Դեմքի տեղադրումը, մաշկի գույնը և պիքսելները շատ լավն են: Քանի որ պատկերը հեռու է, դժվար է նկատել լղոզվածություն: Հետարտադրական գործընթացը պրոֆեսիոնալ է արվել: Միակ թերությունն այն է, որ երբ Բիլ Հարդերը մատը դեմքի մոտ է պահում, այն կորչում է դիմակի հետևում: Մատի անկյան տարբերությունը թույլ է տալիս ենթադրել, որ տեսանյութի հեղինակը հետարտադրական փուլում փորձել է թաքցնել դա:
Այս փորձի համար մոդելներից մեկը սովորելու վրա ծախսել է 4, մյուսը 48 ժամ: 48 ժամ ծախսած մոդելը ցույց է տվել ավելի կատարելագործված դիմագծեր և դեմքի համաչափություն:
Տեխնիկական նյուանսներ.
Սովորելու ժամանակը կապված է այն բանի հետ, թե քանի անգամ է ալգորիթմը մշակում լուսանկարը: Այդ գործընթացն իր մեջ ներառում է դեմք ստեղծելը (թվային դիմակ), աղբյուր-լուսանկարի հետ համեմատությունը, հետո մանր աշխատանքը՝ դիմակին աղբյուր-լուսանկարի նմանություն տալու համար: Մոդելն այս ցիկլն անցնում է բոլոր աղբյուր-լուսանկարների համար մեկ անգամ, և հետո նորից սկսում: Աշխատանքի ժամանակը կախված է օգտագործվող համակարգչի հզորությունից:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Բնօրինակ թիրախ-տեսանյութ՝ YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Այս փորձի համար մենք ինքնուրույն ստեղծեցին և՛ աղբյուր, և՛ թիրախ տեսանյութերը: Ալգորիթմների մեթոդները լավ նկատելի են: H128-ը ստեղծում է քառակուսի դիմակ, մինչդեռ SAEHD-ը ավելի լավ է համապատասխանում դեմքին:
Arthur
Andrej
Տեխնիկական նյուանսներ
H128-ը առավել թեթև տարբերակն է: Այն ավելի հեշտ է հասնում որակյալ արդյունքի: SAEHD-ի առավել ճշգրիտ դիմակը ավելի հեշտ է կարգավորել ձեռքով և հեշտ է մերվում լույսի հետ: H128-ը կարծես ավելի լավ է սովորում դեմք ստեղծել. դիմակն ավելի սուր է, ավելի կայուն և ավելի լավ է աշխատում շարժումների ժամանակ: Այնուամենայնիվ, փորձագետներն ասում են, որ սովորելու ավելի շատ ժամանակ ունենալու դեպքում SAEHD-ը կգերազանցի H128-ին:
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Նկատի ունեցեք. Դիփֆեյքերը կարող են լինել բարձր որակի և դժվար լինի դրանք հայտնաբերել: Չնայած մենք կենտրոնացանք դեմքը փոխելու վրա, դիփֆեյքեր կարող են ստեղծվել դեմքը վերափոխելու համար՝ տպավորություն ստեղծելու, որ մարդն ինչ-որ բան ասաց:
Տեխնիկական նյուանսներ
Դեմքի վերափոխումն ավելի մեծ համակարգչային հզորություն է պահանջում, բայց այն շատ ավելի դժվար է տարբերել: Աղբյուր-տեսանյութի հետ կապված խնդիրների մեծ մասը վերափոխման դեպքում կիրառելի չեն, բայց ալգորիթմը նույն կերպ է գործում: Դեմքի վերստեղծված հատվածները կարող են թեթևակի լղոզված լինել և ավելի քիչ դետալացված:
Նաև ուշաշդրություն դարձրեք ձայնի վրա և նայեք՝ արդյոք այն սինխրոնացված է շրթունքների շարժումների հետ: Օգտագործելով այս կայքից ստացած տեղեկատվությունը՝ հարց տվեք Ձեզ՝ արդյոք կարող է տեսանյութը դառնալ թիրախ, և արդյոք դրա պայմանները համապատասխանում են հնարավոր դիփֆեյքին: Եթե կասկած չկա, անպայման ստուգեք տեսանյութի աղբյուրը:
Դիփֆեյքի աղբյուր-տեսանյութ՝ YouTube | VFXChris Ume | Fake Freeman mouth manipulation.