Restarting the experience

Deep

fake

Lab

Բացահայտելով դիփֆեյքի գաղտնիքները.

Մեր մասնագետների օգնությամբ և համացանցից բերված օրինակներով բացահայտեք՝ ինչպես է աշատում դիփքֆեյքը, և ինչ վիզուալ հուշումներ կան այն հայտնաբերելու համար.

01. Տեսլա փոքրիկ

Եկե՛ք աչքի անցացնենք համացանցում տարածված մի քանի հայտնի օրինակներ:

Այս տեսանյութում Էլոն Մասկի վրա տեղադրել են երեխայի դեմք: Պատկերը փոխելու այս տեսակը դիփֆեյքի ամենատարածված ձևն է: Ուշադի՛ր նայեք. պատկերի եզրերը սուր չեն, մաշկի գույնն էլ տարբեր է:

Տեխնիկական նյուանսներ

Վիզուալ էֆեկտներ

Դիփֆեյքը ստեղծվում է համակարգչային ծրագրի միջոցով, որը վերծանելով մարդու բազմաթիվ լուսանկարներ՝ վերարտադրում է դեմքը: Հետո արդեն ստեղծված դեմքը տեղադրվում է տեսանյութի վրա, կարծես թվային դիմակ լինի: Այդ դիմակի հետքերը կարող եք տեսնել այս տեսանյութում.

Target Video

Deepfaked Video

Դիփֆեյքի թիրախ-տեսանյութ՝YouTube | AndrewSchrock | Cutest Baby Montage Ever.

Դիփֆեյք աղբյուր-տեսանյութ`YouTube | TheFakening | Baby Elon Musk Montage Deepfake

02. Արա՛ ինքդ

Սա կարող եք նաև տանը փորձել: Հիմա կասենք՝ ինչպես:

Դիփֆեյք տեսանյութեր կարելի է պատրաստել տան համակարգիչներով, բայց անհրաժեշտ է բավականին հզոր գրաֆիկ քարտ: Այս տեսանյութում մեր առաջին փորձն է, որը ցույց է տալիս, թե ինչու է պետք օգտագործել համապատասխան սկզբնաղբյուր-տեսանյութ:

Shia LaBeouf

Pilar

Թիրախ-տեսանյութի աղբյուր՝ YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech

Տեխնիկական հուշումներ.

Նշանների բացատրություն

Ալգորիթմի մշակման համար ընտրված նկարներն այնքան էլ համապատասխան չէին՝ տեսանյութում Շայայի դեմքը ծածկելու համար, բացի այդ, չկար պրոֆիլից լուսանկար: Եթե նեյրոնային ցանցը սովոր չէ աշխատել այդպիսի սյուժեների հետ, այն չի կարող ստեղծել ճշգրիտ թվային դիմակ: Նկատեք, որ Շայայի դեմքը դիմակի տակից երևում է, արդյունքում ստացվում է երկու բերան:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Ընթացքը

Այդ դեպքում ինչպե՞ս ստեղծել դիփքեյք

Ձեզ պետք կգա երկու տեսանյութ՝ աղբյուր և թիրախ: Ծրագիրը կսովորի դրանք երկուսն էլ օգտագործել և պատրաստել դիմակ սկզբնաղբյուր տեսանյութից, որը կարելի է տեղադրել թիրախ տեսանյութի վրա: Դրա համար կիրառվում է խմբագրման ծրագիր:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Target video source: The Devil Wears Prada | Andy's Interview

Բնօրինակ:

Տվյալների շտեմարան

Դիմակ

Հավասարեցում

Դիփֆեյք

Հրապարակում

Ընտրեք թիրախ տեսանյութը, որի վրա ցանկանում եք դեմք տեղադրել: Ավելի լավ արդյունք կունենաք, եթե ընտրեք միատոն ֆոնով տեսանյութ:

04. Տվյալներ ուսուցման համար

Ի՞նչ կլինի, եթե մենք ծրագրին ավելի շատ կոնտենտով ապահովենք: Դա կազդի՞ որակի վրա:

Այս փորձի ժամանակ երկու ծրագրերի տրվել են տարբեր թվով նկարներ: Փորձը ցույց է տվել, որ երբ աղբյուրները շատ են, արդյունքը զգալիորեն ավելի լավն է: Մոդելն ունենում է դեմքի մասին ավելի շատ տեղեկատվություն և կարողանում է մշակել ավելի լավ դիմակ:

Տեխնիկական նյուանսներ

Փորձարկումն արվել է միևնույն աղբյուր-տեսանյութով, որոնք մուտք են արվել կադրերի տարբեր հաճախականությամբ. երկու մոդելներն էլ սովորել են միևնույն կարգավորումներով: Սովորելու ցիկլերի քանակը յուրաքանչյուր նկարի համար նույնն է եղել, բայց տվյալների ավելի մեծ շտեմարանով տեսանյութը սովորելու վրա ավելի շատ ժամանակ է պահանջվել: Ակնհայտ է դառնում, որ ավելի շատ պատկերների վրա սովորած ալգորիթմը ավելի ճշգրիտ արդյունք կարող է տալ, որն ավելի լավ է համապատասխանում թիրախին:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

Բնօրինակ թիրախ-տեսանյութ՝Sherlock | The Reichenbach Fall | Rooftop Showdown

05. Սոցիալական խաբեություն

Որքանով եք Դուք խոցելի. Կարո՞ղ ենք մենք գողանալ սոցիալական մեդիայի Ձեր կոնտենտը և լավ դիփքֆյեք ստեղծել:

Մենք վերցրել մեր թիմի անդամներից մեկի ֆեյսբուքյան լուսանկարները և ստեղծել դիփֆեյք: Գրեթե բոլոր սկզբնաղբյուր լուսանկարներում նա ժպտում է, ուստի ալգորիթմը չի կարող գեներացնել չժպտացող դիմակ:

Natalie Portman

Pilar

Բնօրինակ թիրախ-տեսանյութը՝ Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin

Տեխնիկական նյուանսներ.

Նշանների բացատրություն.

Տեսանյութը պարունակում է ավելի շատ դիմագծեր, քան այն լուսանկարները, որոնք մենք վերցրել ենք Facebook-ից: Սոցիալական ցանցում մեր թիմի անդամի լուսանկարները ընտրվում են ավտոմատ կերպով, ուստի դրանց մեջ չկան նկարներ, որոնք անհրաժեշտ են խոսքի ժամանակ իրական դեմքի արտահայտություն ստեղծելու համար: Եվ չնայած առավել կատարելագործված տեխնոլոգիաները կարող են ստեղծել այդպիսի արտահայտություններ՝ առանց բազմազան սկզբնաղբյուր նյութի՝ համոզիչ բան չեք ստանա:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Թիրախի ընտրություն

Մենք տեսանք, թե որքան կարևոր է աղբյուրը ալգորիթմի սովորելու համար: Իսկ թիրա՞խ- տեսանյութը:

Անգամ լավ աղբյուրի դեպքում դժվար կլինի ստեղծել դիփֆեյք: Ինդիանա Ջոնսը քաոտիկ կադրեր ունի: Համեմատած նախկինում մեր օգտագործած առավել մաքուր տեսանյութերի հետ՝ ալգորիթմը հիմա արագության հետ չի հասցնում:

Տեխնիկական նյուանսներ.

Նշանների բացատություն.

Դիփֆեյք տեսանյութը ներբեռնվել է 64 պիքսելով: Ցածր պիքսելները նշանակում է, որ ալգորիթմին ավելի քիչ ժամանակ է պահանջվել սովորելու համար: Խոշոր պլանով դեմքերի դեպքում ցածր պիքսելներով լուսանկարն ակնհայտ երևում է:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

Բնօրինակ թիրախ-տեսանյութ՝ Indiana Jones and the Temple of Doom | Rope Bridge Fight

07. Մի՛ թարթեք

Երբեմն երկու տեսանյութերը համակցվում են իրար: Այս տեսանյութում թիրախն անգամ իմիտացնում է իր նոր դեմքը:

Այս դիփֆեյք տեսանյութը պատրաստվել է թոք շոուի մի կտորից, որում Բիլ Հեյդերը պատկերում է Արնոլդ Շվարցեներգերին: Քանի որ Արնոլդ Շվարցենեգերից օգտագործվել է համապատասխան սզկզբնաղբյուրային նյութեր, արդյունքը համոզիչ է:

Bill Hader

Arnold Schwarzenegger

Բնօրինակ թիրախ-տեսանյութ՝Bill Hader Presents: Schwarzenegger Baby

Աղբյուր հանդիսացող թիփֆեյքի տեսանյութ՝ YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]

Տեխնիկական նյուանսներ.

Նշանների բացատրություն

Դեմքի տեղադրումը, մաշկի գույնը և պիքսելները շատ լավն են: Քանի որ պատկերը հեռու է, դժվար է նկատել լղոզվածություն: Հետարտադրական գործընթացը պրոֆեսիոնալ է արվել: Միակ թերությունն այն է, որ երբ Բիլ Հարդերը մատը դեմքի մոտ է պահում, այն կորչում է դիմակի հետևում: Մատի անկյան տարբերությունը թույլ է տալիս ենթադրել, որ տեսանյութի հեղինակը հետարտադրական փուլում փորձել է թաքցնել դա:

08. Ժամանակը կարևոր է

Ի՞նչ կլինի, եթե թույլ տանք, որ ալգորիթմն ավելի շատ սովորի աղբյուր տեսանյութը: Արդյո՞ք դրանից արդյունքը կբարելավվի:

Այս փորձի համար մոդելներից մեկը սովորելու վրա ծախսել է 4, մյուսը 48 ժամ: 48 ժամ ծախսած մոդելը ցույց է տվել ավելի կատարելագործված դիմագծեր և դեմքի համաչափություն:

Տեխնիկական նյուանսներ.

Սովորելու ժամանակը կապված է այն բանի հետ, թե քանի անգամ է ալգորիթմը մշակում լուսանկարը: Այդ գործընթացն իր մեջ ներառում է դեմք ստեղծելը (թվային դիմակ), աղբյուր-լուսանկարի հետ համեմատությունը, հետո մանր աշխատանքը՝ դիմակին աղբյուր-լուսանկարի նմանություն տալու համար: Մոդելն այս ցիկլն անցնում է բոլոր աղբյուր-լուսանկարների համար մեկ անգամ, և հետո նորից սկսում: Աշխատանքի ժամանակը կախված է օգտագործվող համակարգչի հզորությունից:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

Constance Wu

Yueling

09. Ալգորիթմներ

Վերջին փորձը: Ինչպե՞ս են տարբեր ալգորիթմներն արձագանքում որոշակի պայմանների

Այս փորձի համար մենք ինքնուրույն ստեղծեցին և՛ աղբյուր, և՛ թիրախ տեսանյութերը: Ալգորիթմների մեթոդները լավ նկատելի են: H128-ը ստեղծում է քառակուսի դիմակ, մինչդեռ SAEHD-ը ավելի լավ է համապատասխանում դեմքին:

Arthur

Andrej

Տեխնիկական նյուանսներ

H128-ը առավել թեթև տարբերակն է: Այն ավելի հեշտ է հասնում որակյալ արդյունքի: SAEHD-ի առավել ճշգրիտ դիմակը ավելի հեշտ է կարգավորել ձեռքով և հեշտ է մերվում լույսի հետ: H128-ը կարծես ավելի լավ է սովորում դեմք ստեղծել. դիմակն ավելի սուր է, ավելի կայուն և ավելի լավ է աշխատում շարժումների ժամանակ: Այնուամենայնիվ, փորձագետներն ասում են, որ սովորելու ավելի շատ ժամանակ ունենալու դեպքում SAEHD-ը կգերազանցի H128-ին:

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Նկատի ունեցեք

Եկեք տեսնենք՝ ինչ է իրականում կատարվում դիփֆեյք տեսանյութերի հետ

Նկատի ունեցեք. Դիփֆեյքերը կարող են լինել բարձր որակի և դժվար լինի դրանք հայտնաբերել: Չնայած մենք կենտրոնացանք դեմքը փոխելու վրա, դիփֆեյքեր կարող են ստեղծվել դեմքը վերափոխելու համար՝ տպավորություն ստեղծելու, որ մարդն ինչ-որ բան ասաց:

Տեխնիկական նյուանսներ

Դեմքի վերափոխումն ավելի մեծ համակարգչային հզորություն է պահանջում, բայց այն շատ ավելի դժվար է տարբերել: Աղբյուր-տեսանյութի հետ կապված խնդիրների մեծ մասը վերափոխման դեպքում կիրառելի չեն, բայց ալգորիթմը նույն կերպ է գործում: Դեմքի վերստեղծված հատվածները կարող են թեթևակի լղոզված լինել և ավելի քիչ դետալացված:

Նաև ուշաշդրություն դարձրեք ձայնի վրա և նայեք՝ արդյոք այն սինխրոնացված է շրթունքների շարժումների հետ: Օգտագործելով այս կայքից ստացած տեղեկատվությունը՝ հարց տվեք Ձեզ՝ արդյոք կարող է տեսանյութը դառնալ թիրախ, և արդյոք դրա պայմանները համապատասխանում են հնարավոր դիփֆեյքին: Եթե կասկած չկա, անպայման ստուգեք տեսանյութի աղբյուրը:

Դիփֆեյքի աղբյուր-տեսանյութ՝ YouTube | VFXChris Ume | Fake Freeman mouth manipulation.

Կարճ ամփոփում այն հմտությունների, որոնց Դուք ծանոթացաք այս կայքում՝ տեսանյութերն ինքնուրույն ստուգելու համար:

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0