Restarting the experience

Deep

fake

Lab

Λύνοντας το μυστήριο γύρω από τα deepfakes.

Ανακαλύψτε πως λειτουργούν τα deepfake και τα οπτικά στοιχεία μέσα από τα οποία μπορείτε να τα αναγνωρίσετε, με παραδείγματα από το διαδίκτυο.

01. Το μωρό Tesla

Διάσημα παραδείγματα από το διαδίκτυο.

Εδώ, το πρόσωπο ενός μωρού έχει επικαλυφθεί με εκείνο του Elon Musk. Η ανταλλαγή προσώπων είναι η συνηθέστερη χρήση deepfakes. Οι άκρες δεν είναι ευκρινείς και το χρώμα δέρματος είναι διαφορετικό.

Τεχνικές Λεπτομέρειες

Οπτικά ελαττώματα

Ένα deepfake δημιουργείται από ένα πρόγραμμα υπολογιστή που μπορεί να μάθει μόνο του πώς να αναδημιουργεί ένα πρόσωπο αναλύοντας πολυάριθμες εικόνες ενός ατόμου. Στη συνέχεια, το πρόγραμμα επικαλύπτει το πρόσωπο που έχει αναδημιουργήσει σε ένα υπάρχον βίντεο - κάτι σαν ψηφιακή μάσκα. Μπορείτε να δείτε ίχνη μιας τέτοιας μάσκας σε αυτό το βίντεο

Target Video

Deepfaked Video

02. Κάνε το μόνος σου

Δοκίμασέ το σπίτι. Θα σου δείξουμε το πως.

Τα βίντεο Deepfake δημιουργούνται με οικιακούς υπολογιστές, αλλά χρειάζεστε ισχυρή κάρτα γραφικών. Δείτε την πρώτη μας δοκιμή, που αποκαλύπτει γιατί είναι σημαντική η χρήση κατάλληλων βίντεο πηγής.

Τεχνικές Λεπτομέρειες

Οπτικά ελαττώματα

Οι εικόνες που χρησιμοποιήθηκαν για την εκπαίδευση του αλγορίθμου δεν περιείχαν σωστές εκφράσεις προσώπου για να καλύψουν το πρόσωπο του Σία, ούτε περιείχαν πλάνα προσώπου σε προφίλ. Εάν ο αλγόριθμος δεν έχει εκπαιδευτεί για αυτές τις καταστάσεις, δεν μπορεί να παράγει μια ακριβή ψηφιακή μάσκα. Δείτε πώς το στόμα του Σία εμφανίζεται κάτω από τη μάσκα, με αποτέλεσμα να προκύπτουν δύο στόματα.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

H64

Project reach

200

/2000 images

106000

/268000 times

64

/128 pixels

31

/63 hours

03. Διαδικασία

Πως φτιάχνεις ένα deepfake;

Χρειάζεστε δύο βίντεο: μια πηγή και έναν στόχο. Το πρόγραμμα εκπαιδεύεται χρησιμοποιώντας και τα δύο και δημιουργεί μια μάσκα από το βίντεο προέλευσης που καλύπτει το βίντεο στόχου μέσω λογισμικού.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

750

/2000 images

200000

/268000 times

128

/128 pixels

48

/63 hours




Target video source: The Devil Wears Prada | Andy's Interview

Πρωτότυπο

Σύνολο δεδομένων

Μάσκα

Ευθυγράμμιση

Deepfake

Δημοσίευση

Επιλέξτε ένα βίντεο-στόχο στο οποίο θέλετε να εισαγάγετε ένα πρόσωπο. Η επιλογή σταθερού βίντεο με σταθερό φόντο δίνει καλύτερο αποτέλεσμα.

04. Δεδομένα Εκπαίδευσης

Θα βελτιωθεί το πρόγραμμα εάν του δώσουμε περισσότερο περιεχόμενο;

Εδώ, δόθηκε σε δύο προγράμματα διαφορετικός αριθμός εικόνων. Η χρήση περισσότερου υλικού βελτιώνει το αποτέλεσμα. Το μοντέλο έχει περισσότερες πληροφορίες και αναπτύσσει μια καλύτερη μάσκα.

Τεχνικές Λεπτομέρειες

Το πείραμα έγινε με το ίδιο βίντεο προέλευσης, ενώ τα δύο μοντέλα εκπαιδεύτηκαν με τις ίδιες ρυθμίσεις στούντιο. Ο αριθμός των κύκλων εκπαίδευσης ανά εικόνα είναι ίσος, αλλά ο χρόνος εκπαίδευσης ήταν μεγαλύτερος με το μεγαλύτερο σύνολο δεδομένων. Ο αλγόριθμος που εκπαιδεύτηκε με περισσότερες εικόνες, παράγει ένα πιο εκλεπτυσμένο αποτέλεσμα που ταιριάζει καλύτερα με τον στό

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

200

/2000 images

200000

/20000

/268000 times

128

/128 pixels

8

/63 hours

Benedict Cumberbatch

Arthur

05. Κοινωνική Απάτη

Πόσο ευάλωτος είσαι; Μπορούμε να φτιάξουμε ένα καλό deepfake από τα μέσα κοινωνικής δικτύωσης σου;

Πήραμε όλες τις εικόνες στο Facebook από μέλος της ομάδας μας και φτιάξαμε ένα deepfake. Σχεδόν σε όλες τις εικόνες χαμογελούσε, οπότε ο αλγόριθμος δεν μπορεί να φτιάξει μια μη χαμογελαστή μάσκα.

Natalie Portman

Pilar

Τεχνικές Λεπτομέρειες

Οπτικά ελαττώματα

Ένα βίντεο περιέχει περισσότερες εκφάνσεις προσώπου από φωτογραφίες στο Facebook. Επειδή ο καθένας ανεβάζει τις φωτογραφίες που επιλέγει στα μέσα κοινωνικής δικτύωσης, λείπει το είδος των εικόνων που απαιτούνται για τη δημιουργία ρεαλιστικών εκφράσεων προσώπου κατά την ομιλία. Η σύγχρονη τεχνολογία κατασκευάζει τέτοιες εκφράσεις, όμως χωρίς ποικίλο πηγαίο υλικό δεν δημιουργείται κάτι πειστικό.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

165

/2000 images

215000

/268000 times

128

/128 pixels

44

/63 hours

06. Επιλογή Στόχου

Η πηγή είναι σημαντική για την εκπαίδευση του αλγορίθμου. Τι γίνεται με το βίντεο-στόχο;

Ακόμη και με καλή πηγή, η δημιουργία deepfake ίσως είναι δύσκολη. Η ταινία Indiana Jones έχει χαοτικά πλάνα. Σε σύγκριση με τα καθαρά βίντεο που χρησιμοποιήθηκαν πριν, ο αλγόριθμος δυσκολεύεται.

Τεχνικές Λεπτομέρειες

Οπτικά ελαττώματα

Το deepfake εξήχθη με ανάλυση 64 px. Η χαμηλότερη ανάλυση σημαίνει ότι χρειάστηκε λιγότερος χρόνος για την εκπαίδευση του αλγορίθμου, επειδή το μοντέλο έπρεπε να μάθει μόνο πώς να δημιουργεί μια εικόνα χαμηλής ανάλυσης. Σε κοντινές λήψεις προσώπου, η χαμηλή ανάλυση είναι εμφανής.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

1400

/2000 images

100000

/268000 times

64

/128 pixels

8

/63 hours

Harrison Ford

Andrej

07. Μην ανοιγοκλείσεις τα μάτια

Τα δύο ταιριάζουν απόλυτα μαζί. Σε αυτό το βίντεο ο στόχος μιμείται ακόμη και το νέο του πρόσωπο.

Αυτό το deepfake φτιάχτηκε από απόσπασμα talk show, όπου ο Bill Hader υποδύεται τον Arnold Schwarzenegger. Με κατάλληλο πηγαίο υλικό για τον Arnold Schwarzenegger, τα αποτελέσματα ήταν πειστικά.

Bill Hader

Arnold Schwarzenegger

Τεχνικές Λεπτομέρειες

Οπτικά ελαττώματα

Η ανάμειξη προσώπου, ο τόνος δέρματος και η ανάλυση είναι πολύ καλές. Με τη μακρινή λήψη δύσκολα βλέπεις οποιοδήποτε θόλωμα. Η μόνη ένδειξη είναι όταν ο Bill Hader κινεί το δάχτυλό του μπροστά από το πρόσωπό του και αυτό εξαφανίζεται πίσω από τη μάσκα. Η διαφορά στην ευκρίνεια και η γωνία του δακτύλου υποδηλώνουν ότι ο δημιουργός προσπάθησε να κρύψει το εφέ στο post-production.

08. Ο χρόνος έχει σημασία

Θα βελτιωθούν τα αποτελέσματα εάν αφήσουμε τον αλγόριθμο να εξασκηθεί περισσότερο;

Εδώ, το ένα μοντέλο εκπαιδεύτηκε για 4 ώρες και το άλλο για 48 ώρες. Τα αποτελέσματα του μοντέλου των 48 ωρών έδειξαν βελτιωμένη λεπτομέρεια του προσώπου και ένα πιο τρισδιάστατο πρόσωπο.

Τεχνικές Λεπτομέρειες

Ο χρόνος εκπαίδευσης σχετίζεται με τις φορές που ο αλγόριθμος επεξεργάζεται τις εικόνες. Ο αλγόριθμος δημιουργεί το πρόσωπο (ή ψηφιακή μάσκα), το συγκρίνει με την εικόνα προέλευσης και μετά το προσαρμόζει για τη βελτίωση της ομοιότητας. Αυτές οι δράσεις εκτελούνται μία φορά για όλες τις εικόνες πηγής και μετά ο αλγόριθμος ξεκινά από την αρχή. Ο χρόνος διεκπεραίωσης εξαρτάται από την ισχύ του Η/Υ.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

Project reach

400

/400

/2000 images

20000

/268000 times

128

/128 pixels

4

/48

/63 hours

09. Αλγόριθμοι

Ένα τελευταίο πείραμα. Πώς ανταποκρίνονται διαφορετικοί αλγόριθμοι σε συγκεκριμένες συνθήκες;

Εδώ, δημιουργήσαμε μόνοι μας το βίντεο-πηγή και το βίντεο-στόχο. Οι μέθοδοι του αλγορίθμου είναι σαφώς ορατές. Ο H128 δημιουργεί μια τετράγωνη μάσκα, ενώ ο SAEHD ταιριάζει καλύτερα με το πρόσωπο.

Arthur

Andrej

Τεχνικές Λεπτομέρειες

Ο H128 είναι ελαφρύτερο μοντέλο, επιτυγχάνοντας ποιοτικά αποτελέσματα πιο γρήγορα. Η πιο ακριβής μάσκα του SAEHD είναι καλύτερη στην αντιμετώπιση του χεριού και στον φωτισμό. Ο H128 είναι καλύτερα εκπαιδευμένος για να φτιάχνει το πρόσωπο: η μάσκα είναι πιο ευκρινής, πιο σταθερή και αποδίδει καλύτερα με την κίνηση. Ωστόσο, με περισσότερο χρόνο εκπαίδευσης, ο SAEHD θα ξεπεράσει τον H128.

Algorithm

Dataset size

Iteration amount

Output resolution

Training time

SAEHD

H128

Project reach

500

/500

/2000 images

150000

/150000

/268000 times

128

/128 pixels

24

/40

/63 hours

10. Χρειάζεται Προσοχή

Ας δούμε τι πραγματικά συμβαίνει με τα deepfake βίντεο.

Τα deepfakes μπορεί να είναι υψηλής ποιότητας. Τα deepfakes μπορούν να χρησιμοποιηθούν για αναπαράσταση προσώπου και να κάνουν να φαίνεται ότι ένα άτομο είπε κάτι.

Τεχνικές Λεπτομέρειες

Η αναπαράσταση προσώπου απαιτεί μεγάλη υπολογιστική ισχύ, και είναι πολύ πιο δύσκολο να αναγνωριστεί. Πολλές από τις προκλήσεις που είδαμε δεν ισχύουν για την αναπαράσταση, αλλά ο αλγόριθμος ενεργεί με παρόμοιο τρόπο. Τα μέρη του προσώπου που έχουν αναπαραχθεί είναι ελαφρώς θολά και όχι λεπτομερή.

Δώστε προσοχή στον ήχο και αναζητήστε ελαττώματα με τον συγχρονισμό χειλιών. Χρησιμοποιώντας τις γνώσεις που αποκτήσατε, αναρωτηθείτε εάν ένα βίντεο είναι πιθανό να αποτελέσει στόχο και ή οι συνθήκες είναι κατάλληλες για μια πιθανή απάτη. Εάν έχετε αμφιβολίες, ελέγχετε πάντα την πηγή του βίντεο.

Ακολουθεί μια περίληψη των δεξιοτήτων που αποκτήσατε, ώστε να μπορείτε να ελέγξετε μόνοι σας τα βίντεο.

All the original deepfakes in this project were created with the open source software DeepFaceLab v10.1 by Iperov, under the GNU General Public License v3.0