Restarting the experience
Ανακαλύψτε πως λειτουργούν τα deepfake και τα οπτικά στοιχεία μέσα από τα οποία μπορείτε να τα αναγνωρίσετε, με παραδείγματα από το διαδίκτυο.
Εδώ, το πρόσωπο ενός μωρού έχει επικαλυφθεί με εκείνο του Elon Musk. Η ανταλλαγή προσώπων είναι η συνηθέστερη χρήση deepfakes. Οι άκρες δεν είναι ευκρινείς και το χρώμα δέρματος είναι διαφορετικό.
Τεχνικές Λεπτομέρειες
Οπτικά ελαττώματα
Αναντιστοιχία χρώματος δέρματος: Υπάρχει διαφορά στον τόνο του δέρματος μεταξύ μάσκας και προσώπου-στόχου. Το πρόσωπο καλύπτεται από ένα στρώμα χρωμάτων, με εμφανείς άκρες ή κηλίδες.
Ένα deepfake δημιουργείται από ένα πρόγραμμα υπολογιστή που μπορεί να μάθει μόνο του πώς να αναδημιουργεί ένα πρόσωπο αναλύοντας πολυάριθμες εικόνες ενός ατόμου. Στη συνέχεια, το πρόγραμμα επικαλύπτει το πρόσωπο που έχει αναδημιουργήσει σε ένα υπάρχον βίντεο - κάτι σαν ψηφιακή μάσκα. Μπορείτε να δείτε ίχνη μιας τέτοιας μάσκας σε αυτό το βίντεο
Target Video
Deepfaked Video
Deepfake target video: YouTube | AndrewSchrock | Cutest Baby Montage Ever.
Deepfake video source: YouTube | TheFakening | Baby Elon Musk Montage Deepfake
Τα βίντεο Deepfake δημιουργούνται με οικιακούς υπολογιστές, αλλά χρειάζεστε ισχυρή κάρτα γραφικών. Δείτε την πρώτη μας δοκιμή, που αποκαλύπτει γιατί είναι σημαντική η χρήση κατάλληλων βίντεο πηγής.
Shia LaBeouf
Pilar
Target video source: YouTube | MotivaShian | Shia LaBeouf "Just Do It" Motivational Speech
Τεχνικές Λεπτομέρειες
Οπτικά ελαττώματα
Αναντιστοιχία χρώματος δέρματος: Υπάρχει διαφορά στον τόνο του δέρματος μεταξύ μάσκας και προσώπου-στόχου. Το πρόσωπο καλύπτεται από ένα στρώμα χρωμάτων, με εμφανείς άκρες ή κηλίδες.
Αναντιστοιχία Εκφράσεων: Οι εκφράσεις στο ψεύτικο πρόσωπο δεν ταιριάζουν με το πρόσωπο-στόχο. Τα χαρακτηριστικά δεν αντιδρούν φυσικά και είναι αόρατα, θολά ή επαναλαμβανόμενα.
Εμφανείς Άκρες: Οι άκρες της μάσκας είναι εμφανείς, είτε ως μία αιχμηρή είτε ως μία θολή άκρη που περιβάλλει το πρόσωπο.
Οι εικόνες που χρησιμοποιήθηκαν για την εκπαίδευση του αλγορίθμου δεν περιείχαν σωστές εκφράσεις προσώπου για να καλύψουν το πρόσωπο του Σία, ούτε περιείχαν πλάνα προσώπου σε προφίλ. Εάν ο αλγόριθμος δεν έχει εκπαιδευτεί για αυτές τις καταστάσεις, δεν μπορεί να παράγει μια ακριβή ψηφιακή μάσκα. Δείτε πώς το στόμα του Σία εμφανίζεται κάτω από τη μάσκα, με αποτέλεσμα να προκύπτουν δύο στόματα.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
H64
Project reach
200
/2000 images
106000
/268000 times
64
/128 pixels
31
/63 hours
Χρειάζεστε δύο βίντεο: μια πηγή και έναν στόχο. Το πρόγραμμα εκπαιδεύεται χρησιμοποιώντας και τα δύο και δημιουργεί μια μάσκα από το βίντεο προέλευσης που καλύπτει το βίντεο στόχου μέσω λογισμικού.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
750
/2000 images
200000
/268000 times
128
/128 pixels
48
/63 hours
Target video source: The Devil Wears Prada
| Andy's Interview
Πρωτότυπο
Σύνολο δεδομένων
Μάσκα
Ευθυγράμμιση
Deepfake
Δημοσίευση
Επιλέξτε ένα βίντεο-στόχο στο οποίο θέλετε να εισαγάγετε ένα πρόσωπο. Η επιλογή σταθερού βίντεο με σταθερό φόντο δίνει καλύτερο αποτέλεσμα.
Καταγράψτε ένα σύνολο δεδομένων για το πρόσωπο που θέλετε να τοποθετήσετε (την πηγή), ταιριάζοντας όσο το δυνατόν περισσότερο φωτισμό και εκφράσεις.
Καλύψτε τα πρόσωπα άλλων ατόμων στο βίντεο-στόχο, διαφορετικά θα τα εντοπίσει ο αλγόριθμος και θα μπερδέψει τη διαδικασία εκπαίδευσης.
Ο αλγόριθμος περικόπτει πρόσωπα, για χρήση κατά την εκπαίδευση, και αποθηκεύει τη θέση τους για να επικαλύψει με ακρίβεια τη μάσκα στη συνέχεια.
Ο αλγόριθμος δημιουργεί μια μάσκα του προσώπου από το βίντεο προέλευσης, η οποία πρέπει στη συνέχεια να ευθυγραμμιστεί πάνω στο βίντεο-στόχο.
Το λογισμικό επεξεργασίας βίντεο θα σας επιτρέψει να συνδυάσετε καλύτερα τη μάσκα και να βελτιώσετε το τελικό αποτέλεσμα.
Εδώ, δόθηκε σε δύο προγράμματα διαφορετικός αριθμός εικόνων. Η χρήση περισσότερου υλικού βελτιώνει το αποτέλεσμα. Το μοντέλο έχει περισσότερες πληροφορίες και αναπτύσσει μια καλύτερη μάσκα.
Τεχνικές Λεπτομέρειες
Το πείραμα έγινε με το ίδιο βίντεο προέλευσης, ενώ τα δύο μοντέλα εκπαιδεύτηκαν με τις ίδιες ρυθμίσεις στούντιο. Ο αριθμός των κύκλων εκπαίδευσης ανά εικόνα είναι ίσος, αλλά ο χρόνος εκπαίδευσης ήταν μεγαλύτερος με το μεγαλύτερο σύνολο δεδομένων. Ο αλγόριθμος που εκπαιδεύτηκε με περισσότερες εικόνες, παράγει ένα πιο εκλεπτυσμένο αποτέλεσμα που ταιριάζει καλύτερα με τον στό
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
200
/2000 images
200000
/20000
/268000 times
128
/128 pixels
8
/63 hours
Benedict Cumberbatch
Arthur
Original target video: Sherlock | The Reichenbach Fall | Rooftop Showdown
Πήραμε όλες τις εικόνες στο Facebook από μέλος της ομάδας μας και φτιάξαμε ένα deepfake. Σχεδόν σε όλες τις εικόνες χαμογελούσε, οπότε ο αλγόριθμος δεν μπορεί να φτιάξει μια μη χαμογελαστή μάσκα.
Natalie Portman
Pilar
Original target video: Star Wars: Episode I – The Phantom Menace | Padmé meets Anakin
Τεχνικές Λεπτομέρειες
Οπτικά ελαττώματα
Θολό πρόσωπο: Η μάσκα είναι θολή. Υπάρχει διαφορά στην ευκρίνεια ή την ανάλυση μεταξύ της μάσκας και του υπόλοιπου βίντεο
Αναντιστοιχία Εκφράσεων: Οι εκφράσεις στο ψεύτικο πρόσωπο δεν ταιριάζουν με το πρόσωπο-στόχο. Τα χαρακτηριστικά δεν αντιδρούν φυσικά και είναι αόρατα, θολά ή επαναλαμβανόμενα.
Όρια προφίλ: Η πλευρική όψη του προσώπου φαίνεται λανθασμένη. Η μάσκα deepfake είναι σπασμένη, λιγότερο λεπτομερής ή εσφαλμένα ευθυγραμμισμένη.
Ένα βίντεο περιέχει περισσότερες εκφάνσεις προσώπου από φωτογραφίες στο Facebook. Επειδή ο καθένας ανεβάζει τις φωτογραφίες που επιλέγει στα μέσα κοινωνικής δικτύωσης, λείπει το είδος των εικόνων που απαιτούνται για τη δημιουργία ρεαλιστικών εκφράσεων προσώπου κατά την ομιλία. Η σύγχρονη τεχνολογία κατασκευάζει τέτοιες εκφράσεις, όμως χωρίς ποικίλο πηγαίο υλικό δεν δημιουργείται κάτι πειστικό.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
165
/2000 images
215000
/268000 times
128
/128 pixels
44
/63 hours
Ακόμη και με καλή πηγή, η δημιουργία deepfake ίσως είναι δύσκολη. Η ταινία Indiana Jones έχει χαοτικά πλάνα. Σε σύγκριση με τα καθαρά βίντεο που χρησιμοποιήθηκαν πριν, ο αλγόριθμος δυσκολεύεται.
Τεχνικές Λεπτομέρειες
Οπτικά ελαττώματα
Θολό πρόσωπο: Η μάσκα είναι θολή. Υπάρχει διαφορά στην ευκρίνεια ή την ανάλυση μεταξύ της μάσκας και του υπόλοιπου βίντεο.
Τρεμόπαιγμα: Υπάρχει ένα τρεμόπαιγμα μεταξύ αρχικού και deepfake προσώπου. Ο αλγόριθμος δεν αναγνωρίζει το πρόσωπο και σταματά για λίγο τη δημιουργία μάσκας.
Λάθος προοπτική: Το deepfake έχει διαφορετική προοπτική από το υπόλοιπο βίντεο. Το βίντεο της πηγής και του στόχου διαφέρουν ως προς την εστιακή απόσταση.
Το deepfake εξήχθη με ανάλυση 64 px. Η χαμηλότερη ανάλυση σημαίνει ότι χρειάστηκε λιγότερος χρόνος για την εκπαίδευση του αλγορίθμου, επειδή το μοντέλο έπρεπε να μάθει μόνο πώς να δημιουργεί μια εικόνα χαμηλής ανάλυσης. Σε κοντινές λήψεις προσώπου, η χαμηλή ανάλυση είναι εμφανής.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
1400
/2000 images
100000
/268000 times
64
/128 pixels
8
/63 hours
Harrison Ford
Andrej
Original target video: Indiana Jones and the Temple of Doom | Rope Bridge Fight
Αυτό το deepfake φτιάχτηκε από απόσπασμα talk show, όπου ο Bill Hader υποδύεται τον Arnold Schwarzenegger. Με κατάλληλο πηγαίο υλικό για τον Arnold Schwarzenegger, τα αποτελέσματα ήταν πειστικά.
Bill Hader
Arnold Schwarzenegger
Original target video: Bill Hader Presents: Schwarzenegger Baby
Source deepfaked video: YouTube | Ctrl Shift Face | Bill Hader impersonates Arnold Schwarzenegger [DeepFake]
Τεχνικές Λεπτομέρειες
Οπτικά ελαττώματα
Απόκρυψη προσώπου: Όταν περνούν αντικείμενα μπροστά από το πρόσωπο, η μάσκα παραμορφώνει ή καλύπτει το αντικείμενο.
Η ανάμειξη προσώπου, ο τόνος δέρματος και η ανάλυση είναι πολύ καλές. Με τη μακρινή λήψη δύσκολα βλέπεις οποιοδήποτε θόλωμα. Η μόνη ένδειξη είναι όταν ο Bill Hader κινεί το δάχτυλό του μπροστά από το πρόσωπό του και αυτό εξαφανίζεται πίσω από τη μάσκα. Η διαφορά στην ευκρίνεια και η γωνία του δακτύλου υποδηλώνουν ότι ο δημιουργός προσπάθησε να κρύψει το εφέ στο post-production.
Εδώ, το ένα μοντέλο εκπαιδεύτηκε για 4 ώρες και το άλλο για 48 ώρες. Τα αποτελέσματα του μοντέλου των 48 ωρών έδειξαν βελτιωμένη λεπτομέρεια του προσώπου και ένα πιο τρισδιάστατο πρόσωπο.
Τεχνικές Λεπτομέρειες
Ο χρόνος εκπαίδευσης σχετίζεται με τις φορές που ο αλγόριθμος επεξεργάζεται τις εικόνες. Ο αλγόριθμος δημιουργεί το πρόσωπο (ή ψηφιακή μάσκα), το συγκρίνει με την εικόνα προέλευσης και μετά το προσαρμόζει για τη βελτίωση της ομοιότητας. Αυτές οι δράσεις εκτελούνται μία φορά για όλες τις εικόνες πηγής και μετά ο αλγόριθμος ξεκινά από την αρχή. Ο χρόνος διεκπεραίωσης εξαρτάται από την ισχύ του Η/Υ.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
Project reach
400
/400
/2000 images
20000
/268000 times
128
/128 pixels
4
/48
/63 hours
Constance Wu
Yueling
Original target video: YouTube | The Late Show with Stephen Colbert | Constance Wu Explains What "Couture" Means
Εδώ, δημιουργήσαμε μόνοι μας το βίντεο-πηγή και το βίντεο-στόχο. Οι μέθοδοι του αλγορίθμου είναι σαφώς ορατές. Ο H128 δημιουργεί μια τετράγωνη μάσκα, ενώ ο SAEHD ταιριάζει καλύτερα με το πρόσωπο.
Arthur
Andrej
Τεχνικές Λεπτομέρειες
Ο H128 είναι ελαφρύτερο μοντέλο, επιτυγχάνοντας ποιοτικά αποτελέσματα πιο γρήγορα. Η πιο ακριβής μάσκα του SAEHD είναι καλύτερη στην αντιμετώπιση του χεριού και στον φωτισμό. Ο H128 είναι καλύτερα εκπαιδευμένος για να φτιάχνει το πρόσωπο: η μάσκα είναι πιο ευκρινής, πιο σταθερή και αποδίδει καλύτερα με την κίνηση. Ωστόσο, με περισσότερο χρόνο εκπαίδευσης, ο SAEHD θα ξεπεράσει τον H128.
Algorithm
Dataset size
Iteration amount
Output resolution
Training time
SAEHD
H128
Project reach
500
/500
/2000 images
150000
/150000
/268000 times
128
/128 pixels
24
/40
/63 hours
Τα deepfakes μπορεί να είναι υψηλής ποιότητας. Τα deepfakes μπορούν να χρησιμοποιηθούν για αναπαράσταση προσώπου και να κάνουν να φαίνεται ότι ένα άτομο είπε κάτι.
Τεχνικές Λεπτομέρειες
Η αναπαράσταση προσώπου απαιτεί μεγάλη υπολογιστική ισχύ, και είναι πολύ πιο δύσκολο να αναγνωριστεί. Πολλές από τις προκλήσεις που είδαμε δεν ισχύουν για την αναπαράσταση, αλλά ο αλγόριθμος ενεργεί με παρόμοιο τρόπο. Τα μέρη του προσώπου που έχουν αναπαραχθεί είναι ελαφρώς θολά και όχι λεπτομερή.
Δώστε προσοχή στον ήχο και αναζητήστε ελαττώματα με τον συγχρονισμό χειλιών. Χρησιμοποιώντας τις γνώσεις που αποκτήσατε, αναρωτηθείτε εάν ένα βίντεο είναι πιθανό να αποτελέσει στόχο και ή οι συνθήκες είναι κατάλληλες για μια πιθανή απάτη. Εάν έχετε αμφιβολίες, ελέγχετε πάντα την πηγή του βίντεο.
Deepfake source video: YouTube | VFXChris Ume | Fake Freeman mouth manipulation.