Deepfakes et Deep Media: un nouveau champ de bataille pour la sécurité

Cet article fait partie d'un numéro spécial de VB. Lisez la série complète ici: AI et sécurité .

Le nombre de diphasés - des médias qui prennent une photo, un son ou une vidéo existante et remplacent l'identité de la personne dessus par une autre utilisant l'IA - augmentent rapidement. Cela est inquiétant, non seulement parce que ces contrefaçons peuvent être utilisées pour influencer l'opinion des gens lors d'élections ou pour enchevêtrer quelqu'un dans des crimes, mais aussi parce qu'elles ont déjà été abusées pour créer de la fausse pornographie et pour tromper le directeur d'une société d'énergie britannique .

Anticipant ce type de nouvelle réalité, l'union des établissements universitaires, des entreprises technologiques et des organisations à but non lucratif développe des moyens d'identifier les médias trompeurs générés par l'IA. Leurs travaux montrent que les outils de détection ne sont qu'une solution viable à court terme, alors que la course aux armements diphtérique ne fait que commencer.

Texte dipfake

Auparavant, la meilleure prose créée par l'IA ressemblait plus à des textes du jeu Mad Libs qu'au roman "Bunches of Wrath", mais les modèles de langage modernes peuvent désormais écrire des textes dont la présentation et la persuasion sont proches de celles écrites par une personne. Par exemple, le modèle GPT-2 , publié par la société de recherche OpenAI de San Francisco, crée des fragments dans le style d'articles ou de scripts de style new-yorkais pour le brainstorming en quelques secondes . Des chercheurs Le Center for Terrorism, Extremism and Counter-Terrorism du Middlebury Institute a suggéré que le GPT-2 et d'autres modèles similaires pourraient être mis en place pour défendre la supériorité de la race blanche, l'islamisme djihadiste et d'autres idéologies menaçantes - et cela soulève encore plus de préoccupations.

Ci-dessus: Frontend GPT-2, un modèle de langage formé de la firme de recherche OpenAI.
Image courtoisie: OpenAI

À la recherche d'un système capable de détecter le contenu synthétique, des chercheurs de la Paul G. Allen School of Computer Science and Engineering de l'Université de Washington et du Allen Institute of Artificial Intelligence ont développé Grover , un algorithme qui, selon eux, était capable de sélectionner 92% des diphages du test un ensemble composé de données ouvertes Common Crawl Corpus. L'équipe explique son succès avec une approche copywriting qui, selon eux, a permis de comprendre les caractéristiques du langage créé par l'IA.

Une équipe de scientifiques de Harvard et du MIT-IBM Watson AI Lab a publié séparément The Giant Language Model Test Room, un environnement Web qui tente de déterminer si le texte a été écrit à l'aide d'un modèle d'IA. Compte tenu du contexte sémantique, elle prédit les mots les plus susceptibles d'apparaître dans une phrase, écrivant essentiellement son propre texte. Si les mots de l'échantillon testé correspondent à 10, 100 ou 1000 mots les plus probables, l'indicateur devient respectivement vert, jaune ou rouge. En fait, elle utilise son propre texte prévisible comme guide pour identifier le contenu généré artificiellement.

Dipfake vidéos

L'IA moderne, générant de la vidéo, est tout aussi dangereuse et possède les mêmes capacités, sinon de grandes capacités, que son homologue naturelle. Un article académique publié par la startup basée à Hong Kong SenseTime, l'Université de technologie de Nanyang et l'Institut d'automatisation de l'Académie chinoise des sciences détaille le cadre qui édite les séquences en utilisant l'audio pour synthétiser une vidéo réaliste. Et des chercheurs d'Hyperconnect à Séoul ont récemment développé l'outil MarioNETte , qui peut manipuler les traits du visage d'une figure historique, d'un politicien ou d'un PDG, synthétisant un visage animé par les mouvements d'une autre personne.

Cependant, même les dipfakes les plus réalistes contiennent des artefacts qui les émettent. «Les dipfakes créés par les systèmes génératifs étudient un ensemble d'images réelles dans une vidéo, auquel vous ajoutez de nouvelles images, puis génèrent une nouvelle vidéo avec de nouvelles images», explique Ishay Rosenberg, chef du groupe de formation approfondie de la société de cybersécurité Deep Instinct. «La vidéo résultante est légèrement différente en raison des changements dans la distribution des données générées artificiellement et dans la distribution des données dans la vidéo originale. Ces soi-disant «aperçus dans la matrice» sont ce que les détecteurs diphtiques sont capables de distinguer ».

Ci-dessus: deux fausses vidéos créées en utilisant les techniques les plus avancées.
Image reproduite avec l'aimable autorisation de: SenseTime

L'été dernier, une équipe de l'Université de Californie à Berkeley et de l'Université de Californie du Sud a préparé un modèle pour rechercher des «unités d'action faciale» exactes - des données sur les mouvements du visage, les tiques et les expressions, y compris lors du lever de la lèvre supérieure et de tourner la tête lorsque les gens froncer les sourcils - pour identifier les fausses vidéos avec une précision de plus de 90%. De même, en août 2018, les participants au Media Forensics Program de l'US Defense Advanced Research Projects Agency (DARPA) ont testé des systèmescapable de détecter des vidéos générées par l'IA sur la base de signes tels que le clignotement artificiel, les mouvements étranges de la tête, la couleur inhabituelle des yeux et bien plus encore.

Plusieurs startups sont actuellement en train de commercialiser des outils similaires pour détecter de fausses images vidéo. Le laboratoire d'Amsterdam Deeptrace Labs propose un ensemble d'outils de surveillance visant à classer les dipfakes téléchargés sur les réseaux sociaux, les plateformes d'hébergement vidéo et les réseaux de désinformation. Dessa a proposé des méthodes pour améliorer les faux détecteurs formés sur de faux ensembles vidéo. Et en juillet 2018, Truepic a levé 8 millions de dollars.pour financer son service de détection en profondeur de contrefaçons en vidéo et photos. En décembre 2018, la société a acquis la startup Fourandsix, dont le détecteur d'images contrefaites a reçu une licence DARPA.

Ci-dessus: images dipfake éditées par AI.

En plus de développer des systèmes entièrement formés, un certain nombre d'entreprises ont publié des textes corps dans l'espoir que la communauté de recherche développera de nouvelles méthodes pour détecter les contrefaçons. Pour accélérer ce processus, Facebook, avec Amazon Web Services (AWS), Partnership on AI et des universitaires de plusieurs universités, ont dirigé le Deepfake Detection Challenge. Le programme a un ensemble d'échantillons vidéo avec des étiquettes indiquant que certains d'entre eux ont été affectés par l'intelligence artificielle. En septembre 2019, Google a publié une collection de contrefaçons visuellesdans le cadre du test FaceForensics, créé par l'Université technique de Munich et l'Université de Naples Federico II. Et plus récemment, des chercheurs de SenseTime, en collaboration avec l'Université de technologie de Nanyang à Singapour, ont développé DeeperForensics-1.0 , un ensemble de données pour détecter les contrefaçons qui, selon eux, sont les plus importantes du genre.

Dipfake Audio

L'IA et l'apprentissage automatique ne conviennent pas seulement à la synthèse de vidéos et de textes, ils peuvent également copier des voix. D'innombrables études ont montré qu'un petit ensemble de données est tout ce qui est nécessaire pour recréer le discours d'une personne. Les systèmes commerciaux tels que Resemble et Lyrebird nécessitent quelques minutes d'enregistrements audio, tandis que les modèles sophistiqués, tels que la dernière implémentation de Baidu Deep Voice, ne peuvent copier la voix qu'à partir d'un échantillon de 3,7 secondes.

Il n'y a pas tellement d'outils pour détecter les diphasés audio, mais des solutions commencent à apparaître.



Il y a quelques mois, l'équipe Resemble a publié un outil open source appelé Resemblyzer, qui utilise l'IA et l'apprentissage automatique pour détecter les dipfakes en acquérant des échantillons de voix de haut niveau et en prédisant s'ils sont réels ou simulés. Après avoir reçu un fichier audio avec discours, il crée une représentation mathématique résumant les caractéristiques de la voix enregistrée. Cela permet aux développeurs de comparer la similitude des deux votes ou de savoir qui parle en ce moment.

En janvier 2019, dans le cadre de la Google News Initiative, Google a publié un corpus de discours contenant des «milliers» de phrases prononcées à l'aide de modèles de synthèse vocale. Des échantillons ont été extraits d'articles en anglais lus par 68 voix synthétiques différentes dans différents dialectes. L'affaire est disponible pour tous les participants d' ASVspoof 2019 , un concours dont le but est de promouvoir les contre-mesures contre les faux discours.

Beaucoup à perdre

Aucun des détecteurs n'a atteint une précision parfaite, et les chercheurs n'ont pas encore trouvé comment identifier la fausse paternité. Deep Instinct Rosenberg s'attend à ce que cela inspire les mauvais acteurs à répandre des contrefaçons. "Même si un dipfake créé par un attaquant est détecté, seul le dipfake risque d'être divulgué", a-t-il déclaré. "Pour un acteur, le risque d'être pris est minime, il y a donc peu de contraintes contre la création de contrefaçons."

La théorie de Rosenberg est étayée par un rapport Deeptrace , qui a trouvé 14698 fausses vidéos en ligne lors de son dernier décompte en juin et juillet 2019. Sur une période de sept mois, leur nombre a augmenté de 84%. La grande majorité d'entre eux (96%) sont des vidéos pornographiques mettant en scène des femmes.

Compte tenu de ces chiffres, Rosenberg soutient que les entreprises qui «perdent beaucoup» en raison des diphasiques devraient développer et mettre en œuvre une technologie de détection en profondeur dans leurs produits, qui, à son avis, est similaire aux programmes antivirus. Et dans ce domaine, des changements sont apparus; Facebook a annoncé début janvier qu'il utiliserait une combinaison de systèmes automatisés et manuels pour détecter les faux contenus, et Twitter a récemment suggéré de signaler les diphakes et de supprimer ceux qui pourraient être nuisibles.

Bien sûr, les technologies sous-jacentes à la génération de dipfakes ne sont que des outils, et elles ont un grand potentiel pour de bonnes actions. Michael Klozer, responsable de Data & Trust chez Access Partnership, une société de conseil, a déclaré que la technologie était déjà utilisée pour améliorer les diagnostics médicaux et la détection du cancer, combler les lacunes dans la cartographie de l'univers et améliorer la formation des drones. Par conséquent, il met en garde contre l'utilisation de campagnes générales pour bloquer l'IA générative.

"Depuis que les dirigeants ont commencé à appliquer les normes juridiques existantes dans les affaires diplomatiques, il est très important maintenant de ne pas se débarrasser de technologies précieusesse débarrasser des contrefaçons », a déclaré Klozer. "En fin de compte, la jurisprudence et les normes sociales concernant l'utilisation de cette nouvelle technologie ne sont pas suffisamment mûres pour créer des lignes rouges brillantes qui délimitent l'utilisation et les abus loyaux."