Un nouvel outil détecte les vidéos générées par l’IA avec une précision de 93,7 %

Plus tôt cette année, un employé d’une société multinationale a envoyé 25 millions de dollars à des fraudeurs. Les instructions pour transférer l’argent provenaient – ​​pensa l’employé – directement du directeur financier de l’entreprise. En réalité, les criminels avaient utilisé un programme d’IA pour générer des vidéos réalistes du directeur financier et de plusieurs autres collègues dans le cadre d’un stratagème élaboré.

Les vidéos créées par l’IA sont devenues si réalistes que les humains (et les systèmes de détection existants) ont du mal à faire la distinction entre les vraies et les fausses vidéos. Pour résoudre ce problème, les chercheurs de Columbia Engineering, dirigés par le professeur d’informatique Junfeng Yang, ont développé un nouvel outil pour détecter les vidéos générées par l’IA appelé DIVID, abréviation de DIffusion-generated VIdeo Detector. DIVID développe le travail que l’équipe a publié plus tôt cette année : Raidar, qui détecte le texte généré par l’IA en analysant le texte lui-même, sans avoir besoin d’accéder au fonctionnement interne de grands modèles de langage.

Un document sur le nouvel outil apparaît sur le arXiv serveur de préimpression.

DIVID détecte une nouvelle génération de vidéos génératives d’IA

DIVID améliore les méthodes existantes antérieures qui détectent les vidéos génératives qui identifient efficacement les vidéos générées par d’anciens modèles d’IA tels que les réseaux contradictoires génératifs (GAN). Un GAN est un système d’IA doté de deux réseaux de neurones : l’un crée de fausses données et l’autre les évalue pour distinguer les fausses des vraies. Grâce à un feedback continu, les deux réseaux s’améliorent, ce qui donne lieu à une vidéo synthétique très réaliste. Les outils de détection d’IA actuels recherchent des signes révélateurs tels que des dispositions inhabituelles de pixels, des mouvements non naturels ou des incohérences entre les images qui ne se produiraient généralement pas dans de vraies vidéos.

La nouvelle génération d’outils vidéo d’IA générative, comme Sora d’OpenAI, Runway Gen-2 et Pika, utilise un modèle de diffusion pour créer des vidéos. Un modèle de diffusion est une technique d’IA qui crée des images et des vidéos en transformant progressivement un bruit aléatoire en une image claire et réaliste. Pour les vidéos, il affine chaque image individuellement tout en garantissant des transitions fluides, produisant des résultats réalistes de haute qualité. Cette sophistication croissante des vidéos générées par l’IA pose un défi important dans la détection de leur authenticité.

Le groupe de Yang a utilisé une technique appelée DIRE (DIffusion Reconstruction Error) pour détecter les images générées par diffusion. DIRE est une méthode qui mesure la différence entre une image d’entrée et l’image de sortie correspondante reconstruite par un modèle de diffusion pré-entraîné.

Extension des textes générés par l’IA de Raidar à la vidéo

Yang, qui codirige le Software Systems Lab, a étudié comment détecter le texte et les vidéos générés par l’IA. Plus tôt cette année, avec la sortie de Raidar, Yang et ses collaborateurs ont trouvé un moyen de détecter le texte généré par l’IA en analysant le texte lui-même, sans avoir besoin d’accéder au fonctionnement interne de grands modèles de langage comme chatGPT-4, Gemini ou Llama. Raidar utilise un modèle de langage pour reformuler ou modifier un texte donné, puis mesure le nombre de modifications apportées par le système au texte donné. De nombreuses modifications signifient que des humains ont probablement écrit le texte, tandis que moins de modifications signifient que le texte est probablement généré par une machine.

« L’idée de Raidar – selon laquelle le résultat d’une IA est souvent considéré comme de haute qualité par une autre IA et nécessitera donc moins de modifications – est vraiment puissante et s’étend au-delà du simple texte », a déclaré Yang. “Étant donné que la vidéo générée par l’IA devient de plus en plus réaliste, nous avons voulu nous inspirer de Raidar et créer un outil capable de détecter avec précision les vidéos générées par l’IA.”

Les chercheurs ont utilisé le même concept pour développer DIVID. Cette nouvelle méthode de détection vidéo générative peut identifier la vidéo générée par des modèles de diffusion. Le document de recherche, qui comprend du code et des ensembles de données open source, a été présenté lors de la Computer Vision and Pattern Recognition Conference (CVPR) à Seattle le 18 juin 2024.

Comment fonctionne DIVID

DIVID fonctionne en reconstruisant une vidéo et en analysant la vidéo nouvellement reconstruite par rapport à la vidéo originale. Il utilise les valeurs DIRE pour détecter les vidéos générées par diffusion puisque la méthode fonctionne sur l’hypothèse que les images reconstruites générées par les modèles de diffusion doivent se ressembler étroitement car elles sont échantillonnées. de la distribution du processus de diffusion. S’il y a des modifications importantes, la vidéo originale est probablement générée par l’homme. Sinon, il est probablement généré par l’IA.

Le cadre est basé sur l’idée que les outils de génération d’IA créent du contenu basé sur la distribution statistique de grands ensembles de données, ce qui donne lieu à un contenu plus « moyens statistiques » tels que les distributions d’intensité des pixels, les modèles de texture et les caractéristiques de bruit dans les images vidéo, les incohérences subtiles ou des artefacts qui changent de manière anormale entre les images, ou des motifs inhabituels qui sont plus probables dans les vidéos générées par diffusion que dans les vidéos réelles.

En revanche, les créations vidéo humaines présentent une individualité et s’écartent de la norme statistique. DIVID a atteint une précision de détection révolutionnaire allant jusqu’à 93,7 % pour les vidéos de son ensemble de données de référence de vidéos générées par diffusion à partir de Stable Vision Diffusion, Sora, Pika et Gen-2.

Pour l’instant, DIVID est un outil de ligne de commande qui analyse une vidéo et indique si elle est générée par l’IA ou par l’homme et ne peut être utilisé que par les développeurs. Les chercheurs notent que leur technologie a le potentiel d’être intégrée en tant que plugin à Zoom pour détecter les faux appels en temps réel. L’équipe envisage également de développer un site Web ou un plugin de navigateur pour rendre DIVID accessible aux utilisateurs ordinaires.

“Notre cadre constitue un pas en avant significatif dans la détection du contenu généré par l’IA”, a déclaré Yun-Yun Tsai, l’un des auteurs de l’article et titulaire d’un doctorat. élève de Yang. “Il y a beaucoup trop d’escrocs qui utilisent des vidéos générées par l’IA, et il est essentiel de les arrêter et de protéger la société.”

Et après?

Les chercheurs travaillent actuellement à améliorer le cadre de DIVID afin qu’il puisse gérer différents types de vidéos synthétiques à partir d’outils de génération vidéo open source. Ils utilisent également DIVID pour collecter des vidéos pour l’ensemble de données DIVID.