Apprendre à oublier : une arme dans l’arsenal contre l’IA nuisible

Alors que le sommet sur l’IA est en bonne voie, les chercheurs souhaitent soulever le problème très réel associé à cette technologie : lui apprendre à oublier.

La société est désormais en effervescence face à l’IA moderne et à ses capacités exceptionnelles ; On nous rappelle constamment ses avantages potentiels, dans de nombreux domaines, imprégnant pratiquement toutes les facettes de nos vies, mais aussi ses dangers.

Dans un domaine de recherche émergent, les scientifiques mettent en avant une arme importante dans notre arsenal pour atténuer les risques de l’IA : le « désapprentissage automatique ». Ils aident à trouver de nouvelles façons de faire oublier aux modèles d’IA connus sous le nom de réseaux de neurones profonds (DNN) les données qui présentent un risque pour la société.

Le problème est que recycler les programmes d’IA pour « oublier » les données est une tâche très coûteuse et ardue. Les DNN modernes tels que ceux basés sur des « grands modèles de langage » (comme ChatGPT, Bard, etc.) nécessitent d’énormes ressources pour être formés, et cela prend des semaines ou des mois. Ils nécessitent également des dizaines de gigawattheures d’énergie pour chaque programme de formation, certaines recherches estimant qu’il en faudrait autant pour alimenter des milliers de foyers pendant un an.

Le désapprentissage automatique est un domaine de recherche en plein essor qui pourrait supprimer les données problématiques des DNN rapidement, à moindre coût et en utilisant moins de ressources. L’objectif est de le faire tout en continuant à garantir une grande précision. Les experts en informatique de l’Université de Warwick, en collaboration avec Google DeepMind, sont à l’avant-garde de cette recherche.

Le professeur Peter Triantaflou, du Département d’informatique de l’Université de Warwick, a récemment co-écrit une publication « Towards Unbounded Machine Unlearning », qui apparaît sur le serveur de pré-impression. arXiv. Il a déclaré : « Les DNN sont des structures extrêmement complexes, comprenant jusqu’à des milliards de paramètres. Souvent, nous ne comprenons pas exactement comment et pourquoi ils atteignent leurs objectifs. Compte tenu de leur complexité, ainsi que de la complexité et de la taille des ensembles de données sur lesquels ils sont formés. sur, les DNN peuvent être nocifs pour la société.

“Les DNN peuvent être nuisibles, par exemple, s’ils sont formés sur des données biaisées, propageant ainsi des stéréotypes négatifs. Les données peuvent refléter des préjugés, des stéréotypes et des hypothèses sociétales erronées, comme un préjugé selon lequel les médecins sont des hommes, les infirmières des femmes, ou même des préjugés raciaux. les préjugés.

« Les DNN peuvent également contenir des données avec des « annotations erronées » – par exemple, un étiquetage incorrect d’éléments, comme l’étiquetage d’une image comme étant une contrefaçon profonde ou non.

« Il est alarmant de constater que les DNN peuvent être formés sur des données qui portent atteinte à la vie privée des individus. Cela pose un énorme défi aux mégaentreprises technologiques, qui disposent d’une législation importante (par exemple le RGPD) qui vise à protéger le droit à l’oubli – c’est le droit à l’oubli. droit de tout individu de demander que ses données soient supprimées de tout ensemble de données et programme d’IA.

« Nos recherches récentes ont abouti à un nouvel algorithme de « désapprentissage automatique » qui garantit que les DNN peuvent oublier les données douteuses, sans compromettre les performances globales de l’IA. L’algorithme peut être introduit dans le DNN, lui faisant oublier spécifiquement les données dont nous avons besoin, sans avoir à le faire. pour le recycler entièrement à partir de zéro. C’est le seul travail qui a différencié les besoins, les exigences et les mesures de réussite entre les trois différents types de données qui doivent être oubliées : les biais, les annotations erronées et les problèmes de confidentialité.

“Le désapprentissage automatique est un domaine de recherche passionnant qui peut constituer un outil important pour atténuer les risques liés à l’IA.”