L’algorithme d’entraînement brise les barrières des réseaux neuronaux physiques profonds

Des chercheurs de l'EPFL ont développé un algorithme pour entraîner un réseau neuronal analogique avec autant de précision qu'un réseau numérique, permettant ainsi le développement d'alternatives plus efficaces au matériel d'apprentissage profond gourmand en énergie.

Avec leur capacité à traiter de grandes quantités de données grâce à un « apprentissage » algorithmique plutôt qu'à la programmation traditionnelle, il semble souvent que le potentiel des réseaux neuronaux profonds comme Chat-GPT est illimité. Mais à mesure que la portée et l’impact de ces systèmes se sont accrus, leur taille, leur complexité et leur consommation d’énergie ont également augmenté, cette dernière étant suffisamment importante pour susciter des inquiétudes quant à leur contribution aux émissions mondiales de carbone.

Alors que nous pensons souvent au progrès technologique en termes de passage de l’analogique au numérique, les chercheurs recherchent désormais des réponses à ce problème dans des alternatives physiques aux réseaux neuronaux profonds numériques. L'un de ces chercheurs est Romain Fleury du Laboratoire d'ingénierie des vagues de la Faculté d'ingénierie de l'EPFL.

Dans un article publié dans Sciencelui et ses collègues décrivent un algorithme pour entraîner des systèmes physiques qui présente une vitesse améliorée, une robustesse améliorée et une consommation d'énergie réduite par rapport à d'autres méthodes.

“Nous avons testé avec succès notre algorithme d'entraînement sur trois systèmes physiques basés sur les ondes qui utilisent des ondes sonores, des ondes lumineuses et des micro-ondes pour transporter des informations plutôt que des électrons. Mais notre approche polyvalente peut être utilisée pour entraîner n'importe quel système physique”, explique le premier auteur et Ali Momeni, chercheur à LWE.

Une approche « plus biologiquement plausible »

La formation aux réseaux neuronaux consiste à aider les systèmes à apprendre à générer des valeurs optimales de paramètres pour une tâche telle que la reconnaissance d'images ou de parole. Cela implique traditionnellement deux étapes : une passe vers l'avant, où les données sont envoyées à travers le réseau et une fonction d'erreur est calculée en fonction de la sortie, et une passe vers l'arrière (également connue sous le nom de rétropropagation, ou BP), où un gradient de la fonction d'erreur avec par rapport à tous les paramètres du réseau est calculé.

Au fil des itérations répétées, le système se met à jour en fonction de ces deux calculs pour renvoyer des valeurs de plus en plus précises. Le problème? En plus d’être très gourmand en énergie, BP est mal adapté aux systèmes physiques. En fait, la formation des systèmes physiques nécessite généralement un jumeau numérique pour l’étape BP, ce qui est inefficace et comporte un risque de décalage entre la réalité et la simulation.

Les scientifiques ont proposé de remplacer l'étape BP par un deuxième passage à travers le système physique pour mettre à jour chaque couche réseau localement. En plus de réduire la consommation d’énergie et d’éliminer le besoin d’un jumeau numérique, cette méthode reflète mieux l’apprentissage humain.

“La structure des réseaux neuronaux est inspirée par le cerveau, mais il est peu probable que le cerveau apprenne via BP”, explique Momeni. “L'idée ici est que si nous entraînons chaque couche physique localement, nous pouvons utiliser notre système physique réel au lieu d'en construire d'abord un modèle numérique. Nous avons donc développé une approche plus plausible sur le plan biologique.”

Les chercheurs de l'EPFL, avec Philipp del Hougne du CNRS IETR et Babak Rahmani de Microsoft Research, ont utilisé leur algorithme d'apprentissage physique local (PhyLL) pour entraîner des systèmes acoustiques et micro-ondes expérimentaux et un système optique modélisé pour classer des données telles que les voyelles et les images. En plus de montrer une précision comparable à celle de la formation basée sur BP, la méthode était robuste et adaptable, même dans les systèmes exposés à des perturbations externes imprévisibles, par rapport à l'état de l'art.

Un avenir analogique ?

Bien que l'approche du LWE constitue la première formation sans BP de réseaux neuronaux physiques profonds, certaines mises à jour numériques des paramètres sont encore nécessaires. “Il s'agit d'une approche de formation hybride, mais notre objectif est de réduire autant que possible le calcul numérique”, explique Momeni.

Les chercheurs espèrent désormais mettre en œuvre leur algorithme sur un système optique à petite échelle dans le but ultime d’augmenter l’évolutivité du réseau.

“Dans nos expériences, nous avons utilisé des réseaux de neurones comportant jusqu'à 10 couches, mais est-ce que cela fonctionnerait toujours avec 100 couches avec des milliards de paramètres ? C'est la prochaine étape et nécessitera de surmonter les limitations techniques des systèmes physiques.”