Un premier système physique pour apprendre des tâches non linéaires sans processeur informatique traditionnel

Les scientifiques sont confrontés à de nombreux compromis lorsqu’ils tentent de construire et de faire évoluer des systèmes de type cérébral capables d’effectuer des opérations d’apprentissage automatique. Par exemple, les réseaux neuronaux artificiels sont capables d’apprendre des tâches complexes de langage et de vision, mais le processus d’apprentissage des ordinateurs pour effectuer ces tâches est lent et nécessite beaucoup de puissance.

Entraîner les machines à apprendre numériquement mais à effectuer des tâches de manière analogique (ce qui signifie que l’entrée varie en fonction d’une quantité physique, comme la tension) peut réduire le temps et la consommation d’énergie, mais de petites erreurs peuvent rapidement s’aggraver.

Un réseau électrique conçu précédemment par des chercheurs en physique et en ingénierie de l’Université de Pennsylvanie est plus évolutif car les erreurs ne se multiplient pas de la même manière à mesure que la taille du système augmente, mais il est sévèrement limité car il ne peut apprendre que des tâches linéaires, celles avec une relation simple entre l’entrée et la sortie.

Les chercheurs ont désormais créé un système analogique rapide, peu gourmand en énergie, évolutif et capable d’apprendre des tâches plus complexes, notamment les relations « ou exclusif » (XOR) et la régression non linéaire. C’est ce qu’on appelle un réseau d’apprentissage local contrastif ; les composants évoluent d’eux-mêmes en fonction de règles locales sans connaissance de la structure plus vaste.

Le professeur de physique Douglas J. Durian compare ce phénomène à la façon dont les neurones du cerveau humain ne savent pas ce que font les autres neurones et pourtant l’apprentissage émerge.

« Il peut apprendre, dans un sens d’apprentissage automatique, à effectuer des tâches utiles, de manière similaire à un réseau neuronal informatique, mais c’est un objet physique », explique le physicien Sam Dillavou, postdoctorant au sein du Durian Research Group et premier auteur d’un article sur le système publié dans Actes de l’Académie nationale des sciences.

« L’une des choses qui nous enthousiasme vraiment, c’est que, comme il n’a aucune connaissance de la structure du réseau, il est très tolérant aux erreurs, il est très robuste et peut être fabriqué de différentes manières, et nous pensons que cela ouvre de nombreuses possibilités pour faire évoluer ces choses », explique le professeur d’ingénierie Marc Z. Miskin.

« Je pense que c’est un système modèle idéal que nous pouvons étudier pour mieux comprendre toutes sortes de problèmes, y compris les problèmes biologiques », déclare Andrea J. Liu, professeur de physique. Elle ajoute qu’il pourrait également être utile pour s’interfacer avec des appareils qui collectent des données nécessitant un traitement, comme des caméras et des microphones.

Dans l’article, les auteurs affirment que leur système d’auto-apprentissage « offre une opportunité unique d’étudier l’apprentissage émergent. En comparaison avec les systèmes biologiques, y compris le cerveau, notre système repose sur une dynamique plus simple et bien comprise, est précisément entraînable et utilise des composants modulaires simples. »

Cette recherche s’appuie sur le cadre d’apprentissage couplé que Liu et le postdoctorant Menachem (Nachi) Stern ont conçu, publiant leurs résultats en 2021. Dans ce paradigme, un système physique qui n’est pas conçu pour accomplir une certaine tâche s’adapte aux entrées appliquées pour apprendre la tâche, tout en utilisant des règles d’apprentissage locales et aucun processeur centralisé.

Dillavou dit qu’il est venu à Penn spécifiquement pour ce projet, et il a travaillé sur la traduction du cadre de travail en simulation vers sa conception physique actuelle, qui peut être réalisée à l’aide de composants de circuits standard.

« L’un des aspects les plus fous de ce système est qu’il apprend tout seul ; nous le mettons simplement en place pour qu’il fonctionne », explique Dillavou. Les chercheurs alimentent uniquement les tensions en entrée, puis les transistors qui connectent les nœuds mettent à jour leurs propriétés en fonction de la règle d’apprentissage couplé.

« Comme la manière dont il calcule et apprend est basée sur la physique, il est beaucoup plus interprétable », explique Miskin. « On peut réellement comprendre ce qu’il essaie de faire parce qu’on a une bonne idée du mécanisme sous-jacent. C’est assez unique car beaucoup d’autres systèmes d’apprentissage sont des boîtes noires où il est beaucoup plus difficile de savoir pourquoi le réseau a fait ce qu’il a fait. »

Durian dit qu’il espère que cela « est le début d’un domaine énorme », notant qu’une autre postdoctorante de son laboratoire, Lauren Altman, construit des versions mécaniques de réseaux d’apprentissage locaux contrastifs.

Les chercheurs travaillent actuellement à l’amélioration de la conception, et Liu dit qu’il y a beaucoup de questions sur la durée de stockage de la mémoire, les effets du bruit, la meilleure architecture pour le réseau et s’il existe de meilleures formes de non-linéarité.

« On ne sait pas vraiment ce qui change à mesure que nous développons un système d’apprentissage », explique Miskin.

« Si vous pensez à un cerveau, il y a un énorme fossé entre un ver de terre doté de 300 neurones et un être humain, et il n’est pas évident de savoir d’où viennent ces capacités, ni comment les choses évoluent à mesure que l’on grandit. Disposer d’un système physique que l’on peut rendre de plus en plus grand, de plus en plus grand, est une opportunité d’étudier réellement cela. »