Un réseau neuronal apprend à créer des cartes à l’aide de Minecraft

Imaginez que vous êtes au milieu d’une ville inconnue. Même si votre environnement vous paraît initialement inconnu, vous pouvez explorer les alentours et éventuellement créer une carte mentale de votre environnement, où se trouvent les bâtiments, les rues, les panneaux, etc. Cette capacité à construire des cartes spatiales dans le cerveau est à la base de types de cognition encore plus avancés chez les humains : par exemple, il existe une théorie selon laquelle le langage est codé dans une structure semblable à une carte dans le cerveau.

Malgré tout ce que l’intelligence artificielle et les réseaux neuronaux de pointe peuvent faire, ils ne peuvent pas construire des cartes à partir de rien.

« On a le sentiment que même les modèles d’IA les plus avancés ne sont pas encore vraiment intelligents », explique Matt Thomson, professeur adjoint de biologie computationnelle et chercheur à l’Heritage Medical Research Institute. « Ils ne résolvent pas les problèmes comme nous ; ils ne peuvent pas prouver des résultats mathématiques non prouvés ou générer de nouvelles idées. »

« Nous pensons que c’est parce qu’ils ne peuvent pas naviguer dans l’espace conceptuel ; résoudre des problèmes complexes revient à se déplacer dans un espace de concepts, à naviguer. Les IA font plutôt de la mémorisation par cœur : vous leur donnez une entrée et elles vous donnent une réponse. Mais elles ne sont pas capables de synthétiser des idées disparates. »

Un nouvel article du laboratoire Thomson révèle que les réseaux neuronaux peuvent être conçus pour créer des cartes spatiales à l’aide d’un type d’algorithme appelé codage prédictif. L’article a été publié dans la revue Nature Intelligence artificielle le 18 juillet.

Sous la direction de l’étudiant diplômé James Gornet, les deux environnements construits dans le jeu Minecraft, incorporant des éléments complexes comme des arbres, des rivières et des grottes. Ils ont enregistré des vidéos d’un joueur traversant la zone de manière aléatoire et ont utilisé la vidéo pour former un réseau neuronal équipé d’un algorithme de codage prédictif.

Ils ont découvert que le réseau neuronal est capable d’apprendre comment les objets du monde Minecraft sont organisés les uns par rapport aux autres et était capable de « prédire » quels environnements allaient apparaître lors des déplacements dans l’espace.

De plus, l’équipe a « ouvert » le réseau neuronal (l’équivalent en codage de « vérifier sous le capot ») et a constaté que les représentations des différents objets étaient stockées spatialement les unes par rapport aux autres. En d’autres termes, ils ont vu une carte de l’environnement Minecraft stockée dans le réseau neuronal.

Les réseaux neuronaux peuvent naviguer dans des cartes qui leur ont été fournies par des concepteurs humains, comme une voiture autonome utilisant le GPS, mais c’est la première fois qu’un réseau neuronal est capable de créer sa propre carte. Cette capacité à stocker et organiser spatialement les informations pourrait à terme aider les réseaux neuronaux à devenir plus « intelligents », leur permettant de résoudre des problèmes vraiment complexes comme les humains peuvent le faire.

Gornet est étudiant au Département des systèmes informatiques et neuronaux (CNS) de Caltech, qui couvre les neurosciences, l’apprentissage automatique, les mathématiques, les statistiques et la biologie.

« Le programme CNS a vraiment donné à James un endroit où faire un travail unique qui n’aurait pas été possible ailleurs », explique Thomson. « Nous adoptons une approche bio-inspirée de l’apprentissage automatique qui nous permet de rétroconcevoir les propriétés du cerveau dans les réseaux neuronaux artificiels, et nous espérons en apprendre davantage sur le cerveau à notre tour. Nous avons une communauté très réceptive à ce type de travail ici à Caltech. »