Un aperçu du cadre de la méthode proposée. Nous entraînons initialement un PMC à imiter les mouvements des animaux en utilisant des inclusions latentes discrètes (étape 1). Le décodeur du PMC est réutilisé pour entraîner des contrôleurs de niveau environnemental pour la marche générale, la récupération après une chute, le ramper dans un espace étroit et le franchissement d’obstacles, de blocs et d’escaliers séparément, qui sont compressés en un contrôleur de niveau environnemental uniforme par distillation multi-experts (étape 2). À l’étape finale, nous réutilisons les réseaux de niveau environnemental et primitif pré-entraînés pour former un réseau de niveau stratégique pour résoudre un jeu de poursuite multi-agent conçu (étape 3). Crédit : Nature Intelligence artificielle (2024). DOI: 10.1038/s42256-024-00861-3
Les animaux à quatre pattes sont naturellement capables de mouvements agiles et adaptables, ce qui leur permet de se déplacer sur une grande variété de terrains. Au cours des dernières décennies, les roboticiens du monde entier ont essayé de reproduire efficacement ces mouvements dans des robots quadrupèdes (c’est-à-dire à quatre pattes).
Les modèles informatiques formés par apprentissage par renforcement se sont révélés particulièrement prometteurs pour permettre une locomotion agile chez les robots quadrupèdes. Cependant, ces modèles sont généralement formés dans des environnements simulés et leurs performances diminuent parfois lorsqu’ils sont appliqués à de vrais robots dans des environnements réels.
Des approches alternatives pour réaliser la locomotion agile des quadrupèdes utilisent des images d’animaux en mouvement collectées par des capteurs de mouvement et des caméras comme démonstrations, qui sont utilisées pour former les contrôleurs (c’est-à-dire les algorithmes d’exécution des mouvements des robots). Cette approche, surnommée « apprentissage par imitation », s’est avérée permettre la reproduction de mouvements de type animal chez certains robots quadrupèdes.
Des chercheurs de Tencent Robotics X en Chine ont récemment présenté un nouveau cadre hiérarchique qui pourrait faciliter l’exécution de mouvements agiles de type animal chez des robots à quatre pattes. Ce cadre, présenté dans un article publié dans Nature Intelligence artificiellea été initialement appliqué à un robot quadrupède appelé MAX, donnant des résultats très prometteurs.
« De nombreux efforts ont été faits pour obtenir une locomotion agile chez les robots quadrupèdes grâce à des contrôleurs classiques ou à des approches d’apprentissage par renforcement », ont écrit Lei Han, Qingxu Zhu et leurs collègues dans leur article. « Ces méthodes s’appuient généralement sur des modèles physiques ou des récompenses artisanales pour décrire avec précision le système spécifique, plutôt que sur une compréhension généralisée comme le font les animaux. Nous proposons un cadre hiérarchique pour construire des connaissances de niveau primitif, environnemental et stratégique qui sont toutes pré-entraînées, réutilisables et enrichissantes pour les robots à pattes. »
Le nouveau cadre proposé par les chercheurs s’étend sur trois étapes d’apprentissage par renforcement, chacune axée sur l’extraction de connaissances à un niveau différent des tâches de locomotion et de la perception du robot. Le contrôleur de l’équipe à chacune de ces étapes d’apprentissage est appelé respectivement contrôleur moteur primitif (PMC), contrôleur moteur environnemental-primitif (EPMC) et contrôleur moteur stratégique-environnemental-primitif (SEPMC).
« Le module primitif résume les connaissances issues des données sur les mouvements des animaux. En nous inspirant de grands modèles pré-entraînés en compréhension du langage et des images, nous introduisons des modèles génératifs profonds pour produire des signaux de contrôle moteur qui stimulent les robots à pattes à agir comme de vrais animaux », ont écrit les chercheurs. « Nous façonnons ensuite diverses capacités de déplacement à un niveau supérieur pour les aligner sur l’environnement en réutilisant le module primitif. Enfin, un module stratégique est formé, se concentrant sur des tâches complexes en aval en réutilisant les connaissances des niveaux précédents. »
Les chercheurs ont évalué leur proposition de cadre dans une série d’expériences, où ils l’ont appliquée à un robot quadrupède appelé MAX. Plus précisément, deux robots MAX ont été mis en compétition dans un jeu de type tag et le cadre a été utilisé pour contrôler leurs mouvements.
« Nous appliquons les contrôleurs hiérarchiques formés au robot MAX, un robot quadrupède développé en interne, pour imiter les animaux, traverser des obstacles complexes et jouer à un jeu de poursuite multi-agents conçu et stimulant, où l’agilité et la stratégie réalistes émergent chez les robots », a écrit l’équipe.
Lors des premiers tests, les chercheurs ont constaté que leur modèle permettait au robot MAX de traverser avec succès différents environnements, en effectuant des mouvements agiles qui ressemblent à ceux des animaux. À l’avenir, le modèle pourrait être adapté et appliqué à d’autres robots à quatre pattes, facilitant potentiellement leur déploiement dans des environnements réels.
Plus d’information:
Lei Han et al., Agilité et jeu réalistes chez des robots quadrupèdes utilisant l’apprentissage par renforcement et des modèles pré-entraînés génératifs, Nature Intelligence artificielle (2024). DOI: 10.1038/s42256-024-00861-3
© 2024 Réseau Science X
Citation:Un nouveau cadre permet des mouvements agiles de type animal chez les robots à quatre pattes (2024, 13 juillet) récupéré le 15 juillet 2024 à partir de
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre d’information uniquement.
