Une nouvelle plateforme de simulation à grande échelle pour entraîner les robots aux tâches quotidiennes

Les performances des outils d’intelligence artificielle (IA), notamment de grands modèles informatiques pour les algorithmes de traitement du langage naturel (NLP) et de vision par ordinateur, se sont rapidement améliorées au cours des dernières décennies. L’une des raisons à cela est que les ensembles de données destinés à entraîner ces algorithmes ont connu une croissance exponentielle, collectant des centaines de milliers d’images et de textes, souvent collectés sur Internet.

Les données de formation pour les algorithmes de contrôle et de planification des robots, en revanche, restent beaucoup moins abondantes, en partie parce que leur acquisition n’est pas aussi simple. Certains informaticiens ont donc tenté de créer des ensembles de données et des plates-formes plus vastes qui pourraient être utilisés pour former des modèles informatiques pour un large éventail d'applications robotiques.

Dans un article récent, pré-publié sur le serveur arXiv et qui sera présentée lors de la conférence Robotics: Science and Systems 2024, des chercheurs de l'Université du Texas à Austin et NVIDIA Research ont présenté l'une de ces plates-formes, appelée RoboCasa.

RoboCasa est un cadre de simulation à grande échelle qui peut être utilisé pour former des robots généralistes à accomplir diverses tâches dans un environnement quotidien.

“Les progrès récents en matière d'IA ont été largement stimulés par la formation de grands modèles sur des sources de données massives”, a déclaré Yuke Zhu, auteur principal de l'article, à Tech Xplore.

“Inspirés par ces progrès, nous cherchons à développer des modèles de base pour des robots généralement performants, capables d'effectuer diverses tâches quotidiennes. RoboCasa est conçu pour fournir les données de simulation de haute qualité requises pour la formation de tels modèles de base robotiques.”

L'objectif principal des travaux récents de Zhu, Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi et Ajay Mandlekar était de développer une nouvelle plateforme de simulation open source qui faciliterait la formation d'algorithmes robotiques.

Leurs efforts ont finalement conduit au développement de RoboCasa, qui est une extension de RoboSuite, un framework de simulation qu'ils ont introduit il y a quelques années. RoboSuite sert d'infrastructure de simulation que l'équipe a utilisée pour créer les environnements simulés de RoboCasa.

“Nous avons utilisé des outils d'IA générative pour créer divers objets, scènes et tâches”, a expliqué Zhu. “Ces outils d'IA ont considérablement amélioré la diversité et le réalisme du monde simulé. De plus, RoboCasa prend en charge diverses plates-formes matérielles de robots et fournit de grands ensembles de données avec plus de 100 000 trajectoires pour la formation de modèles.”

La plateforme RoboCasa comprend des milliers de scènes 3D contenant plus de 150 types différents d'objets du quotidien et des dizaines de meubles et d'appareils électriques. RoboCasa propose des simulations très réalistes, enrichies à l'aide d'outils d'IA générative.

Zhu et ses collègues ont conçu 100 tâches sur lesquelles les algorithmes robotiques peuvent être formés et ont compilé des démonstrations humaines de haute qualité pour ces tâches. Leur plateforme comprend également des méthodes permettant de générer des trajectoires et des mouvements efficaces qui permettraient aux robots d'accomplir ces tâches.

“Deux découvertes clés m'ont le plus enthousiasmé”, a déclaré Zhu. « Premièrement, nous avons démontré une tendance à l'échelle : à mesure que nous augmentions la taille des ensembles de données d'entraînement (générés par la machine), les performances du modèle augmentaient régulièrement. Deuxièmement, en combinant les données de simulation avec des données du monde réel, nous avons constaté que l'ensemble de données augmenté améliorait la performances du robot dans des tâches du monde réel.

Lors des premières expériences, la nouvelle plateforme de simulation s'est avérée être une ressource précieuse pour générer des données d'entraînement synthétiques qui peuvent ensuite être utilisées pour entraîner des algorithmes d'apprentissage par imitation. Dans l’ensemble, cette étude démontre que les données de simulation peuvent être très efficaces dans la formation de modèles d’IA pour des applications robotiques.

À l’avenir, d’autres équipes pourraient expérimenter RoboCasa, qui est open source et donc facilement accessible sur GitHub. Pendant ce temps, Zhu et ses collègues prévoient de continuer à développer et à améliorer leur plateforme, afin de faciliter son utilisation généralisée au sein de la communauté robotique.

“Premièrement, nous visons à intégrer des méthodes d'IA générative plus avancées pour étendre davantage nos simulations, en capturant la variété et la richesse des environnements centrés sur l'humain, des maisons et des usines aux bureaux”, a ajouté Zhu.

“Deuxièmement, nous prévoyons de développer de meilleurs algorithmes pour exploiter les données de simulation afin de construire des systèmes robotiques plus robustes et généralisables dans le monde réel.”

© 2024 Réseau Science X