Un système qui permet aux robots d’utiliser des outils de manière créative en exploitant de grands modèles de langage

Des chercheurs de l’Université Carnegie Mellon et de Google DeepMind ont récemment développé RoboTool, un système capable d’élargir les capacités des robots, leur permettant d’utiliser des outils de manière plus créative. Ce système, présenté dans un article publié sur le arXiv serveur de préimpression, pourrait bientôt apporter une nouvelle vague d’innovation et de créativité dans le domaine de la robotique.

“L’utilisation d’outils est souvent considérée comme la marque d’une intelligence avancée”, a déclaré Mengdi Xu, doctorant en dernière année. candidat à l’Université Carnegie Mellon et co-premier auteur de l’article, a déclaré à Tech Xplore.

“Dans les expériences de Wolfgang Koehler, par exemple, les singes empilaient intelligemment des caisses pour accéder aux bananes suspendues hors de leur portée, tandis que les macaques crabiers utilisaient des pierres comme outils pour ouvrir les noix et les coquilles. Au-delà de l’utilisation d’outils pour l’usage prévu et du respect des procédures établies, l’utilisation d’outils Les outils de manière créative et non conventionnelle offrent des solutions plus flexibles mais présentent bien plus de défis en termes de capacités cognitives.

Les robots effectuent souvent des tâches manuelles de manière standard et répétitive sans explorer d’approches alternatives. Cependant, en explorant des façons plus créatives de faire les choses, ils pourraient mieux aborder des scénarios complexes du monde réel.

“En robotique, l’utilisation d’outils créatifs est également une capacité cruciale mais très exigeante car elle nécessite la capacité globale de prédire le résultat d’une action, de déterminer quels outils utiliser et de planifier comment les utiliser”, Peide Huang, co- premier auteur et doctorat. candidat, a déclaré.

L’objectif principal des travaux récents de Xu, Huang et de leurs collègues était de concevoir un système permettant aux robots d’utiliser les outils de manière plus créative. Un tel outil pourrait aider à résoudre plus efficacement de nombreux problèmes du monde réel, par exemple en permettant aux robots d’adapter leurs stratégies lorsqu’ils tentent de saisir des objets hors de portée ou de créer des marches pour grimper jusqu’à un emplacement cible.

« L’essor des grands modèles de langage (LLM) a considérablement amélioré les fonctionnalités des chatbots, l’automatisation du codage et la création de contenu visuel », a expliqué Huang. “Au-delà de ces interfaces numériques, l’IA incarnée pourrait représenter la prochaine frontière de l’intelligence, celle qui interagit de manière tangible avec le monde réel. Les robots, servant d’extensions physiques aux LLM, présentent un support idéal pour cette exploration.”

L’avènement des LLM et leur récente popularité ont encouragé les chercheurs à explorer leur utilisation dans le domaine de la robotique. Des études antérieures ont démontré le potentiel de ces modèles pour améliorer diverses capacités des robots, notamment leur communication avec les utilisateurs, ainsi que leur raisonnement, leur planification et leur exécution des tâches.

Par exemple, l’outil SayCan de Google DeepMind permet aux robots de comprendre des instructions en langage naturel telles que « J’ai renversé mon verre, pouvez-vous m’aider ? et ensuite concevoir des stratégies pour s’attaquer à diverses tâches domestiques. Pourtant, tirer parti des LLM pour résoudre des problèmes qui nécessitent un raisonnement avec des contraintes implicites fixées par le corps d’un robot et son environnement reste un défi.

Xu, Huang et leurs collègues ont entrepris d’explorer l’utilisation des LLM pour stimuler la créativité avec laquelle les robots abordent différentes tâches. En d’autres termes, leur espoir était de créer un système qui identifierait des moyens créatifs pour rendre possibles des tâches apparemment « impossibles ».

Le système qu’ils proposent, baptisé RoboTool, accepte les instructions en langage naturel composées d’informations textuelles et numériques sur l’environnement, les modes de réalisation du robot et toutes les contraintes à suivre. Il produit ensuite du code qui applique les compétences paramétrées de bas niveau d’un robot pour contrôler à la fois des robots simulés et physiques.

Le nouvel outil créé par les chercheurs comporte quatre éléments clés : un analyseur, un planificateur, une calculatrice et un codeur. L’analyseur traite les invites données par les utilisateurs en langage naturel, identifiant les éléments clés susceptibles d’affecter la faisabilité d’une tâche demandée.

Le composant de planification du système reçoit à la fois la langue d’origine et les concepts clés identifiés, les utilisant pour formuler une stratégie globale pour accomplir une tâche. Le composant calculateur, quant à lui, détermine les paramètres, tels que les positions cibles requises pour chaque compétence paramétrée.

Le dernier composant de RoboTool, le codeur, convertit le plan complet créé par le planificateur et les paramètres produits par la calculatrice en code exécutable. Notamment, tous ces composants ont été développés à l’aide du modèle GPT-4 par OpenAI.

RoboTool permet aux robots d’utiliser des outils de manière créative, résolvant ainsi une variété de tâches complexes qu’ils n’ont jamais rencontrées auparavant. Par exemple, il pourrait être utile de créer un levier pour soulever des boîtes lourdes ou un bâton de cubes magnétiques pour appuyer sur un bouton hors de portée.

Le nouvel outil développé par Xu, Huang et leurs collaborateurs pourrait bientôt être utilisé par les roboticiens du monde entier pour élargir les capacités des systèmes qu’ils proposent. L’outil peut, par exemple, permettre aux robots d’effectuer des tâches ménagères plus complexes, comme déboucher les canalisations ou réparer des meubles cassés à l’aide des outils disponibles.

“RoboTool pourrait également améliorer la navigation d’un robot parmi les débris ou les structures effondrées en improvisant avec les outils disponibles pour atteindre les individus piégés”, a déclaré Xu. “Il pourrait également être appliqué à la construction et à la maintenance, permettant aux robots de réparer de manière adaptative des machines ou des structures en utilisant les outils disponibles, ou de construire des conceptions complexes en combinant de manière créative des outils traditionnels.”

Les chercheurs ont déjà publié des vidéos de démonstration de RoboTool sur le site Web du projet. Dans leurs prochaines études, ils prévoient d’incorporer des modèles de base de vision à grande échelle dans leur système, y compris des modèles prenant en charge la vision par ordinateur 3D, car cela pourrait améliorer encore les capacités de détection et de raisonnement des robots dans des environnements de monde ouvert.

“Nous prévoyons également de développer des moyens intuitifs permettant aux humains d’instruire et de collaborer avec RoboTool, et d’établir des mesures de sécurité pour RoboTool qui réduisent les risques lorsque les robots travaillent aux côtés des humains”, Ding Zhao, professeur agrégé et directeur du laboratoire CMU Safe AI. , dit.

© 2023 Réseau Science X