Le système de téléopération de l’équipe. L’opérateur contrôle la main et le bras du robot à l’aide des positions des doigts et du poignet, respectivement. Le retour visuel et haptique du système, combiné à ses quatre capacités en temps réel, offre une expérience de réalité virtuelle intuitive et immersive à l’opérateur. Crédit : arXiv (2024). DOI: 10.48550/arxiv.2407.03162
L’apprentissage par imitation est une méthode prometteuse pour apprendre aux robots à accomplir de manière fiable des tâches quotidiennes, comme faire la vaisselle ou cuisiner. Malgré leur potentiel, les cadres d’apprentissage par imitation s’appuient sur des démonstrations humaines détaillées, qui devraient inclure des données pouvant aider à reproduire des mouvements spécifiques à l’aide de systèmes robotisés.
Une façon de recueillir ces démonstrations est d’utiliser des systèmes téléopérés, qui permettent aux humains de contrôler les mouvements de manipulateurs robotisés pour accomplir des tâches spécifiques. La plupart des systèmes de téléopération existants peinent cependant à reproduire efficacement les mouvements complexes et coordonnés effectués par les humains.
Des chercheurs de l’Université de Californie à San Diego ont récemment développé Bunny-VisionPro, un système qui permet la téléopération d’un système robotique pour effectuer des tâches de manipulation adroite bimanuelle. Ce système, présenté dans un article publié sur le site arXiv serveur de préimpression, pourrait faciliter la collecte de démonstrations humaines pour l’apprentissage par imitation.
« Notre article récent a été inspiré par la nécessité de faire progresser la téléopération bimanuelle adroite pour la robotique », a déclaré Xiaolong Wang, co-auteur de l’article, à Tech Xplore.
« Nous avons constaté que les systèmes de téléopération basés sur la vision existants se concentrent rarement sur le contrôle à deux mains, ce qui est crucial pour les tâches complexes nécessitant une coordination manuelle. »
L’objectif principal des travaux récents de Wang et de ses collègues était de développer un système de téléopération général qui pourrait bien se généraliser à différents types de robots et de tâches, simplifiant grandement la collecte de démonstrations pour former des algorithmes de contrôle robotique.
Le système qu’ils ont développé, appelé Bunny-VisionPro, pourrait rendre la téléopération et la collecte de données de démonstration aussi intuitives et immersives que de jouer à un jeu en réalité virtuelle (VR).
« Bunny-VisionPro est un système innovant de téléopération bimanuelle et adroite qui permet aux opérateurs humains de contrôler des bras robotisés doubles et des mains à plusieurs doigts en temps réel », a expliqué Wang. « Il permet une collecte de démonstrations de haute qualité pour stimuler l’apprentissage par imitation. »
Tâches de téléopération pour l’étude utilisateur testant notre système. À gauche : déplacement de la balle d’un trou à un autre. À droite : remise d’un jouet. Crédit : Ding et al.
L’appareil télécommandé par le système de l’équipe est portable et léger. Pendant que les utilisateurs télécommandent cet appareil, ils reçoivent également un retour visuel et haptique, ce qui rend leurs expériences plus immersives.
Lors des premiers tests, le système Bunny-VisionPro s’est avéré capable de contrôler en toute sécurité le manipulateur robotique en temps réel et avec une faible latence, tout en évitant les collisions avec les objets à proximité. Le système est également facile à installer et à déployer en laboratoire, ce qui en fait une solution prometteuse pour collecter des démonstrations dans les laboratoires de robotique.
Bunny-VisionPro possède trois composants clés : un module de contrôle du mouvement du bras, un module de reciblage de la main et du mouvement et un module de retour haptique.
« Le module de contrôle des mouvements du bras redirige la position du poignet humain vers la position de l’effecteur terminal du robot, gérant les problèmes de singularité et de collision », a déclaré Wang. « Le module de reciblage de la main et du mouvement mappe les positions de la main humaine vers les positions de la main du robot, y compris la prise en charge des structures à boucle articulée. Enfin, le module de retour haptique transfère la détection tactile du robot au retour haptique humain grâce à une conception algorithmique et matérielle. »
Le principal avantage du nouveau système de téléopération développé par Wang et ses collègues est qu’il permet de contrôler en toute sécurité un système robotique bimanuel en temps réel. Contrairement à plusieurs autres solutions introduites par le passé, il intègre également des fonctions haptiques et de retour visuel, ce qui rend la collection de démonstrateurs plus immersive pour les utilisateurs humains, tout en améliorant les taux de réussite de la téléopération du système.
« Le système de téléopération bimanuelle en temps réel que nous avons développé équilibre efficacement la sécurité et les performances », a déclaré Wang. « Ce système permet de contrôler les bras robotisés et les mains à plusieurs doigts avec un délai minimal, tout en intégrant la prévention des collisions et la gestion des singularités. C’est important pour travailler de manière fiable dans les applications robotiques du monde réel. »
Ces travaux récents de Wang et de ses collègues pourraient grandement simplifier l’utilisation de la téléopération pour collecter des démonstrations pour des cadres d’apprentissage par imitation. À l’avenir, Bunny-VisionPro pourrait être déployé dans d’autres laboratoires de robotique à travers le monde et pourrait inspirer le développement de systèmes de téléopération robotique immersifs similaires.
« Dans nos prochaines études, nous prévoyons d’améliorer encore les capacités de manipulation en exploitant les informations tactiles du robot pour une meilleure précision et une meilleure adaptabilité », a ajouté Wang. « Le code de notre système est open source et est accessible sur GitHub. »
Plus d’information:
Runyu Ding et al, Bunny-VisionPro : Téléopération adroite bimanuelle en temps réel pour l’apprentissage par imitation, arXiv (2024). DOI: 10.48550/arxiv.2407.03162
arXiv
© 2024 Réseau Science X
Citation:Un nouveau système permet la téléopération intuitive d’un manipulateur robotique en temps réel (2024, 16 juillet) récupéré le 16 juillet 2024 à partir de
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre d’information uniquement.