SimPLE peut transformer des agencements d’objets non structurés (c’est-à-dire disposés de manière arbitraire sur la table) en agencements structurés où les configurations d’objets sont connues avec précision (c’est-à-dire sur des socles noirs sur cette image) en effectuant un pick-and-place précis. Il s’agit d’une tâche fondamentale dans les industries d’automatisation car elle élimine l’incertitude et simplifie considérablement toute tâche en aval. Crédit : vidéo SimPLE
La plupart des systèmes robotiques développés à ce jour peuvent soit s’attaquer à une tâche spécifique avec une grande précision, soit réaliser une série de tâches plus simples avec une faible précision. Par exemple, certains robots industriels peuvent très bien réaliser des tâches de fabrication spécifiques, mais ne peuvent pas s’adapter facilement à de nouvelles tâches. En revanche, les robots flexibles conçus pour manipuler une variété d’objets manquent souvent de la précision nécessaire pour être déployés dans des environnements pratiques.
Ce compromis entre précision et généralisation a jusqu’à présent entravé le déploiement à grande échelle de robots polyvalents ou, en d’autres termes, de robots capables d’assister les utilisateurs humains dans de nombreuses tâches différentes. L’une des capacités nécessaires pour résoudre divers problèmes du monde réel est celle de « pick and place » (saisir et placer avec précision), qui consiste à localiser, saisir et placer des objets à des endroits précis.
Des chercheurs du Massachusetts Institute of Technology (MIT) ont récemment présenté SimPLE (Simulation to Pick Localize and placE), une nouvelle méthode visuo-tactile basée sur l’apprentissage qui pourrait permettre aux systèmes robotiques de saisir et de placer une variété d’objets. Cette méthode, introduite en Robotique scientifiqueutilise la simulation pour apprendre à saisir, ressaisir et placer différents objets, ne nécessitant que des conceptions assistées par ordinateur de ces objets.
« Au cours de nos nombreuses années de travail sur la manipulation robotique, nous avons étroitement collaboré avec des partenaires industriels », ont déclaré Maria Bauza et Antonia Bronars, premières auteures de l’étude, à Tech Xplore. « Il s’avère que l’un des défis actuels de l’automatisation est la sélection et le placement précis des objets. Ce problème est complexe car il nécessite qu’un robot transforme un arrangement non structuré d’objets en un arrangement organisé, ce qui peut faciliter d’autres manipulations. »
Différents robots industriels sont déjà capables de saisir, de récupérer et de déposer différents objets. Pourtant, la plupart de ces approches ne s’appliquent qu’à un petit nombre d’objets couramment utilisés, tels que des boîtes, des tasses ou des bols, et ne mettent pas l’accent sur la précision.
Bauza, Bronars et leurs collègues ont entrepris de développer une nouvelle méthode qui permettrait aux robots de saisir et de placer avec précision n’importe quel objet, en s’appuyant uniquement sur des données simulées. Cette approche contraste avec de nombreuses approches précédentes, qui apprennent via des interactions réelles entre des robots et différents objets.
« SimPLE repose sur trois composants principaux, développés en simulation », expliquent Bauza et Bronars. « Tout d’abord, un module de saisie sensible à la tâche sélectionne un objet stable, observable et propice à la mise en place. Ensuite, un module de perception visuo-tactile fusionne la vision et le toucher pour localiser l’objet avec une grande précision. Enfin, un module de planification calcule le meilleur chemin vers la position cible, ce qui peut inclure la remise de l’objet à l’autre bras, si nécessaire. »
Les trois modules qui sous-tendent l’approche SimPLE permettent aux systèmes robotiques de calculer des plans robustes et efficaces pour manipuler des objets variés avec une grande précision. Son avantage le plus notable est que les robots n’auront pas besoin d’avoir interagi auparavant avec des objets du monde réel, ce qui accélère considérablement leur processus d’apprentissage.
« Notre travail propose une approche de pick-and-place précise qui permet d’atteindre la généralité sans nécessiter une expérience coûteuse en robotique réelle », ont déclaré Bauza et Bronars. « Pour ce faire, nous utilisons la simulation et des formes d’objets connues. »
Les chercheurs ont testé leur méthode dans le cadre d’une série d’expériences. Ils ont découvert qu’elle permettait à un système robotique de saisir et de placer avec succès 15 types d’objets de formes et de tailles variées, tout en surpassant les techniques de base permettant la manipulation d’objets par des robots.
SimPLE propose une approche capable de sélectionner et de placer des objets avec précision, entièrement apprise en simulation. Elle se compose de trois modèles : la saisie consciente des tâches, la perception visuo-tactile et la planification des mouvements. Nous montrons le transfert haute fidélité des modèles vers le système réel pour les 15 objets présentés au bas de la figure. Crédit : Robotique scientifique (2024). DOI: 10.1126/scirobotics.adi8808
Il convient de noter que ces travaux sont parmi les premiers à combiner des informations visuelles et tactiles pour entraîner des robots à des tâches de manipulation complexes. Les résultats prometteurs de l’équipe pourraient bientôt encourager d’autres chercheurs à développer des approches similaires pour l’apprentissage en simulation.
« Les implications pratiques de ce travail sont assez vastes », ont déclaré Bauza et Bronars. « SimPLE pourrait bien s’adapter aux industries où l’automatisation est déjà la norme, comme dans l’industrie automobile, mais pourrait également permettre l’automatisation dans de nombreux environnements semi-structurés tels que les usines de taille moyenne, les hôpitaux, les laboratoires médicaux, etc., où l’automatisation est moins courante. »
Les environnements semi-structurés sont des environnements qui ne changent pas radicalement en termes de disposition générale ou de structure, mais qui peuvent également être flexibles en termes de placement des objets ou de tâches à effectuer à un moment donné. SimPLE pourrait être bien adapté pour permettre aux robots d’effectuer des tâches dans ces environnements, sans nécessiter de formation approfondie dans le monde réel.
-
Déploiement dans le monde réel. Notre approche sélectionne d’abord la meilleure prise à partir d’un ensemble d’échantillons sur une image de profondeur (A). La meilleure prise a la qualité attendue la plus élevée compte tenu de l’estimation de la distribution des poses à partir de la vision et des scores de qualité de prise précalculés. Ensuite, nous avons exécuté la meilleure prise et mis à jour l’estimation de la pose, en incluant désormais des informations tactiles en plus de l’image de profondeur d’origine (B). Ensuite, nous avons pris la meilleure estimation de la vision et du tactile comme pose de départ et avons trouvé un plan qui mène à la pose cible en utilisant le graphique de reprise si nécessaire (C). Enfin, nous avons exécuté le plan (D). Crédit : Maria Bauza
-
Génération de modèles en simulation. À partir du modèle CAO de l’objet (A), nous avons échantillonné deux types de saisies sur l’objet. Les saisies sur table (B) sont accessibles à partir de la position de repos de l’objet sur la table. Pour chaque saisie sur table, nous avons simulé la profondeur correspondante et les images tactiles et utilisé ces images pour apprendre des modèles de perception visuo-tactile (E). Les saisies en l’air (C) sont accessibles pendant les saisies répétées. Nous avons connecté des échantillons de saisies en l’air qui sont cinématiquement réalisables dans un graphique de saisies répétées (F). Nous avons utilisé le modèle visuo-tactile et le graphique de saisie répétée pour calculer l’observabilité (Obs) et la manipulabilité (Mani) d’une saisie et les avons combinées avec la stabilité de la saisie (GS) pour évaluer la qualité de chaque saisie sur table (D). Crédit : Maria Bauza
« Dans ces environnements, la capacité à prendre un ensemble d’objets non structurés dans un agencement structuré est un atout pour toute tâche en aval », expliquent Bauza et Bronars. « Par exemple, une tâche de pick-and-place dans un laboratoire médical consisterait à prendre de nouveaux tubes à essai dans une boîte et à les placer avec précision dans un support. Une fois les tubes disposés, ils pourraient ensuite être placés dans une machine conçue pour tester son contenu ou servir à d’autres fins scientifiques. »
La méthode prometteuse développée par cette équipe de chercheurs pourrait bientôt être appliquée à un plus large éventail de données simulées et de modèles d’un plus grand nombre d’objets, afin de valider davantage ses performances et sa généralisabilité. Parallèlement, Bauza, Bronars et leurs collègues travaillent à accroître la dextérité et la robustesse de leur système proposé.
« Deux axes de travail futurs incluent l’amélioration de la dextérité du robot pour résoudre des tâches encore plus complexes et la fourniture d’une solution en boucle fermée qui, au lieu de calculer un plan, calcule une politique pour adapter ses actions en continu en fonction des observations des capteurs », ont ajouté Bauza et Bronars.
« Nous avons réalisé des progrès dans ce dernier domaine avec TEXterity, qui exploite les informations tactiles continues pendant l’exécution des tâches, et nous prévoyons de continuer à pousser la dextérité et la robustesse pour une manipulation de haute précision dans nos recherches en cours. »
Plus d’information:
Maria Bauza et al, SimPLE, une méthode visuo-tactile apprise en simulation pour sélectionner, localiser, ressaisir et placer précisément des objets, Robotique scientifique (2024). DOI: 10.1126/scirobotics.adi8808
© 2024 Réseau Science X
Citation:Une nouvelle méthode basée sur l’apprentissage entraîne les robots à saisir et à placer des objets de manière fiable (2024, 24 juillet) récupéré le 24 juillet 2024 à partir de
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre d’information uniquement.