Une équipe de recherche conçoit un système de vision biomimétique basé sur les yeux de la mante religieuse

Les voitures autonomes ont parfois des accidents parce que leur système visuel ne parvient pas toujours à traiter les objets statiques ou en mouvement lent dans l’espace 3D. À cet égard, elles ressemblent à la vision monoculaire de nombreux insectes, dont les yeux composés offrent un excellent suivi des mouvements et un large champ de vision, mais une perception de la profondeur médiocre.

Sauf la mante religieuse.

Le champ de vision d’une mante religieuse se chevauche également entre ses yeux gauche et droit, créant une vision binoculaire avec perception de la profondeur dans l’espace 3D.

En combinant cette idée avec une ingénierie optoélectrique astucieuse et une informatique de pointe innovante (traitement des données dans ou à proximité des capteurs qui les capturent), des chercheurs de l’École d’ingénierie et de sciences appliquées de l’Université de Virginie ont développé des yeux composés artificiels qui surmontent les limitations vexantes de la façon dont les machines collectent et traitent actuellement les données visuelles du monde réel. Ces limitations comprennent des problèmes de précision, des temps de latence dans le traitement des données et le besoin d’une puissance de calcul importante.

« Après avoir étudié le fonctionnement des yeux de la mante religieuse, nous avons réalisé qu’un système biomimétique capable de reproduire leurs capacités biologiques nécessitait le développement de nouvelles technologies », a déclaré Byungjoon Bae, candidat au doctorat au département de génie électrique et informatique Charles L. Brown.

À propos de ces mirettes biomimétiques

Les « yeux » soigneusement conçus par l’équipe imitent la nature en intégrant des microlentilles et plusieurs photodiodes, qui produisent un courant électrique lorsqu’elles sont exposées à la lumière. L’équipe a utilisé des matériaux semi-conducteurs flexibles pour imiter les formes convexes et les positions à facettes des yeux de la mante religieuse.

« Le fait de fabriquer un capteur en géométrie hémisphérique tout en conservant sa fonctionnalité est une réalisation de pointe, qui offre un large champ de vision et une perception de profondeur supérieure », a déclaré Bae. « Le système offre une perception spatiale précise en temps réel, ce qui est essentiel pour les applications qui interagissent avec des environnements dynamiques. »

Ces utilisations incluent les véhicules à faible consommation d’énergie et les drones, les véhicules autonomes, l’assemblage robotisé, les systèmes de surveillance et de sécurité et les appareils domestiques intelligents.

Bae, dont le conseiller est Kyusang Lee, professeur associé au département avec un poste secondaire en science et ingénierie des matériaux, est le premier auteur du récent article de l’équipe dans Robotique scientifique.

Parmi les découvertes importantes réalisées par l’équipe sur le système prototype du laboratoire, on trouve une réduction potentielle de la consommation d’énergie de plus de 400 fois par rapport aux systèmes visuels traditionnels.

Avantages de l’informatique en périphérie

Plutôt que d’utiliser le cloud computing, le système de Lee peut traiter les informations visuelles en temps réel, éliminant ainsi presque entièrement les coûts de temps et de ressources liés au transfert de données et au calcul externe, tout en minimisant la consommation d’énergie.

« La percée technologique de ce travail réside dans l’intégration de matériaux semi-conducteurs flexibles, de dispositifs conformes qui préservent les angles exacts au sein du dispositif, d’un composant de mémoire intégré au capteur et d’algorithmes de post-traitement uniques », a déclaré Bae.

L’essentiel est que le réseau de capteurs surveille en permanence les changements dans la scène, en identifiant les pixels qui ont changé et en codant ces informations dans des ensembles de données plus petits pour traitement.

Cette approche s’inspire de la façon dont les insectes perçoivent le monde à travers des indices visuels, en différenciant les pixels entre les scènes pour comprendre le mouvement et les données spatiales. Par exemple, comme d’autres insectes (et les humains aussi), la mante religieuse peut traiter rapidement les données visuelles en utilisant le phénomène de parallaxe de mouvement, dans lequel les objets proches semblent se déplacer plus rapidement que les objets éloignés. Un seul œil est nécessaire pour obtenir cet effet, mais la parallaxe de mouvement à elle seule ne suffit pas à une perception précise de la profondeur.

Les yeux des mantes religieuses sont particuliers car, comme nous, elles utilisent la stéréopsie (voir avec les deux yeux pour percevoir la profondeur) en plus de leurs géométries oculaires composées hémisphériques et de la parallaxe de mouvement pour comprendre leur environnement.

« La fusion transparente de ces matériaux et algorithmes avancés permet une perception spatiotemporelle 3D en temps réel, efficace et précise », a déclaré Lee, un chercheur prolifique en début de carrière dans le domaine des semi-conducteurs à couches minces et des capteurs intelligents.

« Le travail de notre équipe représente une avancée scientifique importante qui pourrait inspirer d’autres ingénieurs et scientifiques en démontrant une solution intelligente et biomimétique aux défis complexes du traitement visuel », a-t-il déclaré.