Des informaticiens développent une nouvelle caméra améliorée inspirée de l’œil humain

Une équipe dirigée par des informaticiens de l’Université du Maryland a inventé un mécanisme de caméra qui améliore la façon dont les robots voient et réagissent au monde qui les entoure. Inspiré du fonctionnement de l’œil humain, leur système de caméra innovant imite les minuscules mouvements involontaires utilisés par l’œil pour maintenir une vision claire et stable au fil du temps.

Le prototypage et les tests de la caméra par l’équipe, appelée Artificial Microsaccade-Enhanced Event Camera (AMI-EV), sont détaillés dans un article publié dans la revue Robotique scientifique.

« Les caméras événementielles sont une technologie relativement nouvelle, plus efficace que les caméras traditionnelles pour suivre les objets en mouvement, mais les caméras événementielles d’aujourd’hui ont du mal à capturer des images nettes et sans flou lorsqu’il y a beaucoup de mouvement », a déclaré l’auteur principal de l’article, Botao He, doctorant en informatique à l’UMD.

« C’est un gros problème car les robots et de nombreuses autres technologies, comme les voitures autonomes, ont besoin d’images précises et actualisées pour réagir correctement à un environnement changeant. Nous nous sommes donc demandé : comment les humains et les animaux s’assurent-ils que leur vision reste focalisée sur un objet en mouvement ? »

Pour l’équipe de He, la solution a été les microsaccades, de petits mouvements oculaires rapides qui se produisent involontairement lorsqu’une personne essaie de focaliser sa vue. Grâce à ces mouvements minuscules mais continus, l’œil humain peut se concentrer sur un objet et ses textures visuelles (comme la couleur, la profondeur et les ombres) avec précision au fil du temps.

« Nous avons pensé que, tout comme nos yeux ont besoin de ces petits mouvements pour rester concentrés, un appareil photo pourrait utiliser un principe similaire pour capturer des images claires et précises sans flou dû au mouvement », a-t-il déclaré.

L’équipe a réussi à reproduire des microsaccades en insérant un prisme rotatif à l’intérieur de l’AMI-EV pour rediriger les faisceaux lumineux capturés par la lentille. Le mouvement rotatif continu du prisme a simulé les mouvements qui se produisent naturellement dans un œil humain, permettant à la caméra de stabiliser les textures d’un objet enregistré comme le ferait un humain. L’équipe a ensuite développé un logiciel pour compenser le mouvement du prisme à l’intérieur de l’AMI-EV afin de consolider les images stables à partir des lumières changeantes.

Yiannis Aloimonos, co-auteur de l’étude et professeur d’informatique à l’UMD, considère l’invention de l’équipe comme un grand pas en avant dans le domaine de la vision robotique.

« Nos yeux prennent des photos du monde qui nous entoure et ces images sont envoyées à notre cerveau, où elles sont analysées. La perception se produit grâce à ce processus et c’est ainsi que nous comprenons le monde », explique Aloimonos, qui est également directeur du laboratoire de vision par ordinateur de l’Institut d’études avancées en informatique de l’Université du Maryland (UMIACS). « Lorsque vous travaillez avec des robots, remplacez les yeux par une caméra et le cerveau par un ordinateur. De meilleures caméras signifient une meilleure perception et de meilleures réactions pour les robots. »

Les chercheurs pensent également que leur innovation pourrait avoir des répercussions importantes au-delà de la robotique et de la défense nationale. Les scientifiques travaillant dans des secteurs qui dépendent de la précision de la capture d’images et de la détection de formes recherchent constamment des moyens d’améliorer leurs caméras. AMI-EV pourrait être la solution clé à de nombreux problèmes auxquels ils sont confrontés.

« Grâce à leurs caractéristiques uniques, les capteurs d’événements et l’AMI-EV sont sur le point d’occuper le devant de la scène dans le domaine des objets connectés intelligents », a déclaré la chercheuse Cornelia Fermüller, auteure principale de l’étude. « Ils présentent des avantages distincts par rapport aux caméras classiques, comme des performances supérieures dans des conditions d’éclairage extrêmes, une faible latence et une faible consommation d’énergie. Ces caractéristiques sont idéales pour les applications de réalité virtuelle, par exemple, où une expérience fluide et des calculs rapides des mouvements de la tête et du corps sont nécessaires. »

Lors des premiers tests, l’AMI-EV a pu capturer et afficher des mouvements avec précision dans divers contextes, notamment la détection du pouls humain et l’identification de formes en mouvement rapide. Les chercheurs ont également découvert qu’AMI-EV pouvait capturer des mouvements en dizaines de milliers d’images par seconde, surpassant ainsi la plupart des caméras commerciales disponibles sur le marché, qui capturent en moyenne 30 à 1 000 images par seconde.

Cette représentation plus fluide et plus réaliste du mouvement pourrait s’avérer essentielle dans de nombreux domaines, depuis la création d’expériences de réalité augmentée plus immersives et d’une meilleure surveillance de la sécurité jusqu’à l’amélioration de la façon dont les astronomes capturent des images dans l’espace.

« Notre nouveau système de caméra peut résoudre de nombreux problèmes spécifiques, comme aider une voiture autonome à déterminer ce qui est humain et ce qui ne l’est pas sur la route », a déclaré Aloimonos. « Il a donc de nombreuses applications avec lesquelles une grande partie du grand public interagit déjà, comme les systèmes de conduite autonome ou même les caméras de smartphone. Nous pensons que notre nouveau système de caméra ouvre la voie à des systèmes plus avancés et plus performants à venir. »