Des chercheurs exploitent l’impression à jet d’encre pour créer une caméra 3D multispectrale portable

Les chercheurs ont utilisé l’impression à jet d’encre pour créer une version multispectrale compacte d’une caméra à champ lumineux. La caméra, qui tient dans la paume de la main, pourrait être utile pour de nombreuses applications, notamment la conduite autonome, la classification des matériaux recyclés et la télédétection.

Les informations spectrales 3D peuvent être utiles pour classer des objets et des matériaux ; cependant, la capture d'informations spatiales et spectrales 3D à partir d'une scène nécessite généralement plusieurs appareils ou des processus de numérisation fastidieux. La nouvelle caméra à champ lumineux résout ce défi en acquérant simultanément des informations 3D et des données spectrales en un seul instantané.

“À notre connaissance, il s'agit de la version la plus avancée et la plus intégrée d'une caméra à champ lumineux multispectral”, a déclaré Uli Lemmer, chef de l'équipe de recherche de l'Institut de technologie de Karlsruhe en Allemagne. “Nous l'avons combiné avec de nouvelles méthodes d'IA pour reconstruire la profondeur et les propriétés spectrales de la scène afin de créer un système de capteurs avancé pour acquérir des informations 3D.”

Dans la revue Optique Express, les chercheurs rapportent que les nouvelles méthodes de reconstruction de caméra et d'image peuvent être utilisées pour distinguer les objets d'une scène en fonction de leurs caractéristiques spectrales. L'utilisation de l'impression à jet d'encre pour fabriquer les composants optiques clés de l'appareil photo permet de le personnaliser facilement ou de le fabriquer en grands volumes.

“Les données 3D reconstruites à partir d'images de caméras sont largement utilisées dans la réalité virtuelle et augmentée, les voitures autonomes, la robotique, les appareils domestiques intelligents, la télédétection et d'autres applications”, a déclaré Michael Heizmann, membre de l'équipe de recherche.

“Cette nouvelle technologie pourrait, par exemple, permettre aux robots de mieux interagir avec les humains ou d'améliorer la précision de la classification et de la séparation des matériaux lors du recyclage. Elle pourrait également être potentiellement utilisée pour classer les tissus sains et malades.”

Ajouter de la couleur avec l'impression jet d'encre

Les caméras à champ lumineux, également appelées caméras plénoptiques, sont des dispositifs d'imagerie spécialisés qui capturent la direction et l'intensité des rayons lumineux. Après l'acquisition de l'image, un traitement informatique est utilisé pour reconstruire les informations d'image 3D à partir des données acquises. Ces caméras utilisent généralement des réseaux de microlentilles alignés avec les pixels d’une puce de caméra haute résolution.

Pour créer une caméra à champ lumineux multispectral, les chercheurs ont utilisé l'impression à jet d'encre pour déposer une seule gouttelette de matériau afin de former chaque lentille individuelle sur un côté des lames de microscope ultrafines, puis ont imprimé des réseaux de filtres couleur entièrement alignés sur le côté opposé des lames de microscope. Le composant optique résultant a été intégré directement sur une puce de caméra CMOS. La méthode d'impression à jet d'encre a permis un alignement précis entre les composants optiques, réduisant considérablement la complexité de fabrication et améliorant l'efficacité.

Étant donné que cette configuration produit des informations spectrales et de profondeur qui sont entrelacées dans l’image de la caméra, les chercheurs ont développé des méthodes pour séparer chaque composant. Ils ont constaté qu’une approche basée sur l’apprentissage profond fonctionnait mieux pour extraire les informations souhaitées directement à partir des mesures acquises.

Détection d'objets basée sur le spectre

“Relever le défi de la création d'une caméra à champ lumineux multispectral n'a été possible qu'en combinant les avancées récentes en matière de fabrication, de conception de systèmes et de reconstruction d'images basées sur l'IA”, a déclaré Qiaoshuang Zhang, premier auteur de l'article. “Ce travail repousse les limites de l'impression à jet d'encre, une méthode polyvalente de haute précision et d'évolutivité industrielle, pour la fabrication de composants photoniques.”

Les chercheurs ont testé la caméra en enregistrant une scène de test contenant des objets 3D multicolores à différentes distances. L’algorithme de reconstruction d’images a été entraîné et testé sur de nombreuses images multispectrales synthétiques et réelles. Les résultats démontrent que le prototype de caméra peut acquérir simultanément des informations spatiales et spectrales 3D et que différents objets peuvent être imagés et distingués par leurs différentes compositions spectrales et informations de profondeur au sein d'un seul instantané.

Maintenant qu’ils ont terminé cette première preuve de concept, les chercheurs explorent diverses applications dans lesquelles une caméra à champ lumineux capable d’acquérir des informations multispectrales pourrait être utile.