Réseau neuronal de pointe dans le capteur piloté par les événements, conçu par les chercheurs. A) Comparaison entre les capteurs de vision basés sur des images et des événements. B) Le réseau neuronal de pointe dans le capteur conçu en combinant les avantages des caractéristiques événementielles et de l'informatique dans le capteur. C) Circuit de pixels conçu pour réaliser des caractéristiques programmables basées sur les événements. D) La relation entre l'intensité lumineuse d'entrée et les pics de sortie dans le pixel conçu. Crédit : Zhou et al.
Les capteurs de vision neuromorphique sont des dispositifs de détection uniques qui répondent automatiquement aux changements environnementaux, tels qu'une luminosité différente dans leur environnement. Ces capteurs imitent le fonctionnement du système nerveux humain, reproduisant artificiellement la capacité des neurones sensoriels à répondre préférentiellement aux changements de l'environnement détecté.
Généralement, ces capteurs capturent uniquement les mouvements dynamiques d'une scène, qui sont ensuite transmis à une unité de calcul qui les analysera et tentera de les reconnaître. Ces conceptions de systèmes, dans lesquelles les capteurs et les unités de calcul traitant les données qu'ils collectent sont physiquement séparés, peuvent créer un temps de latence dans le traitement des données des capteurs, tout en consommant davantage d'énergie.
Des chercheurs de l’Université polytechnique de Hong Kong, de l’Université des sciences et technologies de Huazhong et de l’Université des sciences et technologies de Hong Kong ont récemment développé de nouveaux capteurs de vision pilotés par événements qui capturent le mouvement dynamique et peuvent également le convertir en signaux de pointe programmables. Ces capteurs, présentés dans un article publié dans Électronique naturelleéliminent le besoin de transférer les données des capteurs vers les unités de calcul, permettant ainsi une meilleure efficacité énergétique et des vitesses plus rapides dans l'analyse des mouvements dynamiques capturés.
“L'architecture informatique proche et intégrée au capteur réduit efficacement la latence du transfert de données et la consommation d'énergie en effectuant directement des tâches de calcul à proximité ou à l'intérieur des terminaux sensoriels”, a déclaré Yang Chai, co-auteur de l'article, à Tech Xplore. “Notre groupe de recherche se consacre à l'étude des nouveaux dispositifs personnalisés pour le calcul proche et intégré au capteur. Cependant, nous avons constaté que les travaux existants se concentrent sur les capteurs conventionnels basés sur des trames, qui génèrent de nombreuses données redondantes.”
Les progrès récents dans le développement des réseaux de neurones artificiels (ANN) ont ouvert de nouvelles opportunités pour le développement de dispositifs de détection neuromorphique et de systèmes de reconnaissance d'images. Dans le cadre de leur récente étude, Chai et leurs collègues ont entrepris d'explorer le potentiel de combiner des capteurs basés sur des événements avec des réseaux neuronaux à pointe (SNN), des ANN qui imitent les schémas de déclenchement des neurones.
“La combinaison de capteurs basés sur les événements et d'un réseau neuronal à pointe (SNN) pour l'analyse du mouvement peut réduire efficacement les données redondantes et reconnaître efficacement le mouvement”, a déclaré Chai. “Ainsi, nous proposons une architecture matérielle avec des pixels à deux photodiodes avec les fonctions de capteurs basés sur les événements et de synapses pouvant réaliser un SNN intégré au capteur.”
Simulation de réseau neuronal à pointe intra-capteur (SNN) pour la reconnaissance de mouvement présentée dans l'article de l'équipe. A) Illustration du réseau de pixels SNN piloté par les événements et du schéma de circuit correspondant d'un seul pixel et d'un neurone de sortie. B) Le photocourant de sortie Itotal après le processus de détection de pixels. C) La distribution de photoréactivité de chaque tableau de sous-pixels après la formation. D) Les pointes de sortie générées par les neurones de sortie lors de l'agitation de la main gauche, de l'agitation de la main droite et de la rotation du bras sont effectuées séquentiellement. Crédit : Zhou et al.
Les nouveaux capteurs de vision informatiques basés sur les événements développés par Chai et ses collègues sont capables à la fois de détecter des événements et d'effectuer des calculs. Ces capteurs génèrent essentiellement des pics programmables en réponse aux changements de luminosité et d'intensité lumineuse des pixels enregistrés localement.
“La caractéristique événementielle est obtenue en utilisant deux branches avec une réponse photo opposée et des temps de réponse photo différents qui génèrent les signaux de pointe événementiels”, a expliqué Chai. “La caractéristique synaptique est réalisée par des photodiodes avec différentes photo-responsabilités qui permettent une modulation précise de l'amplitude des signaux de pointe, émulant différents poids synaptiques dans un SNN.”
Les chercheurs ont évalué leurs capteurs lors d'une série de tests initiaux et ont découvert qu'ils imitent efficacement les processus par lesquels les neurones du cerveau s'adaptent aux changements de scènes visuelles. Notamment, ces capteurs réduisent la quantité de données collectées, tout en éliminant également le besoin de transférer ces données vers une unité de calcul externe.
“Notre travail propose une méthode pour détecter et traiter le scénario en capturant le changement local d'intensité lumineuse au niveau des pixels, réalisant ainsi un SNN intégré au capteur au lieu d'un ANN conventionnel”, a déclaré Chai. “Une telle conception combine les avantages des capteurs basés sur les événements et de l'informatique intégrée aux capteurs, adaptée au traitement dynamique des informations en temps réel, comme la conduite autonome et les robots intelligents.”
À l’avenir, les capteurs de vision informatiques basés sur les événements développés par Chai et ses collègues pourraient être développés davantage et testés dans le cadre d’expériences supplémentaires, afin d’évaluer davantage leur valeur pour des applications réelles. En outre, ces travaux récents pourraient servir d’inspiration à d’autres groupes de recherche, ouvrant ainsi potentiellement la voie à de nouvelles technologies de détection combinant capteurs événementiels et SNN.
“À l'avenir, notre groupe se concentrera sur la réalisation au niveau du réseau et sur la technologie d'intégration d'un réseau de capteurs informatiques et de circuits CMOS pour démontrer un système informatique complet intégré au capteur”, a ajouté Chai. “En outre, nous essaierons de développer une référence pour définir les exigences métriques des appareils pour différentes applications et évaluer les performances du système informatique intégré au capteur de manière quantitative.”
Plus d'information:
Yue Zhou et al, Capteurs de vision informatiques pilotés par événements pour les réseaux neuronaux à pointe intégrée au capteur, Électronique naturelle (2023). DOI : 10.1038/s41928-023-01055-2
© 2023 Réseau Science X
Citation: Capteurs de vision informatiques pilotés par événements qui convertissent le mouvement en signaux de pointe (20 décembre 2023) récupéré le 20 décembre 2023 sur
Ce document est soumis au droit d'auteur. En dehors de toute utilisation équitable à des fins d'étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.
