Flux de travail de conception expérimentale. un Session 1 : La première expérience consistait à montrer quatre séries d’images naturelles et synthétiques à chacun des 6 sujets pendant qu’ils subissaient une IRMf. Ces ensembles d’images ont été sélectionnés en fonction de leur activation moyenne prévue dans les 8 modèles de codage au niveau du sujet NSD (modèle “Groupe”). Les images naturelles candidates étaient l’ensemble de 9 000 × 8 = 72 000 images montrées à n’importe quel sujet dans les expériences NSD, à l’exception des 1000 images partagées (“Nat”). Les images synthétiques ont été créées à l’aide de NeuroGen, qui utilise BigGAN-deep comme générateur (“Syn”). Le premier ensemble d’images, appelé “GroupMaxNat”, sont les images naturelles avec le activation prédite la plus élevée dans le modèle de codage de groupe NSD. Le deuxième ensemble d’images, appelé “GroupAvgNat”, sont les images naturelles avec des activations prédites dans le modèle de groupe NSD qui sont les plus proches de la moyenne. Les deux derniers ensembles d’images, appelés “GroupMaxSyn ” et ” GroupAvgSyn “, sont des images synthétiques conçues par NeuroGen pour obtenir une activation maximale et moyenne dans le modèle de codage NSD de groupe, respectivement. Les régions d’intérêt, ou cibles, pour les expériences de la session 1 sont FFA1, EBA et VWFA1. b Session 2 : Les données de la session 1 ont été utilisées pour créer un modèle d’encodage personnalisé pour chacun des six sujets, et ces modèles d’encodage personnalisés (« Self ») ont été utilisés pour sélectionner des images naturelles et générer des images synthétiques qui devraient atteindre une activation maximale pour cette personne. Modèle d’encodage FFA1, nommé « SelfMaxNat » et « SelfMaxSyn ». Au cours de la session 2, nous avons également montré les images maximales de groupe de chaque sujet de la session 1 (« GroupMaxNat » et « GroupMaxSyn ») et les images personnalisées des autres sujets (« OtherMaxNat » et « OtherMaxSyn”) pour FFA1 afin de tester la spécificité de la personnalisation. Zone faciale fusiforme FFA, zone corporelle extrastriée EBA, zone de forme de mot visuel VWFA. Crédit : Biologie des communications (2023). DOI : 10.1038/s42003-023-05440-7
Des chercheurs de Weill Cornell Medicine, Cornell Tech et du campus Cornell d’Ithaca ont démontré l’utilisation d’images naturelles sélectionnées par l’IA et d’images synthétiques générées par l’IA comme outils neuroscientifiques pour sonder les zones de traitement visuel du cerveau. L’objectif est d’appliquer une approche basée sur les données pour comprendre comment la vision est organisée tout en supprimant potentiellement les biais qui peuvent survenir lors de l’examen des réponses à un ensemble plus limité d’images sélectionnées par les chercheurs.
Dans l’étude, publiée dans Biologie des communications, les chercheurs ont demandé à des volontaires d’examiner des images sélectionnées ou générées sur la base d’un modèle d’IA du système visuel humain. Il était prévu que les images activent au maximum plusieurs zones de traitement visuel. En utilisant l’imagerie par résonance magnétique fonctionnelle (IRMf) pour enregistrer l’activité cérébrale des volontaires, les chercheurs ont découvert que les images activaient les zones cibles de manière significativement meilleure que les images témoins.
Les chercheurs ont également montré qu’ils pouvaient utiliser ces données image-réponse pour affiner leur modèle de vision pour des volontaires individuels afin que les images générées pour être activées au maximum pour un individu particulier fonctionnent mieux que les images générées sur la base d’un modèle général.
“Nous pensons qu’il s’agit d’une nouvelle approche prometteuse pour étudier les neurosciences de la vision”, a déclaré l’auteur principal de l’étude, le Dr Amy Kuceyeski, professeur de mathématiques en radiologie et de mathématiques en neurosciences au Feil Family Brain and Mind Research Institute de Weill Cornell Medicine. .
L’étude était une collaboration avec le laboratoire du Dr Mert Sabuncu, professeur de génie électrique et informatique à Cornell Engineering et Cornell Tech et de génie électrique en radiologie à Weill Cornell Medicine. Le premier auteur de l’étude était le Dr Zijin Gu, un étudiant au doctorat co-encadré par le Dr Sabuncu et le Dr Kuceyeski au moment de l’étude.
Créer un modèle précis du système visuel humain, en partie en cartographiant les réponses cérébrales à des images spécifiques, est l’un des objectifs les plus ambitieux des neurosciences modernes. Les chercheurs ont découvert, par exemple, qu’une région de traitement visuel peut s’activer fortement en réponse à l’image d’un visage, tandis qu’une autre peut réagir à un paysage. Pour atteindre cet objectif, les scientifiques doivent s’appuyer principalement sur des méthodes non invasives, étant donné le risque et la difficulté d’enregistrer l’activité cérébrale directement avec des électrodes implantées.
La méthode non invasive préférée est l’IRMf, qui enregistre essentiellement les modifications du flux sanguin dans les petits vaisseaux du cerveau – une mesure indirecte de l’activité cérébrale – lorsque les sujets sont exposés à des stimuli sensoriels ou effectuent des tâches cognitives ou physiques. Un appareil IRMf peut lire ces minuscules changements en trois dimensions dans le cerveau avec une résolution de l’ordre du millimètre cube.
Pour leurs propres études, les Drs Kuceyeski et Sabuncu et leurs équipes ont utilisé un ensemble de données existant comprenant des dizaines de milliers d’images naturelles, avec les réponses IRMf correspondantes de sujets humains, pour former un système de type IA appelé réseau neuronal artificiel (ANN). pour modéliser le système de traitement visuel du cerveau humain.
Ils ont ensuite utilisé ce modèle pour prédire quelles images, dans l’ensemble de données, devraient activer au maximum plusieurs zones de vision ciblées du cerveau. Ils ont également couplé le modèle à un générateur d’images basé sur l’IA pour générer des images synthétiques afin d’accomplir la même tâche.
“Notre idée générale ici a été de cartographier et de modéliser le système visuel de manière systématique et impartiale, en principe même en utilisant des images qu’une personne ne rencontrerait normalement pas”, a déclaré le Dr Kuceyeski.
Les chercheurs ont recruté six volontaires et ont enregistré leurs réponses IRMf à ces images, en se concentrant sur les réponses dans plusieurs domaines de traitement visuel.
Les résultats ont montré que, tant pour les images naturelles que pour les images synthétiques, les images d’activateur maximal prévues, en moyenne pour tous les sujets, activaient les régions cérébrales ciblées de manière significative plus qu’un ensemble d’images sélectionnées ou générées pour n’être que des activateurs moyens. . Cela conforte la validité générale du modèle basé sur l’ANN de l’équipe et suggère que même les images synthétiques peuvent être utiles comme sondes pour tester et améliorer de tels modèles.
Dans une expérience de suivi, l’équipe a utilisé les données d’image et de réponse IRMf de la première session pour créer des modèles de système visuel distincts basés sur ANN pour chacun des six sujets. Ils ont ensuite utilisé ces modèles individualisés pour sélectionner ou générer des images d’activateur maximal prédites pour chaque sujet.
Les réponses IRMf à ces images ont montré que, au moins pour les images synthétiques, il y avait une plus grande activation de la région visuelle ciblée, une région de traitement du visage appelée FFA1, par rapport aux réponses aux images basées sur le modèle de groupe. Ce résultat suggère que l’IA et l’IRMf peuvent être utiles pour la modélisation individualisée du système visuel, par exemple pour étudier les différences d’organisation du système visuel entre les populations.
Les chercheurs mènent actuellement des expériences similaires en utilisant une version plus avancée du générateur d’images, appelée Stable Diffusion.
La même approche générale pourrait être utile pour étudier d’autres sens tels que l’audition, ont-ils noté.
Le Dr Kuceyeski espère également, à terme, étudier le potentiel thérapeutique de cette approche.
“En principe, nous pourrions modifier la connectivité entre deux parties du cerveau à l’aide de stimuli spécialement conçus, par exemple pour affaiblir une connexion qui provoque une anxiété excessive”, a-t-elle déclaré.
Plus d’information:
Zijin Gu et al, Les réponses du cerveau humain sont modulées lorsqu’elles sont exposées à des images naturelles optimisées ou à des images générées synthétiquement, Biologie des communications (2023). DOI : 10.1038/s42003-023-05440-7
Fourni par le Weill Cornell Medical College
Citation: Les scientifiques utilisent des images générées par l’IA pour cartographier les fonctions visuelles du cerveau (30 novembre 2023) récupéré le 30 novembre 2023 sur
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.