L'IA portable, non invasive et lisant les pensées transforme les pensées en texte

Dans le cadre d'une première mondiale, des chercheurs du Centre d'intelligence artificielle centrée sur l'humain GrapheneX-UTS de l'Université de technologie de Sydney (UTS) ont développé un système portable et non invasif capable de décoder les pensées silencieuses et de les transformer en texte.

La technologie pourrait faciliter la communication pour les personnes incapables de parler en raison d’une maladie ou d’une blessure, notamment d’un accident vasculaire cérébral ou d’une paralysie. Cela pourrait également permettre une communication transparente entre les humains et les machines, comme le fonctionnement d’un bras ou d’un robot bionique.

L'étude a été sélectionnée comme article phare de la conférence NeurIPS, une réunion annuelle qui présente la recherche de pointe sur l'intelligence artificielle et l'apprentissage automatique, qui s'est tenue à la Nouvelle-Orléans le 12 décembre 2023.

La recherche a été dirigée par le professeur distingué CT Lin, directeur du centre GrapheneX-UTS HAI, en collaboration avec le premier auteur Yiqun Duan et son collègue doctorant. candidat Jinzhou Zhou de la Faculté d'ingénierie et d'informatique de l'UTS.

Dans l’étude, les participants lisaient silencieusement des passages de texte tout en portant une casquette qui enregistrait l’activité électrique cérébrale à travers leur cuir chevelu à l’aide d’un électroencéphalogramme (EEG).

L'onde EEG est segmentée en unités distinctes qui capturent les caractéristiques et les modèles spécifiques du cerveau humain. Cela est réalisé par un modèle d'IA appelé DeWave, développé par les chercheurs. DeWave traduit les signaux EEG en mots et en phrases en apprenant à partir de grandes quantités de données EEG.

“Cette recherche représente un effort pionnier dans la traduction des ondes EEG brutes directement en langage, marquant une avancée significative dans ce domaine”, a déclaré Lin.

“C'est le premier à incorporer des techniques de codage discrètes dans le processus de traduction cerveau-texte, introduisant une approche innovante du décodage neuronal. L'intégration avec de grands modèles de langage ouvre également de nouvelles frontières en neurosciences et en IA”, a-t-il déclaré.

Les technologies précédentes permettant de traduire les signaux cérébraux en langage nécessitaient soit une intervention chirurgicale pour implanter des électrodes dans le cerveau, comme Neuralink d'Elon Musk, soit une numérisation dans un appareil IRM, qui est volumineux, coûteux et difficile à utiliser dans la vie quotidienne.

Ces méthodes ont également du mal à transformer les signaux cérébraux en segments au niveau des mots sans aides supplémentaires telles que le suivi oculaire, ce qui limite l'application pratique de ces systèmes. La nouvelle technologie peut être utilisée avec ou sans eye-tracking.

La recherche UTS a été réalisée avec 29 participants. Cela signifie qu’elle sera probablement plus robuste et adaptable que la technologie de décodage précédente qui n’a été testée que sur un ou deux individus, car les ondes EEG diffèrent d’un individu à l’autre.

L’utilisation de signaux EEG reçus via un capuchon plutôt que depuis des électrodes implantées dans le cerveau signifie que le signal est plus bruyant. Cependant, en termes de traduction EEG, l’étude a fait état de performances de pointe, dépassant les références précédentes.

“Le modèle est plus apte à faire correspondre les verbes que les noms. Cependant, en ce qui concerne les noms, nous avons constaté une tendance vers des paires de synonymes plutôt que des traductions précises, comme “l'homme” au lieu de “l'auteur””, a déclaré Duan.

“Nous pensons que cela est dû au fait que lorsque le cerveau traite ces mots, des mots sémantiquement similaires peuvent produire des modèles d'ondes cérébrales similaires. Malgré les défis, notre modèle donne des résultats significatifs, en alignant les mots-clés et en formant des structures de phrases similaires”, a-t-il déclaré.

Le score de précision de traduction est actuellement d’environ 40 % sur BLEU-1. Le score BLEU est un nombre compris entre zéro et un qui mesure la similitude du texte traduit automatiquement avec un ensemble de traductions de référence de haute qualité. Les chercheurs espèrent voir ce chiffre s’améliorer à un niveau comparable aux programmes traditionnels de traduction ou de reconnaissance vocale, qui sont plus proches de 90 %.

La recherche fait suite à une précédente technologie d’interface cerveau-ordinateur développée par l’UTS en association avec les forces de défense australiennes, qui utilise les ondes cérébrales pour commander un robot quadrupède.