Une étude révèle que les cliniciens pourraient être trompés par une IA biaisée, malgré les explications

Les modèles d’IA dans les soins de santé sont une arme à double tranchant, avec des modèles améliorant les décisions de diagnostic pour certaines données démographiques, mais aggravant les décisions pour d’autres lorsque le modèle a absorbé des données médicales biaisées.

Compte tenu des risques de vie et de mort très réels liés à la prise de décision clinique, les chercheurs et les décideurs politiques prennent des mesures pour garantir que les modèles d’IA sont sûrs, sécurisés et dignes de confiance, et que leur utilisation entraînera de meilleurs résultats.

La Food and Drug Administration des États-Unis supervise les logiciels basés sur l'IA et l'apprentissage automatique utilisés dans les soins de santé et a publié des conseils à l'intention des développeurs. Cela inclut un appel à garantir que la logique utilisée par les modèles d’IA est transparente ou explicable afin que les cliniciens puissent examiner le raisonnement sous-jacent.

Cependant, une nouvelle étude intitulée « Mesurer l'impact de l'IA sur le diagnostic des patients hospitalisés : une étude multicentrique par vignette d'enquête randomisée » publiée dans JAMA constate que même avec les explications fournies par l’IA, les cliniciens peuvent être trompés par des modèles d’IA biaisés.

“Le problème est que le clinicien doit comprendre ce que l'explication communique et l'explication elle-même”, a déclaré la première auteure Sarah Jabbour, titulaire d'un doctorat. candidat en informatique et ingénierie au College of Engineering de l'Université du Michigan.

L’équipe de l’UM a étudié les modèles d’IA et les explications de l’IA chez des patients souffrant d’insuffisance respiratoire aiguë.

“Déterminer pourquoi un patient souffre d'insuffisance respiratoire peut être difficile. Dans notre étude, nous avons constaté que la précision du diagnostic de base des cliniciens était d'environ 73 %”, a déclaré Michael Sjoding, MD, professeur agrégé de médecine interne à l'UM Medical School, co-sénior auteur de l'étude.

“Au cours du processus de diagnostic normal, nous réfléchissons aux antécédents d'un patient, aux tests de laboratoire et aux résultats d'imagerie, et essayons de synthétiser ces informations et d'établir un diagnostic. Il est logique qu'un modèle puisse contribuer à améliorer la précision.”

Jabbour, Sjoding, co-auteur principal, Jenna Wiens, Ph.D., professeure agrégée d'informatique et d'ingénierie et leur équipe multidisciplinaire ont conçu une étude pour évaluer l'exactitude diagnostique de 457 médecins hospitaliers, infirmières praticiennes et assistants médicaux avec et sans assistance. à partir d’un modèle d’IA.

Chaque clinicien a été invité à formuler des recommandations de traitement en fonction de son diagnostic. La moitié a été randomisée pour recevoir une explication de l’IA avec la décision du modèle d’IA, tandis que l’autre moitié a reçu uniquement la décision de l’IA sans explication.

Les cliniciens ont ensuite reçu de véritables vignettes cliniques de patients souffrant d'insuffisance respiratoire, ainsi qu'une évaluation du modèle d'IA indiquant si le patient souffrait de pneumonie, d'insuffisance cardiaque ou de BPCO.

Chez la moitié des participants randomisés pour voir des explications, le clinicien a reçu une carte thermique, ou représentation visuelle, de l'endroit où le modèle d'IA regardait sur la radiographie thoracique, qui a servi de base au diagnostic.

L’équipe a constaté que les cliniciens à qui on avait présenté un modèle d’IA formé pour faire des prédictions raisonnablement précises, mais sans explications, avaient vu leur propre précision augmenter de 2,9 points de pourcentage. Lorsqu’une explication leur a été fournie, leur précision a augmenté de 4,4 points de pourcentage.

Cependant, pour vérifier si une explication pourrait permettre aux cliniciens de reconnaître quand un modèle d'IA est clairement biaisé ou incorrect, l'équipe a également présenté aux cliniciens des modèles intentionnellement formés pour être biaisés, par exemple un modèle prédisant une forte probabilité de pneumonie si le patient était 80 ans ou plus.

“Les modèles d'IA sont sensibles aux raccourcis ou aux corrélations parasites dans les données d'entraînement. Étant donné un ensemble de données dans lequel les femmes sont sous-diagnostiquées avec une insuffisance cardiaque, le modèle pourrait détecter une association entre le fait d'être une femme et un risque moindre d'insuffisance cardiaque”, a expliqué Vienne.

“Si les cliniciens s'appuient ensuite sur un tel modèle, cela pourrait amplifier les biais existants. Si les explications pouvaient aider les cliniciens à identifier le raisonnement incorrect du modèle, cela pourrait aider à atténuer les risques.”

Cependant, lorsque l'on a montré aux cliniciens le modèle d'IA biaisé, leur précision a diminué de 11,3 points de pourcentage et les explications qui soulignaient explicitement que l'IA examinait des informations non pertinentes (telles que la faible densité osseuse chez les patients de plus de 80 ans) ne les ont pas aidés. se remettre de cette grave baisse de performance.

La baisse observée des performances s'aligne sur des études antérieures selon lesquelles les utilisateurs peuvent être trompés par les modèles, a noté l'équipe.

“Il reste encore beaucoup à faire pour développer de meilleurs outils d'explication afin que nous puissions mieux communiquer aux cliniciens pourquoi un modèle prend des décisions spécifiques d'une manière qu'ils peuvent comprendre. Cela va nécessiter de nombreuses discussions avec des experts de toutes les disciplines.” dit Jabbour.

L’équipe espère que cette étude stimulera davantage de recherches sur la mise en œuvre sûre de modèles basés sur l’IA dans les soins de santé auprès de toutes les populations et pour l’éducation médicale autour de l’IA et des préjugés.