Le chatbot IA montre son potentiel en tant que partenaire de diagnostic, selon les chercheurs

Des médecins enquêteurs du centre médical Beth Israel Deaconess (BIDMC) ont comparé le raisonnement probabiliste d'un chatbot à celui de cliniciens humains. Les résultats, publiés dans Réseau JAMA ouvertsuggèrent que l’intelligence artificielle pourrait constituer un outil utile d’aide à la décision clinique pour les médecins.

“Les humains ont du mal avec le raisonnement probabiliste, la pratique consistant à prendre des décisions basées sur le calcul des probabilités”, a déclaré l'auteur correspondant de l'étude, Adam Rodman, MD, médecin de médecine interne et chercheur au département de médecine du BIDMC.

“Le raisonnement probabiliste est l'un des nombreux composants de l'établissement d'un diagnostic, qui est un processus incroyablement complexe qui utilise une variété de stratégies cognitives différentes. Nous avons choisi d'évaluer le raisonnement probabiliste de manière isolée, car il s'agit d'un domaine bien connu dans lequel les humains pourraient utiliser un soutien. “

En basant leur étude sur une enquête nationale publiée précédemment auprès de plus de 550 praticiens effectuant un raisonnement probabiliste sur cinq cas médicaux, Rodman et ses collègues ont alimenté le Large Language Model (LLM) accessible au public, Chat GPT-4, la même série de cas et ont mené une étude identique. invitez 100 fois pour générer une gamme de réponses.

Le chatbot, tout comme les praticiens avant eux, avait pour mission d'estimer la probabilité d'un diagnostic donné en fonction de la présentation des patients. Ensuite, compte tenu des résultats de tests tels qu'une radiographie thoracique pour une pneumonie, une mammographie pour un cancer du sein, un test d'effort pour une maladie coronarienne et une culture d'urine pour une infection des voies urinaires, le programme chatbot a mis à jour ses estimations.

Lorsque les résultats des tests étaient positifs, c’était une sorte de match nul ; le chatbot était plus précis pour établir des diagnostics que les humains dans deux cas, tout aussi précis dans deux cas et moins précis dans un cas. Mais lorsque les tests se sont révélés négatifs, le chatbot a brillé, démontrant une plus grande précision dans l'établissement de diagnostics que les humains dans les cinq cas.

“Les humains ont parfois l'impression que le risque est plus élevé qu'après un résultat de test négatif, ce qui peut conduire à un traitement excessif, à davantage de tests et à une trop grande prise de médicaments”, a déclaré Rodman.

Mais Rodman s'intéresse moins à la manière dont les chatbots et les humains fonctionnent en face-à-face qu'à la façon dont les performances des médecins hautement qualifiés pourraient changer en réponse à la disponibilité de ces nouvelles technologies de soutien en clinique, a ajouté Rodman. Lui et ses collègues étudient la question.

“Les LLM ne peuvent pas accéder au monde extérieur : ils ne calculent pas les probabilités comme le font les épidémiologistes, ou même les joueurs de poker. Ce qu'ils font a beaucoup plus en commun avec la façon dont les humains prennent des décisions probabilistes ponctuelles”, a-t-il déclaré. .

“Mais c'est ce qui est passionnant. Même si elles sont imparfaites, leur facilité d'utilisation et leur capacité à être intégrées dans les flux de travail cliniques pourraient théoriquement permettre aux humains de prendre de meilleures décisions”, a-t-il déclaré. “Les recherches futures sur l'intelligence collective humaine et artificielle sont absolument nécessaires.”