Exemple d’un système d’aide à la décision clinique intégré à de grands modèles linguistiques. Crédit : Médecine numérique npj (2024). DOI: 10.1038/s41746-024-01091-y
Les lignes directrices cliniques sont essentielles à la pratique de la médecine fondée sur des preuves, mais elles sont longues et complexes, ce qui rend difficile pour les médecins occupés de trouver rapidement et facilement les informations dont ils ont besoin pour soigner chaque patient.
Les membres du corps professoral du département de médecine interne de Yale étudient différentes approches pour rendre les directives cliniques plus accessibles aux cliniciens en les intégrant aux outils et aux flux de travail existants. Les outils qui s’appuient sur des modèles de langage étendus (LLM) pour générer des réponses aux questions cliniques sont prometteurs en raison de leur facilité d’utilisation et de leur capacité à répondre aux questions des médecins.
« Alors que nous développions un outil LLM pour aider les cliniciens à répondre à des questions sur l’hépatologie et les troubles gastro-intestinaux, nous avons réalisé que les sociétés de LLM convertissaient souvent automatiquement les directives cliniques d’un PDF en un document texte », a déclaré Dennis Shung, MD, Ph.D., professeur adjoint de médecine (maladies digestives). « Mais lorsque vous convertissez automatiquement ces directives, vous perdez des données importantes qui sont essentielles au raisonnement clinique. »
Dennis et son équipe ont remarqué que la perte de données était particulièrement importante dans les tableaux, les graphiques et les organigrammes. Les taux de précision de LLM étaient d’environ 80 % si un tableau ne contenait que du texte. Si une directive incluait un graphique, la précision tombait à environ 16 %. Si la directive incluait un organigramme, la précision tombait à près de zéro.
« C’est particulièrement inquiétant, car parfois les informations les plus importantes d’une ligne directrice se trouvent dans un organigramme », a déclaré le Dr Mauro Giuffrѐ, associé postdoctoral (maladies digestives). « Pour que les outils LLM soient utiles aux cliniciens, ils doivent être capables de comprendre toutes les données, et pas seulement certaines d’entre elles. »
Shung et Giuffrѐ ont publié un article intitulé « Optimisation des grands modèles de langage pour l’interprétation des directives médicales : un cadre basé sur une étude des directives sur le virus de l’hépatite C à l’aide de la génération augmentée de récupération » dans Médecine numérique njp qui a examiné comment différentes manières de formater le texte des lignes directrices sur le virus de l’hépatite C ont amélioré la précision de l’outil LLM afin qu’il puisse être plus utile aux cliniciens.
Simone Kresevic, chercheuse en troisième cycle (maladies digestives) et doctorante à l’Université de Trieste, a dirigé les efforts d’ingénierie logicielle pour tester les différentes configurations de LLM. Parmi les autres collaborateurs figuraient Milos Ajcevic et Agostino Accardo, professeurs d’ingénierie biomédicale à l’Université de Trieste, et Lory S. Crocè, professeur de gastroentérologie et d’hépatologie à l’Université de Trieste.
« Nous avons commencé sans aucun formatage, juste un PDF directement au format texte, formaté avec tous ses problèmes », a déclaré Giuffrѐ. « Ensuite, nous avons ajouté plus d’étiquettes et de spécificités pour donner au LLM plus d’informations sur chaque figure ou tableau, puis nous avons demandé au LLM de répondre à des questions sur les soins aux patients atteints d’hépatite C. »
Ils ont constaté qu’un formatage approprié du texte, des figures et des tableaux dans les directives cliniques permettait au modèle LLM de raisonner plus facilement sur les données, et que la précision s’améliorait considérablement.
Shung et Mauro affirment que ces résultats pourraient s’appliquer à d’autres lignes directrices et spécialités.
« Les LLM ne sont efficaces que dans la mesure où les informations sur lesquelles ils sont formés sont pertinentes », a déclaré Shung. « L’utilisation de versions de directives cliniques adaptées aux LLM pourrait nous aider à développer plus rapidement des outils de point de service qui fournissent des informations extrêmement précises et pertinentes aux cliniciens. »
En fin de compte, Shung et Mauro espèrent que les sociétés médicales créeront des versions de lignes directrices adaptées aux LLM afin que les LLM puissent facilement ingérer les lignes directrices sans avoir besoin de les reformater.
« Les sociétés médicales souhaitent que leurs membres pratiquent une médecine fondée sur des preuves, ce qui nécessite l’accès aux meilleures informations au bon moment pour chaque patient », a déclaré Shung.
« En créant des lignes directrices cliniques adaptées aux LLM, les sociétés médicales peuvent nous aider à créer des outils LLM à jour, complets et utilisant des sources fiables. Les cliniciens doivent avoir confiance dans les informations pour prendre les meilleures décisions en fonction du patient qui se trouve devant eux. »
Plus d’information:
Simone Kresevic et al, Optimisation de l’interprétation des directives cliniques hépatologiques par de grands modèles de langage : un cadre basé sur la génération augmentée de récupération, Médecine numérique npj (2024). DOI: 10.1038/s41746-024-01091-y
Fourni par l’Université Yale
Citation:Faire fonctionner les directives cliniques pour les grands modèles linguistiques (2024, 19 juillet) récupéré le 19 juillet 2024 à partir de
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre d’information uniquement.