ChatGPT crée un faux rapport médical convaincant

Un truisme courant parmi les statisticiens est que « les données ne mentent pas ». Cependant, les découvertes récentes de chercheurs italiens pourraient inciter ceux qui étudient les données à réfléchir à deux fois avant de formuler de telles hypothèses.

Giuseppe Giannaccare, chirurgien ophtalmologiste à l’Université de Cagliari en Italie, rapporte que ChatGPT a évoqué une multitude de fausses données convaincantes pour soutenir une intervention chirurgicale oculaire plutôt qu’une autre.

“GPT-4 a créé un faux ensemble de données de centaines de patients en quelques minutes”, a déclaré Giannaccare. “Ce fut une expérience surprenante, mais effrayante.”

Il y a eu d’innombrables histoires sur les grandes réalisations et le potentiel de ChatGPT depuis que le modèle a été dévoilé au monde il y a un an. Mais à côté des points positifs, il y avait aussi des histoires de ChatGPT produisant des informations erronées, inexactes ou carrément fausses.

Ce mois-ci, le dictionnaire Cambridge a proclamé « halluciner », la tendance des grands modèles linguistiques à produire spontanément de fausses informations, comme mot de l’année.

Pour les étudiants qui recherchent des articles, ces fausses données sont une nuisance. Ils pourraient recevoir des notes d’échec. Pour deux avocats qui se sont involontairement appuyés sur ChatGPT au printemps dernier pour produire des histoires de cas qui se sont révélées être des inventions, la sanction a été une amende de 5 000 $ et des sanctions judiciaires.

Mais avec la preuve que de fausses données peuvent infiltrer les études médicales et influencer les procédures médicales, la menace et ses conséquences sont bien plus graves.

“C’était une chose que l’IA générative puisse être utilisée pour générer des textes qui ne seraient pas détectables à l’aide d’un logiciel anti-plagiat, mais la capacité de créer des ensembles de données faux mais réalistes est un autre niveau d’inquiétude”, déclare Elisabeth Bik, consultante en intégrité de la recherche. à San Francisco. “Cela permettra à tout chercheur ou groupe de chercheurs de créer très facilement de fausses mesures sur des patients inexistants, de fausses réponses à des questionnaires ou de générer un vaste ensemble de données sur des expérimentations animales.”

Giannaccare et son équipe ont demandé à GPT-4, lié à un modèle avancé d’analyse de données basé sur Python, de générer des données d’essais cliniques pour deux approches de traitement d’un trouble oculaire courant, le kératocône.

Le modèle a été alimenté en quantités massives de messages « très complexes » détaillant les affections oculaires, les statistiques du sujet et un ensemble de règles pour atteindre les résultats. Ils lui ont ensuite demandé de produire « des résultats visuels et topographiques nettement meilleurs » pour une procédure par rapport à l’autre.

Le résultat a été un argument convaincant en faveur de la procédure privilégiée, mais basé sur des informations entièrement fausses. Selon des tests réels antérieurs, il n’y avait pas de différence significative entre les deux approches.

“Il semble qu’il soit assez facile de créer des ensembles de données qui sont au moins superficiellement plausibles”, a déclaré Jack Wilkinson, biostatisticien à l’Université de Manchester, au Royaume-Uni. Il a déclaré que les résultats du GTP-4 “pour un œil non averti ressemblent certainement à un véritable ensemble de données”.

“Le but de cette recherche était de faire la lumière sur le côté obscur de l’IA, en démontrant à quel point il est facile de créer et de manipuler des données pour obtenir délibérément des résultats biaisés et générer de fausses preuves médicales”, a déclaré Giannaccare. “Une boîte de Pandore est ouverte et nous ne savons pas encore comment la communauté scientifique va réagir aux abus potentiels et aux menaces liées à l’IA.”

L’article intitulé “Large Language Model Advanced Data Analysis Abuse to Create a Fake Data Set in Medical Research”, paru dans la revue JAMA Ophtalmologie, reconnaît qu’un examen plus approfondi des données pourrait révéler des signes révélateurs d’une éventuelle fabrication. Un tel exemple était le nombre artificiel d’âges de sujets fabriqués se terminant par les chiffres 7 ou 8.

Giannaccare a déclaré que, dans la mesure où les résultats générés par l’IA contaminent les études factuelles, l’IA peut également contribuer au développement de meilleures approches de détection des fraudes.

« Une utilisation appropriée de l’IA peut être très bénéfique pour la recherche scientifique », a-t-il déclaré, ajoutant qu’elle « fera une différence substantielle sur l’avenir de l’intégrité académique ».

© 2023 Réseau Science X