Un outil détecte le texte généré par l’IA dans les revues scientifiques

À une époque où le monde universitaire s’inquiète de plus en plus des essais générés par l’IA, des nouvelles rassurantes nous parviennent de l’Université du Kansas.

Les chercheurs ont développé un détecteur de texte IA pour les essais scientifiques, capable de faire la distinction entre le contenu écrit par l’homme et le contenu généré par ordinateur dans presque 100 % du temps.

Dans une étude parue le 6 novembre dans Rapports cellulaires Sciences physiquesla professeure Heather Desaire a noté que même s’il existe actuellement plusieurs détecteurs d’IA pour le contenu général, aucun n’est particulièrement efficace lorsqu’il est appliqué aux articles scientifiques.

“La majeure partie du domaine de l’analyse de texte souhaite un détecteur vraiment général qui fonctionnera sur n’importe quoi”, a déclaré Desaire. Au lieu de cela, son équipe s’est concentrée sur des rapports rédigés spécifiquement pour des revues scientifiques sur le thème de la chimie.

“Nous recherchions vraiment la précision”, a-t-elle déclaré.

Le détecteur de l’équipe a été formé sur des revues publiées par l’American Chemical Society. Ils ont collecté 100 passages d’introduction rédigés par des professionnels, puis ont programmé ChatGPT pour rédiger ses propres introductions basées soit sur des résumés de revues, soit simplement sur les titres de rapports.

Lorsque le détecteur ChatGPT a analysé les trois catégories de rapports, il a correctement identifié les passages créés par des humains dans 100 % du temps, ainsi que les rapports générés à partir d’invites comprenant uniquement les titres des rapports. Les résultats étaient presque aussi bons avec des rapports s’appuyant sur des passages introductifs, avec une identification correcte dans 98 % des cas.

Un classificateur concurrent tel que ZeroGPT, qui affiche une précision de 98 % pour détecter les essais généraux écrits par l’IA, a cependant obtenu de mauvais résultats en ce qui concerne les rapports liés à la chimie. Il n’a atteint qu’un taux d’exactitude moyen de 37 % sur les mêmes rapports basés sur les titres, et seulement quelques points de pourcentage de mieux sur les rapports basés sur un texte d’introduction.

Un deuxième concurrent, OpenAI, a connu des résultats encore pires, ne parvenant pas à identifier correctement la paternité des essais dans 80 % des cas en moyenne.

“Les éditeurs universitaires sont aux prises avec l’adoption rapide et généralisée de nouveaux générateurs de texte basés sur l’intelligence artificielle”, a déclaré Desaire. “Ce nouveau détecteur permettra à la communauté scientifique d’évaluer l’infiltration de ChatGPT dans les revues de chimie, d’identifier les conséquences de son utilisation et d’introduire rapidement des stratégies d’atténuation lorsque des problèmes surviennent.”

Les revues scientifiques réécrivent leurs règles concernant la soumission d’articles, la plupart interdisant les rapports générés par l’IA et exigeant la divulgation de tout autre processus d’IA utilisé dans la rédaction d’un rapport.

Desaire a énuméré plusieurs préoccupations concernant les risques liés à l’infiltration de contenus générés par l’IA dans les revues scientifiques : « Leur surutilisation pourrait entraîner un flot de manuscrits de valeur marginale. Cela pourrait entraîner une surreprésentation des articles très cités et des travaux émergents, qui ne sont pas encore bien connus. , à ignorer.”

“Le plus inquiétant”, a-t-elle ajouté, “est la tendance de ces outils à “halluciner”, inventant des faits qui ne sont pas vrais.”

À titre d’illustration, Desaire a inclus une anecdote personnelle sur les résultats d’une notice biographique écrite par ChatGPT à son sujet. Il indique qu’elle “est diplômée de l’Université du Minnesota, est membre de la Royal Society of Chemistry et a remporté la médaille Biemann”. Des réalisations impressionnantes, mais toutes fausses.

“Même si cet exemple est amusant”, a déclaré Desaire, “infiltrer la littérature scientifique avec des contrevérités est loin d’être drôle”.

Mais elle reste optimiste. Certains disent qu’il est inévitable de résister à l’émergence de contenus générés par l’IA, a-t-elle déclaré, et ils affirment que « développer des outils comme celui-ci participe à une course aux armements (contre l’IA) que les humains ne gagneront pas ».

Elle a déclaré que les éditeurs doivent prendre les devants dans la détection de la contamination par l’IA.

“Les revues devraient prendre des mesures raisonnables pour garantir que leurs politiques en matière d’écriture sur l’IA soient respectées, et nous pensons qu’il est tout à fait possible de garder une longueur d’avance sur le problème de la détection de l’IA”, a-t-elle déclaré.

© 2023 Réseau Science X