Des chercheurs présenteront un nouvel outil pour améliorer la transparence et la précision de l’IA lors d’une conférence

Si les grands modèles linguistiques (LLM) ont démontré des capacités remarquables en matière d’extraction de données et de génération de réponses connectées, de véritables questions se posent quant à la manière dont ces modèles d’intelligence artificielle (IA) parviennent à leurs réponses. Le risque est de générer des biais indésirables ou des « hallucinations » insensées ou inexactes, qui peuvent toutes deux conduire à des données erronées.

C’est pourquoi les chercheurs de la SMU Corey Clark et Steph Buongiorno présenteront un article lors de la prochaine conférence IEEE sur les jeux, prévue du 5 au 8 août à Milan, en Italie. Ils présenteront leur création d’un cadre GAME-KG, qui signifie « Gaming for Augmenting Metadata and Enhancing Knowledge Graphs » (Gaming pour augmenter les métadonnées et améliorer les graphes de connaissances).

La recherche est publiée sur le arXiv serveur de préimpression.

Un graphe de connaissances (KG) est une représentation structurée d’informations qui capture les relations entre les entités d’une manière facilement interprétable par les humains et les machines. Il organise les données en nœuds (représentant les entités) et en arêtes (représentant les relations entre les entités). Les humains créent et maintiennent des graphes de connaissances, en combinant leur expertise avec des outils et des algorithmes automatisés.

Le cadre développé par Clark et Buongiorno modifie les connexions explicites et implicites dans les graphes de connaissances, ce qui peut améliorer la capacité d’un LLM à fournir des réponses précises.

Bien que les graphes de connaissances améliorent les capacités de raisonnement et les performances d’un LLM, leur création peut s’avérer difficile en raison de la complexité de la capture, de l’organisation et de l’intégration de données provenant de diverses sources. Le cadre GAME-KG utilise des jeux vidéo pour recueillir des commentaires humains afin de modifier et de valider les graphes de connaissances afin de surmonter ces difficultés.

« GAME-KG est un moyen pour les humains d’interagir avec les KG pour intégrer de nouvelles connaissances ou corriger des malentendus », explique Clark, directeur adjoint du Guildhall, le programme d’études supérieures de la SMU en conception de jeux vidéo. « Il permet aux humains de corriger plus facilement une IA lorsque nous commençons à avoir des hallucinations. Et lorsque vous posez une question, l’IA utilise nos graphiques de connaissances modifiés pour fournir une réponse. Nous pouvons alors voir comment l’IA est arrivée à sa conclusion, car le graphique de connaissances nous permet de retracer les informations utilisées. »

Les recherches de Clark et Buongiorno explorent le potentiel de GAME-KG à travers deux démonstrations. La première utilise le jeu vidéo Dark Shadows. Ce jeu de mystère de style film noir recueille les commentaires des joueurs pour modifier et valider les graphiques de connaissances construits à partir de données recueillies dans les communiqués de presse du ministère américain de la Justice sur la traite des êtres humains.

La deuxième démonstration utilise le GPT-4 d’OpenAI pour répondre à des questions sur les communiqués de presse relatifs à la traite des êtres humains. Le programme d’IA est invité à fournir des réponses basées sur un graphique de connaissances original construit à partir des communiqués. Ensuite, un humain modifie le graphique de connaissances en connectant et en ajoutant des relations implicites entre les entités.

Sur la base de leurs résultats, les chercheurs estiment que le cadre GAME-KG est une étape importante vers l’exploitation du jeu pour modifier les graphiques de connaissances afin d’aider les LLM à produire des données précises.

« Nous travaillons sur l’utilisation des LLM pour des situations critiques, comme la traite des êtres humains. Il est essentiel de comprendre comment l’IA a trouvé sa réponse », a déclaré Buongiorno, chercheur postdoctoral à la SMU. « Nous devons nous demander : comment pouvons-nous rendre les LLM plus précis ? Comment pouvons-nous inspecter les données et réduire les hallucinations ? Nos recherches montrent que l’IA est un outil qui nécessite une interaction humaine pour le guider et le diriger. C’est à nous de créer la méthodologie pour rendre les LLM plus utiles et plus fiables. »