Résultats des LLM conversationnels sur quatre tests d’orientation politique qui classent les candidats sur deux axes du spectre politique. Crédit : David Rozado, 2024, PLOS ONE, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
Lorsque 24 modèles linguistiques de grande taille (LLM) différents et à la pointe de la technologie ont été soumis à une batterie de tests différents conçus pour révéler l’orientation politique, une majorité significative a produit des réponses jugées de centre-gauche, selon une étude publiée le 31 juillet 2024 dans la revue en libre accès PLOS ONE par David Rozado de l’Otago Polytechnic, Nouvelle-Zélande.
Alors que les entreprises technologiques continuent d’intégrer des systèmes d’IA dans des produits tels que les résultats des moteurs de recherche, le potentiel de l’IA à façonner les perceptions des utilisateurs et donc la société est indéniable. Dans cette étude, Rozado a examiné le potentiel d’intégration et de réduction des préjugés politiques dans les LLM conversationnels.
Il a administré 11 tests d’orientation politique différents, tels que le Political Compass Test et le Political Test d’Eysenck à 24 LLM conversationnels open source et fermés différents, entre autres GPT 3.5 et GPT-4 d’OpenAI, Gemini de Google, Claude d’Anthropic, Grok de Twitter, Llama 2, Mistral et Qwen d’Alibaba.
Rozado a également utilisé des données personnalisées alignées politiquement pour effectuer un réglage fin supervisé sur une version de GPT 3.5 pour voir s’il pouvait facilement amener ce LLM à modifier les préférences politiques en fonction des données de réglage fin qui lui étaient fournies.
Le modèle GPT 3.5 de gauche s’est formé sur de courts extraits de textes provenant de publications comme The Atlantic et The New Yorker ; le modèle de droite s’est formé sur des textes provenant de The American Conservative et similaires ; et le modèle dépolarisant/neutre s’est formé sur le contenu de l’Institute for Cultural Evolution et du livre Developmental Politics.
Il a constaté que la plupart des modèles de LLM conversationnels testés généraient des réponses diagnostiquées par la majorité des instruments de test politiques utilisés ici comme des points de vue de centre-gauche. (Il a également testé cinq modèles de LLM fondamentaux, des séries GPT et Llama, et a constaté que ceux-ci avaient tendance à fournir des réponses pour la plupart incohérentes, bien que politiquement neutres.)
Rozado a également réussi à faire en sorte que les modèles affinés fournissent des réponses alignées sur le point de vue politique sur lequel ils ont été formés.
Une explication possible des réponses systématiquement orientées à gauche de tous les LLM analysés ici pourrait être que ChatGPT, en tant que LLM pionnier avec une grande popularité, a été utilisé pour peaufiner d’autres LLM – les préférences politiques de gauche de ChatGPT ont déjà été documentées.
Rozado note que cette analyse n’est pas en mesure de déterminer si les préférences politiques perçues des LLM proviennent des phases de pré-formation ou de perfectionnement de leur développement, et déclare en outre que ses résultats ne prouvent pas que ces préférences politiques sont délibérément inculquées par les diverses organisations créant ces LLM.
Rozado ajoute : « La plupart des LLM existants affichent des préférences politiques de gauche lorsqu’ils sont évalués à l’aide de divers tests d’orientation politique. »
Plus d’information:
Les préférences politiques des LLM, PLoS ONE (2024). DOI: 10.1371/journal.pone.0306621
Fourni par la Bibliothèque publique des sciences
Citation:Une analyse révèle que la plupart des LLM majeurs en open source et en source fermée ont tendance à pencher à gauche lorsqu’on leur pose des questions à caractère politique (2024, 31 juillet) récupéré le 31 juillet 2024 à partir de
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre d’information uniquement.