Une étude révèle que ChatGPT donne de meilleurs conseils que les chroniqueurs professionnels

Il ne fait aucun doute que ChatGPT s’est avéré précieux en tant que source d’informations techniques de qualité. Mais peut-il également fournir des conseils sociaux ?

Nous avons exploré cette question dans notre nouvelle recherche, publiée dans la revue Frontières de la psychologie. Nos résultats suggèrent que les versions ultérieures de ChatGPT donnent de meilleurs conseils personnels que les chroniqueurs professionnels.

Un interlocuteur incroyablement polyvalent

En seulement deux mois depuis sa sortie publique en novembre de l’année dernière, ChatGPT a rassemblé environ 100 millions d’utilisateurs mensuels actifs.

Le chatbot fonctionne sur l’un des plus grands modèles de langage jamais créés, la version payante la plus avancée (GPT-4) étant estimée à 1,76 billion de paramètres (ce qui signifie qu’il s’agit d’un modèle d’IA extrêmement puissant). Cela a déclenché une révolution dans l’industrie de l’IA.

Formé sur d’énormes quantités de texte (dont une grande partie a été récupérée sur Internet), ChatGPT peut fournir des conseils sur presque tous les sujets. Il peut répondre à des questions sur le droit, la médecine, l’histoire, la géographie, l’économie et bien plus encore (même si, comme beaucoup l’ont découvert, cela vaut toujours la peine de vérifier les réponses). Il peut écrire du code informatique passable. Il peut même vous indiquer comment changer les liquides de frein de votre voiture.

Les utilisateurs et les experts en IA ont été stupéfaits par sa polyvalence et son style conversationnel. Il n’est donc pas surprenant que de nombreuses personnes se soient tournées (et continuent de se tourner) vers le chatbot pour obtenir des conseils personnalisés.

Donner des conseils lorsque les choses deviennent personnelles

Fournir des conseils à caractère personnel nécessite un certain niveau d’empathie (ou du moins l’impression de celle-ci). Des recherches ont montré qu’un destinataire qui ne se sent pas entendu est moins susceptible d’accepter les conseils qui lui sont donnés. Ils peuvent même se sentir aliénés ou dévalorisés. En termes simples, il est peu probable que des conseils sans empathie soient utiles.

De plus, il n’existe souvent pas de bonne réponse lorsqu’il s’agit de dilemmes personnels. Le conseiller doit plutôt faire preuve de jugement. Dans ces cas-là, il peut être plus important de faire preuve de compassion que d’avoir « raison ».

Mais ChatGPT n’a pas été explicitement formé pour faire preuve d’empathie, d’éthique ou pour avoir un bon jugement. Il a été entraîné à prédire le prochain mot le plus probable dans une phrase. Alors, comment peut-il permettre aux gens de se sentir entendus ?

Une version antérieure de ChatGPT (le modèle GPT 3.5 Turbo) fonctionnait mal lors de la fourniture de conseils sociaux. Le problème n’était pas qu’il ne comprenait pas ce que l’utilisateur devait faire. En fait, il fait souvent preuve d’une meilleure compréhension de la situation que les utilisateurs eux-mêmes.

Le problème était qu’il ne répondait pas correctement aux besoins émotionnels de l’utilisateur. Comme Lucy dans la bande dessinée Peanuts, il était trop désireux de donner des conseils et ne parvenait pas à prendre suffisamment en compte les émotions de l’utilisateur. En tant que tel, les utilisateurs l’ont mal noté.

La dernière version de ChatGPT, utilisant GPT-4, permet aux utilisateurs de demander plusieurs réponses à la même question, après quoi ils peuvent indiquer celle qu’ils préfèrent. Ces commentaires enseignent au modèle comment produire des réponses socialement plus appropriées et l’aident à paraître plus empathique.

Sensibilité d’apprentissage

Pour la première fois, notre étude a examiné si les réponses de ChatGPT étaient perçues comme meilleures que les réponses humaines dans une tâche où les humains devaient faire preuve d’empathie.

Nous avons sélectionné au hasard 50 questions sur les dilemmes sociaux dans dix colonnes de conseils bien connues couvrant une gamme de sujets, notamment les relations, les dilemmes éthiques, les problèmes de gestion, les problèmes de fin de vie et de nombreux scrupules quotidiens auxquels nous pouvons tous nous identifier.

Chacun de nos 400 participants a été confronté à un dilemme, accompagné des réponses de ChatGPT et d’un chroniqueur de conseils professionnels. Nous n’avons pas révélé d’où provenait chaque réponse.

Environ les trois quarts des participants ont perçu les conseils de ChatGPT comme étant plus équilibrés, complets, empathiques, utiles et globalement meilleurs que les conseils du professionnel.

L’un des dilemmes est venu d’un jeune biologiste marin qui effectuait des recherches sur les dauphins en Californie du Sud. Elle a écrit qu’elle était tombée amoureuse d’un homme apparemment parfait qui a dû déménager dans les Montagnes Rocheuses pour poursuivre sa carrière. Tous deux étaient mécontents à l’idée de se perdre, mais la femme n’était pas intéressée par une relation à distance car il semblait “irrationnel de s’engager envers quelqu’un alors que nous n’avons aucun projet d’avenir pour vivre dans la même région”.

Réponse de GPT-4 :

“Vous vous trouvez dans une situation incroyablement difficile. L’amour que vous partagez est authentique, mais vos cheminements de carrière vous séparent. Même si les longues distances ne vous attirent pas, envisagez de discuter d’un plan pour l’avenir dans lequel vous pourriez potentiellement se rencontrer à mi-chemin. (…) Peut-être qu’il y a une ville côtière près des montagnes, ou un arrangement pourrait être conclu. Si cela n’est pas possible, il faudra peut-être prendre la décision difficile de donner la priorité à votre carrière plutôt qu’à votre relation. Quelle que soit la voie que vous choisissez, elle est Il est important que cela se sente bien pour vous deux. »

La réponse officielle :

“De quoi diable parles-tu ? Ne t’es-tu pas surpris en tombant amoureux ? Tes mots exacts : ‘Je ne pensais pas en être capable !’ Et maintenant, tu es si branchée, si habile, si sage en matière d’amour que tu ne considéreras même pas le bonheur de ton petit ami ? Tu refuses d’essayer, de répéter, d’essayer, une relation à distance de six mois ? Femme, tire-toi ensemble et faites un tourbillon. Les dauphins, je crois, me soutiendront.

Bien que les participants n’aient pas pu déterminer quelle réponse avait été écrite par un ordinateur, la plupart ont déclaré qu’ils préféreraient que leurs propres dilemmes sociaux soient résolus par un humain plutôt que par un ordinateur.

Qu’est-ce qui se cache derrière le succès de ChatGPT ?

Nous avons remarqué que les réponses de ChatGPT étaient souvent plus longues que celles fournies par les chroniqueurs. Est-ce la raison pour laquelle ils ont été préférés par les participants ?

Pour tester cela, nous avons refait l’étude mais limité les réponses de ChatGPT à environ la même longueur que celles des chroniqueurs de conseils.

Une fois de plus, les résultats furent les mêmes. Les participants considéraient toujours les conseils de ChatGPT comme étant plus équilibrés, complets, empathiques, utiles et globalement meilleurs.

Pourtant, sans savoir quelle réponse a été produite par ChatGPT, ils ont quand même déclaré qu’ils préféreraient que leurs propres dilemmes sociaux soient résolus par un humain plutôt que par un ordinateur.

Peut-être que ce biais en faveur des humains est dû au fait que ChatGPT ne peut pas réellement ressentir d’émotion, alors que les humains le peuvent. Il se pourrait donc que les participants considèrent les machines par nature incapables d’empathie.

Nous ne suggérons pas que ChatGPT devrait remplacer les conseillers ou thérapeutes professionnels ; notamment parce que le chatbot lui-même met en garde contre cela, mais aussi parce que les chatbots ont donné dans le passé des conseils potentiellement dangereux.

Néanmoins, nos résultats suggèrent que des chatbots correctement conçus pourraient un jour être utilisés pour augmenter la thérapie, à condition qu’un certain nombre de problèmes soient résolus. En attendant, les chroniqueurs de conseils voudront peut-être s’inspirer du livre de l’IA pour améliorer leur jeu.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l’article original.