Crédit : image générée par l’IA
Une petite équipe de chercheurs en IA du projet DeepMind de Google a découvert que les LLM ne sont pas très doués pour écrire des blagues drôles. Ils ont demandé à des comédiens de stand-up d'utiliser des LLM pour écrire une routine de stand-up pour eux et ont publié leurs découvertes sur le site Internet. arXiv serveur de préimpression.
Pour réussir, la plupart des comédiens de stand-up doivent écrire une routine de stand-up et la jouer sur scène. De telles routines, ou monologues, impliquent généralement à la fois des histoires et des blagues, ou décrivent des situations humoristiques. Beaucoup emploient également des remarques surprenantes ou incongrues, donnant au public un aperçu soudain de quelque chose auquel il n'avait peut-être pas pensé d'une certaine manière auparavant.
La plupart des humoristes professionnels passent beaucoup de temps à peaufiner leurs routines et à les tester auprès d'un petit public avant de se produire devant de grandes foules ou dans des émissions spéciales télévisées.
Dans ce nouvel effort, l’équipe de DeepMind s’est demandé si les LLM pourraient être capables de créer non seulement des blagues, mais aussi des routines entières de stand-up. Pour le savoir, ils ont recruté 20 comédiens professionnels qui avaient déjà utilisé les LLM dans leur travail. Les interprètes ont utilisé un LLM pour les aider à écrire une routine entière, puis ont évalué les résultats.
Les chercheurs ont découvert que les LLM étaient assez doués pour inventer des blagues ; malheureusement, peu, voire aucun, étaient drôles. La plupart, ont-ils suggéré, étaient de nature générique et peu offraient quelque chose de surprenant.
À gauche : évaluation des LLM adaptés à l'enseignement en tant qu'outil de soutien à la créativité pour l'écriture de comédies à l'aide d'une échelle de Likert ; chaque ligne correspond à une question d'une enquête. Les boîtes à moustaches de droite (boîte pour les quartiles et moustaches pour min et max) montrent respectivement la répartition de l'indice de soutien à la créativité. Crédit: arXiv (2024). DOI : 10.48550/arxiv.2405.20956
Dans l’ensemble, les comédiens ont trouvé que les blagues générées par l’IA manquaient de la pointe généralement nécessaire pour qu’une blague soit drôle. Beaucoup ont décrit les résultats comme fades. Mais certains d’entre eux ont trouvé le LLM utile pour générer une routine qui pourrait être utilisée pour créer une structure de base autour de laquelle ils pourraient construire leurs propres blagues.
L'équipe de recherche suggère que les résultats n'étaient pas surprenants étant donné que les créateurs de LLM utilisent des filtres pour les empêcher de générer des résultats qui pourraient être offensants ou nerveux.
Plus d'information:
Piotr Wojciech Mirowski et al, Un robot entre dans un bar : les modèles linguistiques peuvent-ils servir d'outils de soutien à la créativité pour la comédie ? Une évaluation de l'alignement de l'humour des LLM avec les comédiens, arXiv (2024). DOI : 10.48550/arxiv.2405.20956
arXiv
© 2024 Réseau Science X
Citation: Des humoristes testent la capacité des LLM à écrire des blagues (21 juin 2024) récupéré le 21 juin 2024 sur
Ce document est soumis au droit d'auteur. En dehors de toute utilisation équitable à des fins d'étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.