La recherche rassemble les humains, les robots et l’IA générative pour créer de l’art

Des chercheurs du Robotics Institute (RI) de l'Université Carnegie Mellon ont développé un système robotique qui co-peint de manière interactive avec les gens. Collaborative FRIDA (CoFRIDA) peut travailler avec des utilisateurs de toutes capacités artistiques, invitant à la collaboration pour créer de l'art dans le monde réel.

“C'est comme l'équivalent en dessin d'une invite d'écriture”, a déclaré Jim McCann, professeur agrégé du RI qui dirige le laboratoire textile du RI. “Si vous êtes bloqué et que vous ne savez pas quoi faire, cela peut mettre quelque chose sur la page pour vous. Cela peut briser la barrière d'une page vide. C'est une façon vraiment intéressante d'améliorer la créativité humaine.”

CoFRIDA s'appuie sur des travaux antérieurs avec FRIDA, une collaboration multilab au sein de l'École d'informatique.

Nommée d'après l'artiste Frida Kahlo, FRIDA (Framework and Robotics Initiative for Developing Arts) peut utiliser un pinceau ou un Sharpie pour créer une peinture à partir de messages texte ou d'exemples d'images d'un utilisateur humain. Le projet a été fondé par Jean Oh, professeur-chercheur agrégé au RI et chef du Bot Intelligence Group (BIG), conjointement avec McCann et Ph.D. étudiant Peter Schaldenbrand.

Pour soutenir une expérience de création artistique plus collaborative, RI Ph.D. l'étudiant Gaurav Parmar et le professeur adjoint Jun-Yan Zhu ont rejoint l'équipe FRIDA pour développer CoFRIDA. Le nouveau système permet aux utilisateurs de fournir des entrées de texte pour décrire ce qu'ils souhaitent peindre. Ils peuvent également participer au processus de création, en peignant à tour de rôle directement sur la toile avec le robot jusqu'à ce qu'ils aient réalisé leur vision artistique.

“CoFRIDA nécessite un niveau d'intelligence plus élevé que le FRIDA original, qui crée seul une œuvre d'art du début à la fin”, a déclaré Oh. “La co-peinture est analogue au travail avec une autre personne, qui doit constamment deviner ce qu'elle veut. CoFRIDA doit comprendre les objectifs de haut niveau de l'utilisateur humain pour que ses traits aient un sens par rapport à cet objectif.”

Le co-painting est par nature collaboratif, et développer des données qui entraînent un robot à collaborer est difficile et prend du temps. Pour contourner cette complication, CoFRIDA utilise des données d'entraînement auto-supervisées basées sur le simulateur et le planificateur d'AVC de FRIDA.

Les chercheurs ont créé un ensemble de données auto-supervisé et affiné en demandant à FRIDA de simuler des peintures composées d'une séquence de coups de pinceau, dont certains traits pouvaient être supprimés pour produire des exemples de peintures partielles.

L'équipe a dû déterminer comment supprimer des éléments des dessins dans les données de formation tout en laissant suffisamment d'image pour que CoFRIDA puisse la reconnaître. Par exemple, les chercheurs ont supprimé des détails comme le bord d’une roue ou les vitres d’une voiture, mais ont laissé le contour du véhicule.

“Nous avons essayé de simuler différents états du processus de dessin”, a expliqué Zhu. “Il est facile d'arriver à l'esquisse finale, mais il est assez difficile d'imaginer l'étape intermédiaire de ce processus.”

À l’aide de l’ensemble de données de peintures partielles et complètes, les chercheurs ont affiné un modèle de conversion texte-image, InstructPix2Pix, qui a permis à CoFRIDA d’ajouter des coups de pinceau et de travailler avec le contenu existant sur la toile. Cette approche, qui s'appuie sur des données créées à l'aide du simulateur de pinceaux de CoFRIDA, signifie que la génération d'un tableau intègre les contraintes réelles du robot, comme son ensemble d'outils limité.

En dehors du laboratoire, les chercheurs espèrent que CoFRIDA pourra enseigner la robotique aux gens et développer leur créativité, en encourageant ceux qui pourraient douter de leurs capacités artistiques. CoFRIDA peut également aider à donner vie aux visions des utilisateurs ou à orienter l'œuvre d'art dans une toute nouvelle direction.

“Si vous partez d'un croquis très simple, CoFRIDA emmène l'œuvre dans des directions très différentes. Si vous demandez six dessins différents, vous obtiendrez six options très différentes”, a déclaré Schaldenbrand.

“C'est bien de pouvoir prendre des décisions à un niveau élevé parce que cela me donne l'impression d'être un directeur artistique. Le robot prend ces décisions de bas niveau quant à l'endroit où placer le marqueur, mais c'est moi qui décide à quoi ressemblera l'ensemble. ” Je me sens toujours en contrôle du processus créatif, et dans un monde où les artistes craignent d'être remplacés par l'IA, CoFRIDA en tant qu'exemple de robot conçu pour soutenir la créativité humaine est incroyablement pertinent. “

Les chercheurs espèrent que des travaux ultérieurs pourront intégrer la personnalisation dans CoFRIDA, donnant ainsi aux utilisateurs encore plus de contrôle sur le style du produit fini.

L'article de l'équipe, « CoFRIDA : Self-Supervised Fine-Tuning for Human-Robot Co-Painting », a remporté le prix du meilleur article sur l'interaction homme-robot lors de la Conférence internationale 2024 de l'IEEE sur la robotique et l'automatisation (ICRA) à Yokohama, au Japon. Une démonstration CoFRIDA d'accompagnement a été finaliste pour la meilleure démo à l'ICRA EXPO. Le document est disponible sur arXiv serveur de préimpression.