L’apprentissage automatique donne aux utilisateurs la capacité « surhumaine » d’ouvrir et de contrôler des outils en réalité virtuelle

Les chercheurs ont développé une application de réalité virtuelle dans laquelle une gamme d’outils de modélisation 3D peut être ouverte et contrôlée en utilisant simplement le mouvement de la main d’un utilisateur.

Les chercheurs de l’Université de Cambridge ont utilisé l’apprentissage automatique pour développer des « HotGestures », analogues aux touches de raccourci utilisées dans de nombreuses applications de bureau.

HotGestures donne aux utilisateurs la possibilité de créer des figures et des formes en réalité virtuelle sans jamais avoir à interagir avec un menu, les aidant ainsi à rester concentrés sur une tâche sans interrompre le fil de leurs pensées.

L’idée de pouvoir ouvrir et contrôler des outils en réalité virtuelle est un thème cinématographique depuis des décennies, mais les chercheurs affirment que c’est la première fois qu’une telle capacité « surhumaine » est rendue possible. Les résultats sont rapportés dans la revue Transactions IEEE sur la visualisation et l’infographie.

La réalité virtuelle (VR) et les applications associées sont présentées depuis des années comme révolutionnaires, mais en dehors du jeu, leur promesse ne s’est pas pleinement concrétisée. “Les utilisateurs acquièrent certaines qualités en utilisant la réalité virtuelle, mais très peu de gens souhaitent l’utiliser pendant une période prolongée”, a déclaré le professeur Per Ola Kristensson du département d’ingénierie de Cambridge, qui a dirigé la recherche. “Au-delà de la fatigue visuelle et des problèmes ergonomiques, la réalité virtuelle n’offre pas vraiment quelque chose que vous ne pouvez pas obtenir dans le monde réel.”

La plupart des utilisateurs de logiciels de bureau connaissent le concept des touches de raccourci : des raccourcis de commande tels que ctrl-c pour copier et ctrl-v pour coller. Bien que ces raccourcis n’aient pas besoin d’ouvrir un menu pour trouver le bon outil ou la bonne commande, ils dépendent de la mémorisation de la bonne commande par l’utilisateur.

“Nous voulions reprendre le concept des touches de raccourci et le transformer en quelque chose de plus significatif pour la réalité virtuelle, quelque chose qui ne dépendrait pas du fait que l’utilisateur ait déjà un raccourci en tête”, a déclaré Kristensson, qui est également co-directeur du Centre d’intelligence artificielle d’inspiration humaine.

Au lieu de touches de raccourci, Kristensson et ses collègues ont développé des « HotGestures », dans lesquels les utilisateurs effectuent un geste avec leur main pour ouvrir et contrôler l’outil dont ils ont besoin dans des environnements de réalité virtuelle 3D.

Par exemple, l’exécution d’un mouvement de coupe ouvre l’outil à ciseaux et le mouvement de pulvérisation ouvre l’outil de bombe aérosol. L’utilisateur n’a pas besoin d’ouvrir un menu pour trouver l’outil dont il a besoin ou de mémoriser un raccourci spécifique. Les utilisateurs peuvent basculer en toute transparence entre différents outils en effectuant différents gestes au cours d’une tâche, sans avoir à interrompre leur travail pour parcourir un menu ou appuyer sur un bouton d’un contrôleur ou d’un clavier.

“Nous communiquons tous en utilisant nos mains dans le monde réel, il était donc logique d’étendre cette forme de communication au monde virtuel”, a déclaré Kristensson.

Pour l’étude, les chercheurs ont construit un système de reconnaissance des gestes sur un réseau neuronal capable de reconnaître les gestes en effectuant des prédictions sur un flux de données entrant sur les articulations de la main. Le système a été conçu pour reconnaître dix gestes différents associés à la construction de modèles 3D : stylo, cube, cylindre, sphère, palette, pulvérisation, coupe, mise à l’échelle, duplication et suppression.

L’équipe a mené deux petites études dans lesquelles les participants ont utilisé des HotGestures, des commandes de menu ou une combinaison. La technique basée sur les gestes a fourni des raccourcis rapides et efficaces pour la sélection et l’utilisation des outils. Les participants ont trouvé que HotGestures était distinctif, rapide et facile à utiliser, tout en complétant l’interaction conventionnelle basée sur les menus.

Les chercheurs ont conçu le système de manière à ce qu’il n’y ait pas de fausses activations : le système basé sur les gestes était capable de reconnaître correctement ce qui était une commande et ce qui était un mouvement normal de la main. Dans l’ensemble, le système basé sur les gestes était plus rapide qu’un système basé sur des menus.

“Il n’existe actuellement aucun système VR capable de faire cela”, a déclaré Kristensson. “Si utiliser la VR, c’est comme utiliser un clavier et une souris, alors à quoi ça sert ? Elle doit vous donner des pouvoirs presque surhumains que vous ne pouvez pas obtenir ailleurs.”

Les chercheurs ont rendu public le code source et l’ensemble de données afin que les concepteurs d’applications VR puissent les intégrer dans leurs produits.

“Nous voulons que ce soit une manière standard d’interagir avec la réalité virtuelle”, a déclaré Kristensson. “Nous avons la vieille métaphore fatiguée du classeur depuis des décennies. Nous avons besoin de nouvelles façons d’interagir avec la technologie, et nous pensons que c’est un pas dans cette direction. Lorsqu’elle est bien faite, la réalité virtuelle peut être comme de la magie.”