Les réalités virtuelles et mixtes convergent dans un nouveau simulateur de conduite

Portobello, un nouveau simulateur de conduite développé par des chercheurs de Cornell Tech, mélange réalités virtuelles et mixtes, permettant aux conducteurs et aux passagers de voir des objets virtuels superposés dans le monde réel.

Cette technologie ouvre de nouvelles possibilités aux chercheurs pour mener les mêmes études sur les utilisateurs en laboratoire et sur la route – un concept nouveau que l'équipe appelle « portabilité de la plateforme ».

L'équipe de recherche, dirigée par Wendy Ju, professeure agrégée à l'Institut Jacobs Technion-Cornell de Cornell Tech, a présenté son article intitulé « Portobello : Extended Driving Simulation from the Lab to the Road » lors de la conférence ACM sur les facteurs humains dans les systèmes informatiques. (CHI) en mai. L'article a reçu une mention honorable lors de la conférence.

Les co-auteurs comprenaient les doctorants Fanjun Bu, Stacey Li, David Goedicke et Mark Colley ; et Gyanendra Sharma, conseiller industriel de Woven by Toyota.

Portobello est un système de simulation de conduite sur route qui permet aux conducteurs et aux passagers d'utiliser des casques de réalité mixte (XR). La motivation de l'équipe pour développer Portobello découle de ses travaux sur XR-OOM, un système de simulation de conduite XR. L’outil pouvait fusionner des aspects des mondes physique et numérique, mais il présentait des limites.

“Bien que nous puissions mettre en scène des objets virtuels dans et autour de la voiture, comme des écrans virtuels embarqués et des tableaux de bord virtuels, nous avons eu des problèmes pour mettre en scène des événements virtuels par rapport à des objets du monde réel, comme un passage pour piétons virtuel sur un passage pour piétons réel ou avoir une voiture virtuelle s'arrête à de vrais panneaux d'arrêt”, a déclaré Bu.

Cela constituait un obstacle important à la réalisation d'études significatives, en particulier pour les expériences de conduite autonome qui nécessitent une mise en scène précise d'objets et d'événements dans des emplacements fixes de l'environnement.

Portobello a été conçu pour surmonter ces limitations et ancrer les simulations de conduite sur route dans le monde physique. Pendant la phase de conception, les chercheurs utilisent le système Portobello pour générer une carte précise de l’environnement d’étude. Au sein de cette carte, ils peuvent positionner stratégiquement des objets virtuels en fonction d'éléments du monde réel (en plaçant des piétons virtuels à proximité des panneaux d'arrêt, par exemple). Le véhicule évolue dans le même environnement cartographié, mêlant harmonieusement simulation et réalité.

Avec l'intégration réussie de Portobello, l'équipe a non seulement résolu les limites de XR-OOM, mais a également introduit la portabilité de la plateforme. Cette innovation permet aux chercheurs de mener des études identiques à la fois dans des environnements de laboratoire contrôlés et dans des scénarios de conduite réels, améliorant ainsi la précision et l'applicabilité de leurs résultats.

“Les participants considèrent les simulateurs en laboratoire comme des approximations visuelles de scénarios du monde réel, presque une expérience performative”, a déclaré Bu. “Cependant, les participants traitent les simulateurs sur route comme des approximations fonctionnelles. (Ils) ont ressenti plus de stress dans les simulateurs sur route et ont estimé que leurs décisions avaient plus de poids.”

Bu a déclaré que Portobello pourrait faciliter le « jumelage d'études » – en réalisant la même étude dans différents environnements. Selon lui, cela rend non seulement les résultats plus réalistes, mais permet également de découvrir comment d'autres facteurs pourraient affecter les résultats.

Ju a déclaré: “Nous pensons qu'en allant au-delà de la réalisation d'études vierges et en permettant à une certaine variabilité du monde réel de se refléter, les résultats de la recherche seront plus applicables aux contextes du monde réel.”

Hiroshi Yasuda, chercheur en interaction homme-machine au Toyota Research Institute (TRI), a également contribué à la recherche.