Un nouveau système logiciel développé par des chercheurs de l’Université Brown (États-Unis) transforme les smartphones en portails de réalité augmentée, permettant aux utilisateurs de placer des blocs de construction virtuels, des meubles et d’autres objets, dans des arrière-plans du monde réel, et d’utiliser leurs mains pour manipuler ces derniers comme s’ils étaient réels.
Les développeurs espèrent que le nouveau système, qu’ils ont baptisé « Portal-ble », pourra être un outil permettant aux artistes, concepteurs, développeurs de jeux-vidéo et autres, d’expérimenter la réalité augmentée (RA) de façon plus accessible.
L’équipe présentera ses travaux plus tard ce mois-ci au symposium d’ACM sur les technologies et logiciels d’interface utilisateur (UIST 2019), à la Nouvelle-Orléans. Le code source pour le système Android est déjà disponible gratuitement (téléchargeable sur GitHub), tandis que celui pour iOS (iPhone) suivra bientôt.
« La RA constituera un nouveau mode d’interaction formidable », a déclaré Jeff Huang, professeur assistant en informatique à Brown, qui a mis au point le système avec ses étudiants. « Nous voulions créer quelque chose qui rende l’AR plus accessible et portable, afin que les gens puissent l’utiliser n’importe où, sans aucun casque encombrant. Nous voulions aussi qu’ils puissent interagir avec le monde virtuel de manière naturelle, en utilisant leurs mains ».
Huang a déclaré que l’idée d’une interaction « pratique » de Portal-ble est née d’une certaine frustration avec les applications AR telle que Pokémon GO. Les applications AR utilisent des smartphones pour placer des objets virtuels (tels que des Pokémons) dans des scènes du monde réel, mais pour interagir avec ces objets, les utilisateurs doivent faire glisser leur doigt sur l’écran.
« Balayer n’est simplement pas une manière satisfaisante d’interagir », a déclaré Huang. « Dans le monde réel, nous interagissons avec les objets avec nos mains. Nous tournons des poignées de porte, prenons des objets, les jetons, etc. Nous avons donc pensé que manipuler des objets virtuels à la main serait beaucoup plus intéressant que de balayer un écran. Et avec Portal-ble, c’est possible ».
Un petit capteur Leap Motion, un micro-ordinateur et une batterie supplémentaire (pour le moment)
Pour fonctionner, le système utilise un petit capteur Leap-Motion (composé de deux caméras et trois LEDs infrarouges) monté à l’arrière du smartphone. Le capteur suit la position des mains de l’utilisateur par rapport aux objets virtuels, ce qui permet à ces derniers de saisir des objets, de les tourner, de les empiler ou de les déposer.
Cela offre également la possibilité d’utiliser les mains pour « peindre » virtuellement sur des décors du monde réel. À titre de démonstration, Huang et ses étudiants ont utilisé le système pour peindre un jardin virtuel sur le campus de Brown’s College Hill.
Selon Huang, le principal apport technique de ce travail a consisté à développer les bons outils d’ajustement et de rétroaction permettant aux utilisateurs d’interagir de manière intuitive avec des objets virtuels.
« Il s’avère que la capture d’un objet virtuel est vraiment difficile si vous essayez d’appliquer la physique du monde réel », a déclaré Huang. « Les gens essaient de saisir le mauvais endroit, ou ils passent la main entre les objets. Nous avons donc dû observer comment les utilisateurs essayaient d’interagir avec ces objets, et rendre ensuite notre système capable de s’adapter à ces tendances ».
Pour ce faire, Huang a demandé à des élèves de l’un de ses cours d’imaginer des tâches qu’ils souhaiteraient pouvoir effectuer en réalité augmentée (empiler un ensemble de blocs, par exemple). Les étudiants ont ensuite demandé à d’autres personnes d’essayer d’exécuter ces tâches à l’aide de Portal-ble, tout en enregistrant ce que ces dernières étaient capables, ou non, de faire. Ils pouvaient ensuite ajuster la physique du système ainsi que l’interface utilisateur pour rendre les interactions plus faciles.
« C’est un peu comme ce qui se passe lorsque l’on dessine des lignes dans Photoshop », a déclaré Huang. « Les lignes dessinées ne sont jamais parfaites, mais le programme peut les lisser et les rendre parfaitement droites. C’est le genre d’accommodation que nous essayions de créer avec ces objets virtuels ».
Sur le même sujet : Répliquer des objets physiques pour la réalité virtuelle avec un simple smartphone
L’équipe a également ajouté un retour sensoriel (des mises en évidence visuelles sur les objets et des vibrations du téléphone) pour faciliter les interactions. D’ailleurs, Huang se dit quelque peu surpris de constater à quel point les vibrations aident les utilisateurs à interagir. En effet, bien que l’on sente les vibrations dans la main utilisée pour tenir le téléphone et non pas dans celle qui saisit l’objet virtuel, ce stimuli de retour aide à interagir plus efficacement avec ce dernier.
Dans le cadre des études de suivi, les utilisateurs ont indiqué que les adaptations et les retours utilisés par le système simplifiaient considérablement les tâches, les rendaient plus satisfaisantes et permettaient un gain de temps.
Huang et ses étudiants prévoient maintenant de continuer à développer Portal-ble. Il s’agira entre autres de développer sa bibliothèque d’objets, d’affiner les interactions et développer de nouvelles activités. Ils espèrent également minimiser le système pour le faire fonctionner entièrement sur un smartphone, sans nécessiter d’équipement supplémentaire. Actuellement, Portal-ble exige des capteurs infrarouges supplémentaires (ceux du Leap Motion) ainsi qu’une clé de calcul externe (micro-ordinateur) pour une puissance de traitement supplémentaire.
Huang espère que les gens téléchargeront le code source disponible gratuitement et l’essayeront eux-mêmes. « Nous souhaitons simplement publier ceci et voir ce que les gens en font », a-t-il déclaré. « Le code est sur notre site Web, pour que les intéressés puissent le télécharger, l’éditer et l’améliorer. Ce sera intéressant de voir ce qu’ils en font ».
Cette vidéo présente la technologie développée par les chercheurs :