Capturer et reproduire des objets réels de façon réaliste pour tout environnement virtuel est complexe et prend du temps. Mais imaginez-vous utiliser un appareil photo classique avec flash intégré — depuis n’importe quel appareil mobile ou appareil photo numérique standard — pour simplifier cette tâche. C’est la méthode que proposent des chercheurs en informatique : utiliser la photographie classique pour reproduire virtuellement des objets.
Une équipe internationale d’informaticiens a mis au point une nouvelle méthode permettant de répliquer des objets physiques dans l’espace de réalité virtuelle et augmentée en utilisant simplement un appareil photo compact avec flash, sans nécessiter de matériel supplémentaire, souvent coûteux.
« Pour reproduire fidèlement un objet du monde réel dans l’environnement VR/AR, nous devons reproduire la géométrie et l’apparence 3D de l’objet » déclare Min H. Kim, informaticien au KAIST en Corée du Sud. « Traditionnellement, cela était fait manuellement par des artistes 3D, ce qui est une tâche fastidieuse, ou en utilisant du matériel spécialisé et coûteux. Notre méthode est simple, moins chère et efficace, et reproduit des objets 3D réalistes en prenant simplement des photos à partir d’un appareil photo avec flash intégré ».
Kim et ses collaborateurs, Diego Gutierrez, professeur d’informatique à l’Université de Saragosse en Espagne, ainsi que Giljoo Nam et Joo Ho Lee, doctorants au KAIST, présenteront ce nouveau travail au SIGGRAPH Asia 2018 à Tokyo, du 4 au 7 décembre. La conférence annuelle réunira les membres techniques et créatifs les plus respectés dans le domaine de l’infographie et des techniques interactives, et présentera des recherches de pointe dans les domaines de la science, de l’art, du jeu et de l’animation.
Les approches existantes pour l’acquisition d’objets physiques nécessitent des configurations matérielles spécialisées permettant de modéliser la géométrie et l’apparence des objets souhaités. Ces configurations peuvent inclure un scanner laser 3D ou plusieurs caméras, ou un dôme d’éclairage avec plus d’une centaine de sources de lumière. En revanche, cette nouvelle technique ne nécessite qu’une seule caméra pour produire des rendus de haute qualité.
Sur le même sujet : Réalité virtuelle : entrez dans la peau d’un astronaute !
« De nombreuses méthodes traditionnelles utilisant une seule caméra ne peuvent capturer que la géométrie 3D des objets, mais pas la réflectance complexe des objets du monde réel, donnée par le SVBRDF » explique Kim. Le SVBRDF, qui représente des fonctions de distribution de réflectance bidirectionnelles variant dans l’espace, est essentiel pour obtenir la forme et l’aspect réels d’un objet.
« Utiliser uniquement une géométrie 3D ne permet pas de reproduire l’aspect réaliste de l’objet dans l’environnement AR/VR. Notre technique permet de capturer une géométrie 3D de haute qualité, ainsi que son apparence matérielle, de sorte que les objets puissent être restitués de manière réaliste dans n’importe quel environnement virtuel ».
Cette vidéo présente la méthode utilisée par les chercheurs pour virtualiser des objets physiques, ainsi que tous les rendus des objets qui ont été testés :
Le nouvel algorithme, qui ne nécessite aucune pré-géométrie en entrée de l’objet cible, a capturé avec succès la géométrie et l’apparence des objets 3D avec une photographie basique au flash, et a reproduit les objets avec succès.
Parmi les exemples présentés dans le travail, figuraient divers ensembles d’objets couvrant une vaste gamme de géométries et de matériaux, notamment le métal, le bois, le plastique, la céramique, la résine et le papier. Certains modèles étaient constitués de formes complexes, comme une mini-statue finement détaillée de Néfertiti.