Ce n’est pas la première fois que des chercheurs s’inspirent de la science-fiction pour développer de nouvelles technologies. Récemment, des scientifiques ont conçu un système inspiré du holodeck de Star Trek. Le dispositif, portant le même nom et permettant de créer des environnements virtuels de toute pièce par une simple requête (comme dans la série), servira de plateforme d’entraînement virtuelle pour robots.
Les robots humanoïdes sont conçus pour, idéalement, assister à terme les humains de manière autonome dans diverses tâches. Avant leur déploiement, ces machines doivent être rigoureusement entraînées, y compris dans des environnements virtuels. C’est dans ces espaces simulés qu’elles apprennent à naviguer et à exécuter des tâches sans risque, avant de faire face aux imprévus du monde réel. Ce processus d’entraînement est connu sous le nom de « Sim2Real », qui désigne le passage de la simulation (Sim) à la réalité (Real).
Cependant, la création de ces mondes virtuels est coûteuse à la fois en temps et en ressources, car le travail est réalisé manuellement par des artistes 3D et des spécialistes en simulation. Les plateformes actuelles peinent par conséquent à fournir la quantité massive de données nécessaires pour des entraînements efficaces. Face à ce défi, un groupe de chercheurs issus de divers établissements a estimé que les robots pourraient nécessiter jusqu’à des millions voire des milliards d’environnements virtuels simulés. Afin de répondre à ce besoin, ils ont développé le « Holodeck », s’inspirant directement de la technologie du même nom de la série Star Trek. Les détails du dispositif ont été publiés sur le serveur de prépublication arXiv.
Un holodeck alimenté par GPT-4
Dans l’univers Star Trek, le holodeck est un système capable de simuler n’importe quel environnement, tant pour l’entraînement que pour le divertissement. De manière similaire, le Holodeck développé dans le cadre de cette étude vise à créer des environnements 3D pour des applications pratiques et de recherche. Il utilise le modèle de langage GPT-4 d’OpenAI pour décrire textuellement de façon précise les environnements souhaités.
Pour répondre aux requêtes des utilisateurs, le Holodeck procède en plusieurs étapes. Dans un exemple présenté dans le document d’étude, les chercheurs ont créé un appartement meublé. Le système commence ainsi par établir la structure de base de l’environnement, incluant le sol et les murs. Il sélectionne ensuite les objets d’ameublement appropriés à partir d’une bibliothèque numérique et utilise un module d’agencement pour les disposer correctement. Ce processus garantit que l’espace est créé de façon réaliste et fonctionnelle.
Des résultats convaincants
Pour évaluer l’efficacité de son système, l’équipe a mené une série d’essais. Le premier consistait à générer un total de 120 scènes virtuelles en utilisant deux outils différents : Holodeck et ProcTHOR, ce dernier étant développé par l’Allen Institute for Artificial Intelligence (AI2). Plusieurs centaines d’étudiants en ingénierie de l’Université de Pennsylvanie ont participé à l’évaluation de ces scènes sans savoir quel outil avait été utilisé pour chacune d’elles. Leur mission était de sélectionner les environnements créés non seulement en fonction de leurs préférences, mais aussi en évaluant la cohérence de la présentation et la pertinence des objets. Les résultats ont montré une préférence marquée pour les scènes créées par Holodeck.
Pour mettre à l’épreuve la polyvalence de Holodeck, l’équipe a également produit des scènes plus complexes et atypiques, comme des laboratoires scientifiques et des espaces publics. Ces résultats ont été comparés à ceux obtenus avec ProcTHOR, révélant une fois de plus une préférence pour les environnements générés par Holodeck.