La société de robotique Figure franchit une nouvelle étape vers la réalisation de l’un de ses principaux objectifs, qui est de produire des robots humanoïdes capables d’assister les humains dans leurs tâches quotidiennes. En effet, grâce à sa collaboration avec OpenAI, Figure intègre désormais une IA de pointe qui augmente l’indépendance de sa machine et facilite une communication « naturelle » avec les utilisateurs.
Nous avons récemment évoqué la confiance de nombreux grands investisseurs dans le potentiel de l’entreprise de robotique Figure. En tout juste un an, la société a su développer des modèles bipèdes capables d’apprendre à effectuer des tâches par simple observation. Une telle prouesse a conduit à des investissements à hauteur de 675 millions de dollars ainsi qu’à de nouvelles collaborations, incluant OpenAI, qui s’est engagée à fournir l’IA alimentant le robot Figure 01.
Suite à cet accord, le PDG et cofondateur de Figure, Brett Adcock, a publié une vidéo sur X montrant les nouvelles capacités de son robot. À en croire les images, Figure 01 n’est plus une simple machine exécutant des commandes, mais est désormais capable de comprendre son environnement, de communiquer avec les humains de manière naturelle et d’agir en toute autonomie.
OpenAI + Figure
conversations with humans, on end-to-end neural networks:
→ OpenAI is providing visual reasoning & language understanding
→ Figure's neural networks are delivering fast, low level, dexterous robot actions(thread below)pic.twitter.com/trOV2xBoax
— Brett Adcock (@adcock_brett) March 13, 2024
Une interaction directe avec l’humain et avec son environnement
Dans la vidéo publiée, Figure 01 révèle sa capacité à suivre les instructions d’un humain et à communiquer verbalement avec ce dernier. Il comprend et réagit notamment à des requêtes spécifiques. Il peut également localiser et remettre un objet spécifique à une personne. Du moins, c’est ce que laisse croire la vidéo. Dans cette dernière, le robot offre une pomme à son interlocuteur après que celui-ci lui a demandé s’il y avait quelque chose à manger. Le robot est aussi capable de percevoir et de décrire son environnement. Suite à la demande du même interlocuteur, il a su clairement décrire les objets situés devant lui.
Par ailleurs, Figure 01 semble désormais pouvoir exécuter des tâches de manière autonome, c’est-à-dire sans que l’utilisateur ait besoin de le guider. Dans la vidéo, il procède au ramassage de la vaisselle et à son rangement dans un égouttoir. On remarque toutefois que le robot montre une vitesse de réponse un peu lente, bien que les mouvements semblent fluides pour une telle machine.
Un (nouveau) grand modèle de vision et de langage d’OpenAI
Adcock révèle que les caméras embarquées de Figure 01 alimentent un grand modèle de vision et de langage (VLM) développé par OpenAI. Ce type de modèle est conçu pour analyser et comprendre les informations visuelles capturées. L’humanoïde a été entraîné à reconnaître les éléments dans une image, mais aussi à comprendre les commandes ou les questions verbales liées à ces éléments visuels.
Sur la base du traitement des informations reçues, il peut décider de la meilleure action à entreprendre. Le PDG n’a cependant pas clairement indiqué si le VLM utilisé est une version de GPT-4 ou un nouveau modèle conçu spécifiquement pour l’entreprise. Il affirme également que le processus de perception, de décision et d’action de la machine est géré par des réseaux neuronaux annexes. Cet ensemble de technologies permet donc au robot d’interagir avec son environnement et avec les personnes autour de lui.
Malgré cette démonstration, il est important de se rappeler qu’il ne s’agit ici que d’un prototype. Cela ne signifie pas que le robot sera bientôt commercialisé. La réalisation d’un produit fini, prêt pour le marché, implique encore énormément de travail. Pour cela, Figure doit encore se pencher sur de nombreux points d’amélioration, tels que la fiabilité, la vitesse d’exécution et d’interaction, l’efficacité, la sécurité, la mise en production à grande échelle et la conformité aux réglementations.