Google DeepMind dévoile une nouvelle série de modèles d’IA capables de contrôler des robots humanoïdes entiers. Les modèles permettent de convertir des informations visuelles et linguistiques en commandes de mouvement, notamment pour exécuter des actions complexes comme s’accroupir et ramasser des objets, mais aussi pour effectuer des manipulations délicates, comme nouer des nœuds. Ces démonstrations illustrent les progrès réalisés vers l’utilisation de robots humanoïdes dans des environnements réels, aux côtés d’humains.
Pour que les robots puissent s’intégrer dans des environnements réels encombrés, imprévisibles et remplis d’humains, la simple exécution de mouvements ne suffit pas. De nombreux robots actuels sont encore conçus pour effectuer des tâches spécifiques, souvent dans des environnements contrôlés, ce qui limite leur polyvalence et leur champ d’application.
Pour évoluer dans de tels environnements, les chercheurs estiment que les robots doivent être guidés par des modèles d’IA capables d’analyser leur environnement, de planifier des actions et de prendre des décisions en fonction de la situation, tout en interagissant de manière intelligente et sûre avec d’autres robots ou avec les humains.
Google DeepMind vient de réaliser de nouveaux progrès dans ce domaine en développant une nouvelle série de modèles d’IA capables de contrôler un robot humanoïde entier, des membres jusqu’au bout des doigts. « Pour la première fois, notre modèle peut contrôler des robots humanoïdes entiers, traduisant l’intention en un contrôle corporel intelligent et global », indiquent les responsables dans un billet de blog.
Trois couches de contrôle distinctes
La nouvelle série de modèles d’IA robotiques de Google DeepMind comprend trois composants distincts. Le premier, Gemini Robotics 2, un modèle vision-langage-action, convertit les informations visuelles et linguistiques en commandes de mouvement. Ce modèle permet de contrôler des humanoïdes entiers ou des bras robotiques et offre une dextérité accrue pour manipuler les mains et saisir des objets délicats.
Le second modèle, Gemini Robotics ER 2, est un modèle de raisonnement incarné (ER) faisant office d’agent pour comprendre l’environnement physique, planifier des tâches et orchestrer les actions du robot. « Gemini Robotics ER 2 est un agent physique qui orchestre les actions du robot et lui permet de s’auto-corriger et de s’adapter à des situations inédites », expliquent les concepteurs dans un billet de blog distinct.
Le modèle ajoute ainsi une couche de contrôle supplémentaire permettant aux robots de comprendre leur environnement physique et de planifier des tâches complexes durant plusieurs minutes. Il permettrait également aux robots de collaborer et de suivre les instructions d’utilisateurs humains.
Gemini Robotics On-Device 2, le troisième modèle, est adapté à l’exécution locale sur des dispositifs robotiques et permettrait une adaptation rapide à des configurations robotiques entièrement nouvelles en quelques heures.
Nouer des nœuds et dévisser des ampoules
Les vidéos de démonstration de Google DeepMind montrent les nouveaux modèles d’IA contrôler le robot humanoïde Apollo d’Apptronik, auquel il a été demandé de « mettre l’arrosoir dans le bac vert sur l’étagère du bas ». Le robot a traité l’instruction, s’est dirigé vers la table pour prendre l’arrosoir, puis a fait quelques pas jusqu’aux étagères pour le placer avec précision à l’endroit prévu.
Dans un autre test, le robot a également pu s’accroupir pour ramasser l’arrosoir posé au sol, ou saisir des objets spécifiques sur l’étagère pour les ranger ailleurs. Il pouvait également effectuer des tâches nécessitant de la dextérité, comme nouer les nœuds d’un sac ou fermer une fermeture éclair, sceller un sachet ziploc ou même dévisser une ampoule.
Les modèles d’IA ont également été testés sur une plateforme robotique à deux bras, où Apollo 2 recevait des instructions pour ranger des outils. « Bien que nos robots aient encore des progrès à faire en matière de vitesse de déplacement, il s’agit d’une étape importante vers l’acquisition des compétences nécessaires à l’exécution de tâches plus complexes et concrètes exigeant une coordination corporelle complète », indiquent les chercheurs.
Vidéo montrant les différents niveaux de dextérités obtenus grâce aux nouveaux modèles d’IA :
Le laboratoire prévoit de continuer à améliorer le niveau de précision et la vitesse d’exécution de ses modèles robotiques afin d’atteindre un niveau de dextérité comparable à celle de l’être humain.
« Pour libérer tout le potentiel de la robotique, il est nécessaire de dépasser l’automatisation de tâches uniques et d’atteindre une intelligence à usage général. En développant cette intelligence fondamentale, notre objectif est de rendre possible l’existence d’une IA dans le monde physique, capable de collaborer avec les humains pour relever des défis complexes », concluent les chercheurs.
Vidéo de démonstration de Gemini Robotics 2 :
