Au cours des dernières années, l’intelligence artificielle n’a cessé d’évoluer en complexité et en efficacité, jusqu’à remplacer aujourd’hui l’Homme dans plusieurs tâches. Des voitures autonomes à la chirurgie, elle est un acteur crucial dans de nombreux domaines. Si l’IA peut se montrer extrêmement performante en agissant seule, la faire coopérer s’est toujours montré extrêmement difficile pour les scientifiques. Cependant, des chercheurs ont récemment réussi à développer une IA travaillant avec succès en équipe sur un jeu vidéo multijoueur, à tel point qu’elle s’est montrée bien plus performante que des joueurs humains.
Les joueurs humains savent à quel point il est difficile de gagner une partie du fameux jeu vidéo Quake III Arena : dans une arène semblable à un labyrinthe, ils doivent travailler avec d’autres joueurs pour capturer des drapeaux flottants, tout en évitant des tirs meurtriers. Désormais, pour la première fois, une intelligence artificielle (IA) a maîtrisé le travail d’équipe dans un jeu vidéo complexe à la première personne (FPS), en coordonnant ses actions avec ses coéquipiers humains et informatiques (bots) pour battre ses adversaires.
« L’étendue des expériences est remarquable. Parvenir à faire travailler ensemble des IA est extrêmement difficile », déclare Michael Littman, expert en intelligence artificielle à la Brown University. Bien que l’intelligence artificielle puisse conduire des voitures et vaincre facilement les plus grands joueurs d’échecs du monde, les chercheurs ont du mal à maîtriser le travail d’équipe. La pratique peut sembler intuitive pour nous, mais prévoir le comportement des autres — élément essentiel du travail en équipe — ajoute un niveau de complexité et d’incertitude sans précédent pour l’IA.
Des réseaux de neurones pour apprendre et maîtriser efficacement les règles du jeu
Dans la nouvelle étude, des chercheurs ont demandé à des IA de s’apprendre à travailler en équipe. Leur salle de classe était une version simplifiée du jeu de tir à la première personne de 1999, Quake III Arena. Le jeu implique deux équipes qui évoluent sur une carte 3D pour récupérer un drapeau de la base de leur adversaire et le ramener à la leur. L’équipe avec le plus de captures après 5 minutes gagne. Les joueurs peuvent également tirer un faisceau laser pour marquer les ennemis, les renvoyant à leur base.
Pour former l’IA à travailler en équipe, les scientifiques ont créé 30 robots différents et les ont opposés lors d’une série de matchs sur des cartes générées aléatoirement. Les robots formés utilisent des algorithmes inspirés du cerveau, appelés réseaux de neurones, qui tirent des enseignements des données en modifiant la force des connexions entre neurones artificiels.
Les seules données que les robots ont dû apprendre sont la perspective visuelle à la première personne de leur personnage et de leurs points de jeu, attribués pour des opérations telles que la collecte de drapeaux ou le marquage de leurs adversaires. Au départ, les robots ont agi de manière aléatoire. Mais lorsque leurs actions ont marqué des points, les liens qui ont conduit au comportement ont été renforcés grâce à un processus appelé « apprentissage par renforcement ».
Le programme de formation a également ciblé les robots qui avaient tendance à perdre et les a remplacés par des copies mutées des plus performants, inspirées par la manière dont la variation génétique et la sélection naturelle aident les animaux à évoluer. Après 450’000 parties, les chercheurs sont arrivés au meilleur bot, qu’ils ont nommé For The Win (FTW).
Une maîtrise parfaite du travail d’équipe pour des performances optimales
Ils ont ensuite testé le bot résultant lors de divers matches avec un FTW identique, un FTW manquant d’un élément d’apprentissage crucial, les bots classiques intégrés au jeu et des joueurs humains. Les équipes de bots FTW ont systématiquement écrasé tous les autres groupes, bien que les humains jumelés à des bots FTW aient pu les battre 5% du temps. Les résultats ont été publiés dans la revue Science.
Les robots FTW ont appris à jouer en toute transparence avec les humains et les machines. Ils ont même développé des stratégies classiques de coopération, explique le co-responsable de l’étude, Max Jaderberg, chercheur en intelligence artificielle chez DeepMind, une entreprise de Google.
Ces stratégies impliquaient de suivre les coéquipiers afin de dépasser le nombre d’opposants lors de combats ultérieurs et de rester près de la base ennemie lorsque leur coéquipier avait le drapeau, pour le saisir immédiatement quand il réapparaissait.
Sur le même sujet : Babylon : l’intelligence artificielle qui diagnostique des patients aussi bien que des médecins expérimentés
Dans un test, les bots ont inventé une stratégie complètement nouvelle, exploitant un bug qui permettait aux coéquipiers de se donner une vitesse supplémentaire en leur tirant une balle dans le dos. « Ce qui était étonnant pendant le développement de ce projet, c’était de voir émerger certains de ces comportements de haut niveau » déclare Jaderberg.
L’approche est encore loin de fonctionner dans le monde réel, ajoute Jaderberg, mais ces résultats vont bien au-delà que le simple fait de gagner à des jeux vidéo. Si l’IA peut apprendre à travailler en équipe, elle peut tout faire, des voitures autonomes qui évitent les accidents en se coordonnant entre elles, aux assistants en chirurgie robotique qui aident les médecins pendant les procédures.
Néanmoins, Littman met en garde contre l’extrapolation excessive d’une simulation informatique relativement simple. « Il se pourrait que les détails de ce jeu ne nécessitent qu’une part très étroite de ce que nous considérons comme du travail d’équipe. Cela n’implique pas que l’IA se montrerait aussi efficace et performante pour d’autres tâches » conclut-il.
Cette vidéo montre le processus d’apprentissage utilisé par les chercheurs de DeepMind pour entraîner l’IA :