Inclure une phase imitant le sommeil chez une IA améliorerait, comme chez nous, ses capacités d’apprentissage. Cette idée a récemment été testée et validée par des chercheurs de l’Université de Catane (Italie). Le terme « sommeil » ne désigne pas ici un temps de repos comme on pourrait le penser, mais plutôt une phase stratégique d’optimisation incorporée à la routine d’entraînement des modèles d’IA.
Lors de son apprentissage, un modèle d’IA peut rencontrer un phénomène connu sous le nom « d’oubli catastrophique ». Ce terme décrit quand un système, une fois entraîné à maîtriser une nouvelle tâche, oublie comment exécuter une ou plusieurs taches ou concepts appris auparavant. Afin d’éviter ce dysfonctionnement, des chercheurs de l’Université de Catane, en Italie, ont mis au point une méthode d’apprentissage inspirée du fonctionnement du cerveau humain. Elle vise à simuler la manière dont notre cerveau traite et stocke les informations.
La méthode a été baptisée « apprentissage consolidé veille-sommeil » (wake-sleep consolidated learning, ou WSCL). Pour comprendre le fonctionnement de cette méthode, il faut savoir que dans notre cerveau, les informations apprises tout au long d’une journée sont initialement stockées sous forme de souvenirs à court terme. Ce n’est qu’au cours du sommeil que l’organe les transforme en souvenirs à long terme. C’est ce processus que l’équipe de scientifiques a tenté de reproduire chez l’IA. Leur système est détaillé dans une étude publiée sur arXiv.
Des phases d’éveil et de sommeil
L’approche WSCL se distingue par l’intégration d’une phase « d’éveil » et de « sommeil » dans le processus d’apprentissage des modèles d’IA. Les modèles d’IA actuels sont formés de manière conventionnelle sur un ensemble de données spécifique à une tâche. La phase d’éveil correspond à l’acquisition de souvenirs à court terme chez les humains, où le cerveau capte et stocke temporairement de nouvelles informations.
Au cours de la période de sommeil, le modèle d’IA est exposé à un échantillon de données précédemment apprises (c’est-à-dire des tâches sur lesquelles il a été entraîné auparavant) ainsi qu’à des données nouvelles d’entraînement. Cela permet au modèle de réviser et de renforcer les connaissances antérieures tout en établissant des liens avec les nouvelles informations.
Un aspect quelque peu étonnant de cette période de sommeil est l’introduction d’une phase de « rêve ». Au cours de celle-ci, l’IA est confrontée à des scénarios improbables, voire absurdes, qui ne se présenteraient pas naturellement dans des ensembles de données standard. Par exemple, un système apprenant à reconnaître des images d’animaux pourrait être entraîné sur des combinaisons étranges telles que des hybrides chat-oiseau. Cette exposition à des données inattendues stimule une réorganisation des circuits neuronaux. Cela prépare également le système à s’adapter et à apprendre de nouvelles tâches avec une plus grande efficacité.
Une méthode prometteuse
Pour tester leur méthode, les chercheurs ont mené une expérience impliquant trois modèles d’IA. Initialement formés selon une méthode d’entraînement standard, ces modèles ont ensuite été réentraînés en adoptant l’approche WSCL. L’objectif était de leur apprendre à identifier des images.
Les résultats ont révélé une amélioration notable de la précision (allant de 2 à 12 %) pour les IA formées par le biais de la méthode WSCL — par rapport à celles entraînées avec la méthode conventionnelle. Cette amélioration indique que les modèles WSCL sont plus aptes à tirer parti des connaissances acquises lors d’apprentissages antérieurs pour maîtriser et exécuter de nouvelles tâches avec efficacité.
Ces résultats n’ont pas manqué d’attirer l’attention d’autres chercheurs. Andrew Rogoyski, de l’Université du Surrey au Royaume-Uni, cité par le New Scientist, a qualifié l’étude « d’intéressante ». Il invite cependant à trouver une approche plus ouverte qui ne se limite pas à essayer de copier le cerveau humain. Il suggère d’ailleurs qu’il pourrait être plus fructueux d’examiner comment d’autres formes de vie traitent l’information, en citant l’exemple des dauphins, dont le cerveau n’entre que partiellement en sommeil.