Le cerveau active des mécanismes complexes pour traiter le langage, de la compréhension des mots et des phrases à la production de réponses cohérentes. Et si les grands modèles de langage (LLMs) imitaient certains aspects du fonctionnement du cerveau humain dans ce processus ? Il se pourrait bien que ce soit le cas, d’après une nouvelle étude.
Grâce aux avancées dans les technologies d’apprentissage automatique, qui ont permis une meilleure compréhension du langage naturel, les grands modèles de langage actuels génèrent des réponses de plus en plus fluides et cohérentes. Leur performance est parfois si impressionnante que certains utilisateurs en oublient presque qu’ils interagissent avec une machine. Outre cette capacité indéniable des IA génératives, il se pourrait également que cette prouesse soit liée à des similitudes potentielles entre le fonctionnement des LLM et celui du cerveau humain.
Ces ressemblances avaient déjà été mises en évidence par des études antérieures, mais celles-ci étaient limitées au modèle GPT-2 ou GPT-3. La recherche sur les modèles plus récents reste encore peu développée. C’est précisément ce que des chercheurs de l’Université de Columbia et des Feinstein Institutes for Medical Research Northwell Health ont entrepris de combler. Leur nouvelle étude explore la manière dont les grands modèles actuels pourraient imiter les processus neuronaux humains dans le traitement du langage. Les résultats ont été publiés dans la revue Nature Machine Intelligence.
Une étude sur des humains et 12 modèles de langage récents
Pour mener leur recherche, les scientifiques ont comparé les principes de fonctionnement des grands modèles de langage à ceux du cerveau humain. Ils ont examiné 12 modèles récents, développés avec des structures similaires et un nombre de paramètres presque identique (entre eux). Ces intelligences artificielles ont été soumises à un même texte, permettant aux chercheurs d’extraire les « embeddings », des représentations vectorielles de mots ou de phrases qu’elles génèrent. Ces embeddings traduisent la manière dont l’IA comprend et traite le texte à différents niveaux de son architecture.
En parallèle, des expériences ont été conduites sur des patients subissant des interventions neurochirurgicales, équipés d’électrodes implantées dans leur cerveau. Les chercheurs leur ont fait écouter un discours — identique au texte soumis aux modèles — afin d’observer leur activité cérébrale. En croisant ces données avec les embeddings produits par les IA, ils ont tenté de prédire les réponses neuronales humaines. Une forte proximité entre les prédictions et les réponses réelles pourrait indiquer des similitudes de traitement.
Une méthode de traitement du langage similaire
Les résultats ont révélé une correspondance croissante avec les réponses neuronales à mesure que la puissance des modèles augmentait. « Nous avons constaté qu’au fur et à mesure que les LLM deviennent plus puissants, leurs embeddings deviennent plus similaires aux réponses neuronales du cerveau au langage », a déclaré Gavin Mischler, auteur principal de l’étude, au média TechXplore. « Il semble que les systèmes naturels et artificiels convergent vers une méthode similaire de traitement du langage », a-t-il ajouté.
Ces travaux pourraient non seulement améliorer la compréhension des grands modèles de langage et leur conception, mais également offrir des perspectives inédites sur les mécanismes du cerveau humain, l’un des systèmes les plus complexes et mystérieux de la science.