Le 3 mai dernier, Meta (anciennement Facebook) a annoncé mettre à disposition de tous les chercheurs le modèle de langage « Open Pretrained Transformer », qui comporte 175 milliards de paramètres. Son but est d’encourager la recherche ouverte sur l’intelligence artificielle et d’alimenter des débats sur son utilisation, qui peut mener à des dérives.
C’est la toute première fois que le laboratoire d’IA de Meta met à disposition de tout chercheur qui le souhaite un très grand modèle de langage ; à condition toutefois de demander l’approbation de l’entreprise pour avoir accès au système. « La version inclut à la fois les modèles pré-entraînés et le code nécessaire pour les entraîner et les utiliser », a déclaré Meta dans un billet de blog.
Un nouveau modèle de langage construit à partir de GPT-3
Appelé « Open Pretrained Transformer » (OPT-175B), le nouveau modèle de langage est bâti sur le modèle de réseau neuronal GPT-3 d’OpenAI, la société de recherche et développement en IA. GPT-3 est un modèle d’apprentissage du langage de troisième génération considéré comme le plus avancé de son genre au monde et qui comporte 175 milliards de paramètres. OPT en contient tout autant, mais son partage en libre accès permet aussi aux chercheurs d’analyser les failles de la version d’OpenAI.
Au cours d’un processus de formation de trois mois (d’octobre 2021 à janvier 2022, sans interruption), les membres de l’équipe ont tenu un journal de bord détaillé du système. Sur plus de 100 pages, il contient des mises à jour quotidiennes sur les données de formation : comment et quand elles ont été ajoutées au modèle, ce qui a fonctionné ou non.
Dans le domaine de l’IA, les modèles de langage sont des modèles statistiques dont le but est notamment de générer des mots à la suite d’une séquence déjà écrite, d’imiter une conversation humaine, de répondre à des questions (compréhension du langage), etc. Avec des milliards de paramètres, les algorithmes sont entraînés avec des volumes massifs et variés de textes. Mais comme la machine est imparfaite, ces modèles peuvent également transmettre des informations erronées, des propos déplacés ou des préjugés.
Objectif : « Maintenir l’intégrité et empêcher l’utilisation abusive »
Meta souhaite favoriser la collaboration en matière de recherche scientifique, en toute transparence : « Un segment beaucoup plus large de la communauté de l’IA doit avoir accès à ces modèles afin de mener des recherches reproductibles et de faire progresser collectivement le domaine ». De nombreuses personnes restent préoccupées par les possibles dérives de l’IA et estiment que la pluralité des modèles ouverts est une bonne nouvelle.
La société a ainsi déclaré qu’elle ouvrait le système aux chercheurs afin de « maintenir l’intégrité et d’empêcher l’utilisation abusive » de tels systèmes, ce dont la société a pourtant été régulièrement accusée de faire avec ses propres systèmes d’IA. Désormais, elle souhaite changer la façon dont nous percevons et jugeons l’IA. « Avec la sortie de OPT-175B et des modèles de base à plus petite échelle, nous espérons augmenter la diversité des voix qui définissent les considérations éthiques de ces technologies », a-t-elle ajouté.
Toutefois, certains estiment que la transparence n’empêche pas les risques de diffusion de fausses informations et de langage raciste ou misogyne. En effet, diffuser ce modèle partout dans le monde auprès d’un large public — susceptible de l’utiliser ou d’être affecté par ses résultats — engendre des responsabilités notables.