Les progrès fulgurants de l’intelligence artificielle continuent de susciter des inquiétudes parmi les experts, sans oublier les décideurs politiques et les entreprises. À l’instar d’autres technologies à fort impact, l’IA générative doit être gérée avec une grande responsabilité, notamment en raison des risques qu’elle présente pour l’équilibre économique et politique. Ces systèmes peuvent en effet déstabiliser même les plus grandes structures et aider à diffuser de la désinformation politique à grande échelle, sans compter la dépendance qu’elle provoque déjà chez certains utilisateurs. Une nouvelle étude révèle par ailleurs que les grands modèles de langage (LLM) sont empreints de divers préjugés politiques. Les réponses seraient notamment plus orientées vers la droite ou la gauche selon le modèle d’IA utilisé.
Une nouvelle base de données, l’AI Risk Repository, créée par le groupe FutureTech du CSAIL du MIT, en collaboration avec plusieurs partenaires, expose plus de 700 risques que les systèmes d’IA pourraient poser. Dans cette base, les préjugés et les discriminations représentent 63 % des risques les plus courants. Pour établir ce pourcentage, l’équipe s’est basée sur des bases de données de prépublications détaillant les risques liés à l’IA et a également passé au peigne fin divers articles évalués par des pairs.
Parmi les publications évaluées se trouve une étude de l’Université de Washington, de l’Université Carnegie Mellon et de l’Université Xi’an Jiaotong. Cette dernière s’est penchée sur l’évaluation de la possibilité que les modèles de langage des modèles d’IA générative aient des préjugés politiques. Depuis le succès de ChatGPT, le géant OpenAI a fait face à de nombreuses critiques de la part des commentateurs de droite, soulignant que le chatbot reflétait une vision plus libérale du monde. L’entreprise, de son côté, affirme qu’il a été demandé aux évaluateurs humains de ne favoriser aucun groupe politique pour affiner le modèle d’IA.
Pourtant, Chan Park, chercheuse doctorante à l’Université Carnegie Mellon et membre de l’équipe chargée de l’étude, n’est pas du même avis. Elle a déclaré dans un article du MIT Technology Review : « Nous pensons qu’aucun modèle de langage ne peut être totalement exempt de préjugés politiques ». C’est ainsi que dans le cadre de l’étude, les scientifiques ont testé 14 des plus grands modèles de langage afin de comprendre les hypothèses politiques et les préjugés impliqués.
Des préjugés présents à chaque étape du développement d’un modèle d’IA
Pour commencer, l’équipe avait décidé d’analyser de près les différents processus du développement d’un modèle d’IA générative. L’étude a été réalisée en trois étapes. Avec la première, les chercheurs souhaitaient connaître les tendances politiques des modèles d’IA et ont ainsi demandé à 14 modèles d’approuver ou non 62 déclarations politiques. D’après leurs analyses, ils ont constaté que chaque modèle avait une tendance politique différente. BERT, par exemple, un modèle mis au point par Google, était plus conservateur sur le plan social, contrairement aux modèles d’OpenAI. La raison est que les modèles GPT ont été formés sur des textes présents sur internet, qui sont généralement plus libéraux.
Au cours de la deuxième phase de l’étude, les chercheurs ont tenté de déterminer si les données d’entraînement pouvaient influencer les préjugés politiques au moment d’affiner les modèles. Pour ce faire, Park a expliqué que son équipe a entraîné deux vieux modèles, notamment GPT-2 d’OpenAI et RoBERTa de Meta, « sur des ensembles de données constitués de médias d’information et de données de médias sociaux provenant de sources de droite et de gauche ». Les chercheurs ont ainsi pu constater que cette approche a confirmé leur hypothèse. En effet, les résultats montrent que les données d’entraînement ont renforcé les préjugés des modèles de langage.
Au cours de la dernière étape, ils ont mesuré la façon dont les tendances politiques des modèles d’IA affectaient les types de contenu répertoriés comme discours haineux ou désinformation par ces modèles. L’analyse a mis en exergue le fait que d’un côté, les modèles qui ont été formés à partir des données de gauche étaient sensibles aux discours et commentaires haineux visant les minorités religieuses, ethniques et sexuelles aux États-Unis. D’un autre côté, les modèles formés à partir des données de droite étaient plus sensibles aux discours haineux visant les chrétiens.
Les chercheurs admettent que les essais qu’ils ont réalisés ne suffisent pas à mesurer l’ampleur de l’influence des préjugés et nuances politiques des modèles d’IA. Quoi qu’il en soit, ils tirent la sonnette d’alarme sur le fait que les entreprises doivent prendre conscience de ce risque lorsqu’elles intègrent l’IA générative à leurs produits. « Il n’y a pas d’équité sans prise de conscience », avance Park.
Autres risques à considérer
Outre les préjugés politiques, la base de données AI Risk Repository souligne également que la robustesse des systèmes d’IA ainsi que la protection de la vie privée représentent 76 % et 61 %, respectivement, des risques liés aux modèles de langage. « Ce que dit notre base de données, c’est que l’éventail des risques est considérable et qu’ils ne peuvent pas tous être contrôlés à l’avance », explique Neil Thompson, directeur de MIT FutureTech et l’un des créateurs de la base de données.
Cependant, même avec cette nouvelle base de données, il reste encore difficile d’identifier les risques liés à l’IA dont il faut le plus s’inquiéter. Toutefois, d’après ses créateurs, l’AI Risk Repository ouvre la voie à de futures recherches axées notamment sur les risques qui ne font pas l’objet de recherches suffisantes. « Ce qui nous préoccupe le plus, c’est de savoir s’il y a des lacunes », conclut Thompson.