En évaluant la capacité de l’IA à représenter des faits passés en se basant sur des données scientifiques, des chercheurs ont constaté que la précision de leurs réponses dépendait de leur capacité à accéder aux sources d’information. Lorsque les chatbots ont été incité à générer des récits illustrant le quotidien des Néandertaliens, près de la moitié des réponses étaient obsolètes. Ces observations mettent en lumière un écart important entre les informations générées par IA et celles basées sur des données scientifiques fiables.
Depuis la popularisation des chatbots en 2022, l’IA a transformé la manière dont nous accédons et créons des informations. L’IA générative permet désormais de générer facilement des contenus originaux audio, visuels et textuels, et ce sans nécessiter de compétences de niveau expert. De même, les analyses et résumés générés par IA offrent une accessibilité plus rapide et plus efficace sur des millions de sujets allant des plus simples, comme les recettes de cuisine, aux plus pointues, comme les études scientifiques.
Cette accessibilité accrue a provoqué d’importants changements dans de nombreux secteurs, notamment l’emploi, l’éducation et la recherche scientifique. Pour l’anthropologie et l’archéologie, par exemple, l’IA a changé la manière dont les faits et événements historiques sont représentés. Elle facilite par exemple la représentation et l’interprétation du matériel archéologique, permettant aux personnes non initiées d’imaginer des reconstitutions du passé.
Cependant, si, grâce à l’IA générative, il est désormais possible d’accéder à l’information plus rapidement que jamais, la précision des informations fournies reste perfectible, en particulier pour le domaine de la recherche scientifique. En effet, l’accessibilité quant à la représentation du passé augmente également le risque de propagation de fausses informations. La diffusion large de désinformations pourrait entraîner de profonds changements sur la manière dont le passé est interprété et compris par la jeune génération, ce qui pourrait remettre en question des décennies de recherches et d’avancées scientifiques.
Compte tenu de ces risques, il est essentiel d’évaluer dans quelle mesure l’IA pourrait influencer la manière dont le passé est visualisé et interprété. Des chercheurs de l’Université du Maine et de l’Université de Chicago ont pour cela testé des modèles d’IA générative populaires pour évaluer leur capacité à répondre correctement à des questions d’archéologie et d’anthropologie.
« Il est essentiel d’examiner les biais inhérents à notre utilisation quotidienne de ces technologies », explique dans un communiqué de l’Université du Maine, Matthew Magnani, professeur adjoint d’anthropologie au sein de l’université et auteur principal de l’étude. « Il est important de comprendre comment les réponses rapides que nous recevons se rapportent aux connaissances scientifiques les plus récentes. Sommes-nous susceptibles de recevoir des réponses obsolètes lorsque nous demandons des informations à des chatbots, et dans quels domaines ? »
D’importants biais de représentation
Les chercheurs de l’étude ont demandé à deux chatbots (DALL-E 3 et GPT-3.5) de générer des images ou des histoires pour illustrer le quotidien des Néandertaliens. Plus précisément, les modèles ont été soumis à quatre requêtes distinctes, les deux premières ne requérant pas d’exactitude scientifique et les deux autres demandant des réponses et des contextes plus détaillés, telles que les types d’activité et les vêtements portés, en se basant sur les données scientifiques. Chaque requête a été répétée 100 fois.
Les premiers ossements de Néandertaliens ont été décrits en 1864 et de nombreux autres ont été mis au jour depuis. Mais si ces ossements ont permis de reconstituer leur morphologie globale, les détails sur leur mode de vie, tels que la coupe de leurs vêtements et leurs techniques de chasse, ont longtemps fait l’objet de débats. Ce manque d’informations établies en fait, selon les chercheurs, un sujet de test idéal pour évaluer la précision et la fiabilité des réponses générées par IA.
D’après les résultats décrits dans l’étude parue dans la revue Advances in Archaeological Practice, la précision des réponses des IA dépendait de leur capacité à accéder aux sources d’informations fiables et à jour. Les images générées par DALL-E 3 représentaient les Néandertaliens tels qu’on pensait qu’ils ressemblaient il y a plus de 100 ans, conformément aux courants scientifiques dominants du XIXᵉ et du début du XXᵉ siècle, c’est-à-dire avec des traits primitifs plus proches de ceux des chimpanzés que de ceux des humains, une pilosité abondante, une posture voûtée, etc.
Fait intéressant : les images générées ne comportaient généralement ni femmes ni enfants, ce qui n’est pas représentatif de la diversité et de la complexité culturelle néandertalienne décrite dans les études contemporaines. D’autre part, environ la moitié des récits générés par IA ne correspondaient pas aux données scientifiques à jour et dépassait même 80 % pour certaines des requêtes posées.
En outre, les images et les récits représentaient ou décrivaient des objets de vannerie, des toits en chaume et même des échelles, des objets en verre et en métal, des technologies trop avancées pour l’époque.
Image générée avec DALL-E 3 dans le cadre de l’étude. La consigne était de décrir les activités, le contexte, les vêtements et les outils typiques, sans exiger de rigueur scientifique. © Université du MaineDes sources datant des années 1960 et 1980
En retraçant les sources d’information sur lesquelles les modèles se sont appuyés, les chercheurs ont constaté que GPT-3.5 s’est basé principalement sur des études datant des années 1960, tandis que DALL-E 3 s’est sourcé sur des données datant de la fin des années 1980 et du début des années 1990.
À noter toutefois que les expériences de l’étude ont été effectuées en 2023. Compte tenu des avancées rapides réalisées depuis en matière d’IA et les compromis établis en matière de droits d’auteurs, les chercheurs espèrent que les chatbots actuels intègreront mieux les données scientifiques à jour.
« L’un des moyens importants d’améliorer la précision des résultats de l’IA consiste à veiller à ce que les ensembles de données anthropologiques et les articles scientifiques soient accessibles à l’IA », souligne le coauteur de l’étude, Jon Clindaniel, professeur à l’Université de Chicago et spécialiste d’anthropologie computationnelle.
Néanmoins, « notre étude fournit un modèle permettant à d’autres chercheurs d’examiner l’écart entre la recherche et le contenu généré par l’intelligence artificielle », conclut Magnani.