La nouvelle IA de Meta est devenue raciste en quelques jours

ia chatbot meta racisme
| Trust My Science
⇧ [VIDÉO]   Vous pourriez aussi aimer ce contenu partenaire

|Mise à disposition du public vendredi 5 août, BlenderBot 3 est la nouvelle IA de discussion par messages (ou chatbot) de Meta. Mais comme pour tous les systèmes de ce type qui imitent du contenu, il y a des dérapages. Meta affirme cependant avoir récemment réduit les réponses offensantes de 90%.

Le principe de ce système basé sur le « machine learning » (apprentissage automatique) est simple : il se développe à partir des données qu’on lui fournit. Contrairement aux versions précédentes du chatbot, celle-ci peut même effectuer des recherches sur Internet pour « discuter » d’à peu près tous les sujets avec des humains. Pour ce faire, le système s’appuie sur les capacités fournies par les versions précédentes du BlenderBot, comme la personnalité, l’empathie et la connaissance sur le long terme.

Pour développer son apprentissage sur une large gamme de sujets, Meta a mis le chatbot à disposition du public. Mais comme toujours, le risque de circulation de fausses informations et de propos déplacés demeure. Dans une conversation avec un journaliste d’Insider, BlenderBot en a profité pour qualifier Mark Zuckerberg — son fondateur — « d’effrayant et manipulateur ». Il a écrit à un autre journaliste que Trump « sera toujours » président, et a même vanté la théorie antisémite du complot selon laquelle il n’était « pas invraisemblable que des Juifs contrôlent l’économie ».

Évidemment, ce n’est pas la première fois qu’un chatbot part à la dérive. En 2016, Microsoft avait sorti Tay, un système d’IA conversationnel, clôturé après qu’il a commencé à faire l’éloge d’Adolf Hitler.

Comme pour tous les systèmes d’IA, les réponses du robot ont également viré au racisme. Le média Vice rapporte que les propres chercheurs de Facebook ont décrit le modèle comme ayant « une forte propension à générer un langage toxique et à renforcer les stéréotypes nuisibles, même lorsqu’on lui fournit une entrée relativement inoffensive ».

Certes, Facebook admet que le robot génère des réponses biaisées et nuisibles, et demande aux utilisateurs de reconnaître qu’il est « susceptible de faire des déclarations fausses ou offensantes » et aussi d’accepter « de ne pas influencer intentionnellement le système pour qu’il fasse des déclarations offensantes ». Mais la nouvelle IA de Meta nécessiterait plus de contrôle afin d’éviter une fin prématurée.

Des résultats impossibles à contrôler ?

« Comme tous les chatbots d’IA conversationnelle sont connus pour imiter et générer parfois des remarques dangereuses, biaisées ou offensantes, nous avons mené des études à grande échelle, co-organisé des ateliers et développé de nouvelles techniques pour créer des protections pour BlenderBot 3 », écrit Meta dans un blog annonçant la sortie du chatbot. « Nous comprenons que tous ceux qui utilisent des chatbots n’ont pas de bonnes intentions, c’est pourquoi nous avons également développé de nouveaux algorithmes d’apprentissage pour distinguer les réponses utiles des exemples nuisibles ».

En outre, les utilisateurs peuvent signaler les réponses inappropriées de BlenderBot 3, comme le note Bloomberg, et Meta affirme les prendre en compte et avoir réduit les réponses offensantes de 90%. Pourtant, les chercheurs en éthique de l’IA ont averti à plusieurs reprises que les modèles linguistiques massifs qui alimentent ces systèmes sont trop importants et imprévisibles pour garantir des résultats équitables et impartiaux. Il n’y aurait pas non plus de moyen clair de distinguer les réponses utiles des autres réponses, même en intégrant les commentaires des utilisateurs.

Laisser un commentaire