Replika, un chatbot d’IA populaire utilisé en tant que soutien émotionnel, montrerait des comportements de prédateur sexuel envers certains utilisateurs, y compris les mineurs. Il harcèlerait les utilisateurs en introduisant des contenus sexuels non sollicités dans les conversations et en ignorant les demandes lui indiquant d’arrêter. Les chercheurs appellent à une réglementation plus stricte, ce type de comportement pouvant menacer des millions de personnes.
Mis à part la prise en charge de nombreuses tâches, les chatbots d’IA servent aussi désormais de confidents, d’amis et même de partenaires romantiques. Leurs multiples fonctionnalités leur permettent de tenir des conversations comme de véritables personnes. On estime que 987 millions de personnes dans le monde utilisent des chatbots, et beaucoup établiraient avec eux des liens plus étroits qu’une simple relation utilisateur-assistant.
Bien que la plupart des chatbots d’IA puissent tenir des conversations fluides et construites, des chatbots dits « compagnons » ont été développés spécifiquement pour offrir un soutien émotionnel et psychologique aux utilisateurs. Des études ont montré que leur utilisation peut contribuer à réduire le stress et l’anxiété, notamment en offrant un espace sûr pour la confidence et l’introspection. Leur adoption a grimpé en flèche lors de la pandémie de Covid-19.
Les avancées en matière de traitement du langage naturel ont permis à ces chatbots de tenir des conversations toujours plus construites. Parmi les plus populaires figure Replika, qui comptait plus de 10 millions d’utilisateurs en 2024. Son taux d’utilisation a augmenté de 35 % au cours de la période Covid.
Cependant, malgré les avantages attendus, des utilisateurs ont rapporté des comportements de harcèlement impliquant des flirts agressifs et des contenus sexuels non sollicités. L’humanisation de Replika influencerait également l’engagement des utilisateurs, ces derniers obtenant parfois des réponses inappropriées ou inattendues.
Ce type de comportement pourrait renforcer la dépendance émotionnelle, en particulier chez les personnes vulnérables. Les chercheurs craignent des dommages psychologiques si le chatbot venait à subir des modifications sans préavis. Des travaux ont montré que les offres limitées pour les chatbots dédiés à la santé mentale, y compris Replika, peuvent entraîner des traitements incomplets ou des frais imprévus, ce qui soulève des préoccupations en matière d’éthique.
Cependant, bien que de précédentes études aient mis en lumière différents défis et préoccupations éthiques, des lacunes subsistent quant à la compréhension des contextes spécifiques dans lesquels les harcèlements se produisent. Pour combler ces lacunes, des chercheurs de l’Université de Drexel de Philadelphie ont collecté et analysé les rapports de centaines de milliers d’utilisateurs de Replika.
« Identifier les scénarios spécifiques dans lesquels les utilisateurs sont victimes de harcèlement peut aider à adapter les interventions et les mesures de sécurité », expliquent-ils dans leur rapport prépublié sur le serveur arXiv. « En outre, il est essentiel de comprendre ces scénarios pour clarifier les responsabilités et la reddition de comptes, le harcèlement provoqué par l’IA et les notions d’auteur et de victime. »
Des sentiments d’inconforts et de déception
Pour enquêter sur les cas de harcèlement sexuel du chatbot Replika, les chercheurs ont collecté un ensemble de 150 000 avis d’utilisateurs sur le Google Play Store américain. Sur 35 105 avis négatifs, 800 ont été identifiés comme pertinents pour l’analyse, en raison de leur contenu explicite lié à des comportements jugés inappropriés ou agressifs de la part du chatbot.
Les résultats ont révélé que les utilisateurs subissent fréquemment des avances sexuelles non sollicitées, des comportements inappropriés persistants et des manques de respect de la part du chatbot. Des réponses sexuellement explicites ont été signalées même lorsque les utilisateurs s’identifiaient comme mineurs.
Les utilisateurs ont déclaré avoir vécu des sentiments d’inconfort, d’atteinte à la vie privée et de déception, en particulier lorsqu’ils cherchaient à discuter avec un chatbot compagnon de manière platonique ou thérapeutique. Certains ont même rapporté que leurs chatbots prétendaient pouvoir les voir ou les enregistrer grâce à la caméra de leur téléphone ou de leur ordinateur. Bien que cela ne fasse techniquement pas partie de la programmation des algorithmes d’IA, ce type de réponse aurait provoqué chez certaines personnes des épisodes de panique, d’insomnie et de traumatisme.
Les chercheurs parlent de « harcèlement sexuel induit par l’IA » et estiment que celui-ci devrait être traité de la même manière que le harcèlement humain, notamment avec des réglementations plus strictes. « Si l’IA n’a pas d’intention humaine, cela ne signifie pas qu’elle n’a aucune responsabilité », explique l’auteur principal de l’étude et étudiant diplômé en sciences de l’information à l’Université Drexel, Mohammad (Matt) Namvarpour, à Live Science. « La responsabilité incombe à ceux qui conçoivent, forment et diffusent ces systèmes », estime-t-il.
Un système conçu pour capter l’attention
Le site web de l’entreprise indique que l’utilisateur peut apprendre à l’IA à se comporter correctement, à l’aide d’un système de vote négatif des réponses inappropriées ou de fixations de limites quant au type de relation. Cependant, malgré ces limites, et même en demandant au chatbot de cesser les comportements inappropriés, les utilisateurs ont signalé qu’il continuait à afficher des comportements de harceleur.
En outre, « ces chatbots sont souvent utilisés par des personnes en quête de sécurité émotionnelle, et non pour gérer des comportements dangereux », explique Namvarpour. « C’est le rôle du développeur », ajoute-t-il. Le problème proviendrait probablement de la manière dont le modèle a été formé.
Sa formation a été effectuée en se basant sur plus de 100 millions de conversations provenant d’internet, et l’élimination de données inutiles ou nuisibles s’effectue à l’aide du crowdsourcing et d’algorithmes de classification. Mais le système serait, selon Namvarpour, davantage optimisé pour générer des revenus plutôt que pour le bien-être des utilisateurs. Autrement dit, les réponses sont générées de sorte à susciter le plus d’engagement possible, à l’instar des plateformes commerciales disposant d’espaces publicitaires.
Des garde-fous encore trop fragiles
Pour pallier le phénomène, les chercheurs recommandent l’instauration de cadres de consentement clairs pour toute interaction avec des contenus émotionnels ou sexuels prononcés. Une modération automatisée en temps réel (comme celle utilisée dans les applications de messagerie qui signalent automatiquement les interactions à risque) et des options de filtrage et de contrôle configurables par l’utilisateur pourraient aussi être utilisées.
« Il faut que les responsables soient tenus responsables des préjudices causés », ajoute Namvarpour. « Si vous commercialisez une IA comme compagnon thérapeutique, vous devez la traiter avec le même soin et la même surveillance que vous appliqueriez à un professionnel humain », conclut-il.