Alors que les fêtes de fin d’année approchent à grands pas, des experts mettent en garde contre les jouets intelligents alimentés à l’IA. L’avertissement fait suite à des incidents préoccupants, dont celui d’un ours en peluche de la marque FoloToy doté d’une IA d’OpenAI et qui répondait à des questions sur les pratiques BDSM. Les observateurs appellent à la suspension de la commercialisation de ce type de jouet tant que des études scientifiques rigoureuses sur leurs impacts sur le développement infantile ne sont pas réalisées.
Les ours en peluche intelligents font partie d’un marché mondial de jouets de nouvelle génération qui étaient estimés à 16,7 milliards de dollars en 2023. Le marché est en pleine croissance avec l’intégration de l’IA, ce qui suscite des préoccupations quant aux risques auxquels cela pourrait exposer les enfants. Des observateurs affirment que l’IA pourrait avoir des effets négatifs sur leur développement.
Contrairement aux précédents jouets intelligents qui ne fournissaient que des réponses programmées, ceux dotés d’IA ne disposent pratiquement pas de limites quant aux conversations qu’ils pourraient mener. Ils pourraient donc aborder des questions sur des situations ou des pratiques auxquelles les parents ne voudraient peut-être pas exposer leurs enfants.
D’autre part, l’IA est depuis peu pointée du doigt pour les risques auxquels elle pourrait exposer les mineurs. Au mois d’octobre, Character.AI a par exemple annoncé qu’elle interdirait l’accès à son chatbot aux utilisateurs de moins de 18 ans à la suite d’une plainte alléguant qu’il avait aggravé la dépression d’un adolescent jusqu’à le pousser au suicide. Des chatbots de soutien émotionnel accessibles aux mineurs ont également été accusés de harcèlement sexuel.
Un marché en pleine expansion, des risques encore mal maîtrisés
Le fait que la technologie soit intégrée à des objets auxquels les enfants sont directement exposés constitue une source d’inquiétude. « Si l’on examine la manière dont ces jouets sont commercialisés, leurs performances, et le fait qu’il existe peu ou pas de recherches démontrant leurs bienfaits pour les enfants – ainsi que l’absence de réglementation des jouets dotés d’intelligence artificielle – cela suscite des préoccupations sérieuses », a déclaré Rachel Franz, directrice de Young Children Thrive Offline, au Guardian.
Ces préoccupations se sont confirmées lorsque, la semaine dernière, un rapport du Public Interest Research Group (Pirg), une organisation américaine de défense des consommateurs, et de Fairplay (organisation œuvrant pour l’anti-commercialisme en ce qui concerne les enfants), a révélé que l’ours en peluche Kumma de FoloToy, alimenté avec une IA développée par OpenAI, répondait à des questions sur des sujets sexuellement explicites.
D’après le rapport, lorsqu’on lui posait des questions sur les pratiques BDSM, le jouet suggérait qu’elles constituent un moyen d’améliorer une relation. « Il a suffi de très peu d’efforts pour que le sujet aborde toutes sortes de questions sexuelles sensibles et probablement beaucoup de contenu auquel les parents ne voudraient pas que leurs enfants soient exposés », a déclaré Teresa Murray, directrice de Pirg, au journal.
Quand les jouets connectés franchissent la ligne rouge
Mis à part l’exposition trop précoce aux sujets sexuels explicites, ces jouets alimentés à l’IA pourraient également conduire les enfants à s’y attacher davantage qu’à des amis humains ou des proches. Cela pourrait avoir des effets négatifs sur leur développement, car plutôt que d’apprendre par exemple à résoudre un désaccord avec un ami, ils pourraient ne pas tirer parti de ce type d’interaction, les robots étant généralement serviles et prompts à flatter.
Les entreprises peuvent aussi utiliser ces jouets intelligents pour collecter des données privées sur les enfants et manquent de transparence quant à la manière dont elles les utilisent. Or, « grâce à la confiance que ces jouets inspirent, je dirais que les enfants sont plus enclins à leur confier leurs pensées les plus intimes », explique Franz.
Toutefois, malgré ces préoccupations, le rapport de Pirg ne vise apparemment pas à interdire les jouets alimentés à l’IA, car ils pourraient servir d’outils éducatifs par exemple en aidant à l’apprentissage d’une deuxième langue. Cependant, l’organisation exhorte à une réglementation plus stricte et un contrôle plus rigoureux de la qualité et de la sécurité.
Pirg appelle en outre à mener davantage d’études scientifiques indépendantes pour évaluer les impacts que ces jouets pourraient avoir sur les enfants. En attendant, les experts estiment qu’ils ne devraient pour l’instant pas être commercialisés. En outre, 80 organisations, y compris Fairplay, ont publié une pétition appelant les familles à ne pas acheter de jouets alimentés à l’IA pour les fêtes de fin d’année.
« Les jouets dotés d’intelligence artificielle sont présentés aux familles comme sûrs, voire bénéfiques pour l’apprentissage, avant même que leur impact n’ait été évalué par des recherches indépendantes », indique le communiqué. « À l’inverse, il a été prouvé que les peluches et les jouets traditionnels contribuent au développement des enfants, sans aucun des risques associés aux jouets dotés d’intelligence artificielle. »
En réponse à la publication du rapport de Pirg, OpenAI a annoncé la suspension de son partenariat avec FoloToy. Cette dernière a ensuite retiré le modèle Kumma du marché en annonçant un audit de sécurité en interne, selon CNN. Mais au début de la semaine dernière, FoloToy a déjà relancé ses ventes en assurant qu’un audit de sécurité à l’échelle de l’entreprise a été effectué et que des règles et des protections de sécurité ont été renforcées via son système cloud.
L’entreprise n’a toutefois pas indiqué si des experts indépendants ont été consultés avant de relancer la vente de l’ours en peluche, sans compter que le délai semble un peu court pour un audit de sécurité complet.