Une expérience menée sur des modèles d’IA populaires révèle qu’ils ne parviennent pas à distinguer les illusions d’optique, bien qu’ils puissent facilement générer des images qui en contiennent. Alors qu’ils deviennent toujours plus performants pour résoudre les tests CAPTCHA standards (permettant de distinguer les humains des robots), les illusions d’optique pourraient potentiellement servir de base pour de nouveaux types de tests pour la sécurisation des sites web.
Les tests CAPTCHA (Completely Automated Public Turing tests to tell Computers and Humans Apart) sont des outils de sécurisation conçus pour distinguer les utilisateurs humains des robots naviguant sur les sites web. Ils s’appuient sur les capacités cognitives spécifiques aux humains pour être facilement résolus par ces derniers, mais difficilement par les machines. Ils consistent généralement à reconnaître des textes déformés ou à sélectionner des images spécifiques en utilisant l’intuition et la perception humaine.
Récemment, des techniques basées sur l’IA ont permis d’automatiser les CAPTCHA. Cependant, les modèles d’apprentissage profond peuvent désormais résoudre les tests actuels basés sur la reconnaissance de texte et d’images. En réponse à ce problème, des tests basés sur le raisonnement logique ont été proposés. Ces nouveaux tests sont plus complexes à résoudre pour les robots, mais restent tout de même faciles pour les humains.
Cependant, la capacité des grands modèles de langage multimodaux à résoudre ces nouveaux tests basés sur le raisonnement est peu documentée. Or, les récentes avancées ont considérablement amélioré leur capacité de raisonnement. Afin de combler les lacunes de recherche, une équipe de l’Université de Nouvelle-Galles du Sud, à Sydney, a développé un nouveau type de test évaluant la capacité des grands modèles d’IA de pointe à engager des chaînes de pensées logiques pour la résolution de CAPTCHA plus complexes.
« Avec l’avènement des grands modèles de langage (LLM) avancés, l’efficacité des CAPTCHA existants est désormais compromise », expliquent les chercheurs dans leur étude en prépublication sur la plateforme arXiv. « Pour résoudre ce problème, nous avons mené une étude empirique pour évaluer les performances des LLM multimodaux dans la résolution des CAPTCHA et pour évaluer le nombre de tentatives dont les utilisateurs humains ont généralement besoin pour les réussir ».
Un écart dans la capacité à traiter les informations visuelles
Baptisé IllusionCAPTCHA, le nouveau test développé par les chercheurs australiens utilise des illusions d’optique générées par IA à partir d’une image d’entrée et d’une invite textuelle. L’IA génère par exemple une image d’une ville avec un motif caché de pomme avec l’invite « paysage urbain ensoleillé » et l’image du fruit en pièce jointe en tant que source supplémentaire.
Les modèles GPT-4o et Gemini 1.5 pro 2.0 ont été testés à la fois pour IllusionCAPTCHA et pour d’autres types de CAPTCHA basés sur du texte, des images et des raisonnements logiques. L’objectif était d’inciter les modèles à engager des chaînes de pensée et des réflexions approfondies. Parallèlement, « nous avons mené une étude auprès des utilisateurs pour évaluer le nombre de tentatives que les utilisateurs humains doivent généralement faire pour réussir ces CAPTCHA, ce qui n’a pas été pris en compte dans aucune étude auparavant », indiquent les chercheurs.
Les résultats indiquent que les modèles d’IA parviennent à résoudre la plupart des CAPTCHA, mais ont nettement plus de difficultés avec ceux basés sur le raisonnement. Toutefois, les utilisateurs humains peinaient, eux aussi, à résoudre ces derniers. La majorité des participants humains (au nombre de 10) avaient besoin de deux essais pour réussir les CAPTCHA basés sur le raisonnement.
La seconde partie de l’expérience consistait à évaluer la capacité des utilisateurs à réussir le test IllusionCAPTCHA. Cela consistait à demander aux sujets s’ils parvenaient à discerner l’illusion d’optique (soit des images, soit des textes cachés) dans les images précédemment générées par les IA. Alors que les modèles parviennent facilement à les générer, ils ne parviennent pas à les distinguer.
Plus précisément, 86,95 % des participants humains ont réussi le test IllusionCAPTCHA dès la première tentative. Cela suggère qu’il surpasse les autres tests en matière d’efficacité. Les humains ont réussi à distinguer les textes cachés dans 83 % des cas et les images cachées dans 88 % des cas. En revanche, les deux modèles d’IA ne parvenaient à en distinguer aucun.
D’après les chercheurs, cette différence s’expliquerait par la manière unique dont le cerveau humain traite les informations visuelles, en particulier la chaîne de pensées complexe nécessaire à la détection d’une illusion d’optique. Ces résultats ouvrent ainsi la voie au développement de nouveaux types de tests CAPTCHA, plus complexes et moins vulnérables au piratage.
Cet écart pourrait en outre éclairer la manière dont les LLM pourraient être améliorés pour se rapprocher davantage de l’intelligence humaine. Les experts estiment d’ailleurs que l’IA pourrait un jour devenir plus performante que les humains en matière de tests visuels. Cela engagera les scientifiques dans un cercle vicieux où ils seront à nouveau contraints de développer d’autres types de tests, qui, à leur tour, pourraient à nouveau être contournés par des modèles d’IA plus performants.