Une expérience menée sur des modèles d’IA populaires révèle qu’ils ne parviennent pas à distinguer les illusions d’optique, bien qu’ils puissent facilement générer des images qui en contiennent. Alors qu’ils deviennent toujours plus performants pour résoudre les tests CAPTCHA standards (permettant de distinguer les humains des robots), les illusions d’optique pourraient potentiellement servir de base pour de nouveaux types de tests pour la sécurisation des sites web.
Les tests CAPTCHA (Completely Automated Public Turing tests to tell Computers and Humans Apart) sont des outils de sécurisation conçus pour distinguer les utilisateurs humains des robots naviguant sur les sites web. Ils s’appuient sur les capacités cognitives spécifiques aux humains pour être facilement résolus par ces derniers, mais difficilement par les machines. Ils consistent généralement à reconnaître des textes déformés ou à sélectionner des images spécifiques en utilisant l’intuition et la perception humaine.
Récemment, des techniques basées sur l’IA ont permis d’automatiser les CAPTCHA. Cependant, les modèles d’apprentissage profond peuvent désormais résoudre les tests actuels basés sur la reconnaissance de texte et d’images. En réponse à ce problème, des tests basés sur le raisonnement logique ont été proposés. Ces nouveaux tests sont plus complexes à résoudre pour les robots, mais restent tout de même faciles pour les humains.
Cependant, la capacité des grands modèles de langage multimodaux à résoudre ces nouveaux tests basés sur le raisonnement est peu documentée. Or, les récentes avancées ont considérablement amélioré leur capacité de raisonnement. Afin de combler les lacunes de recherche, une équipe de l’Université de Nouvelle-Galles du Sud, à Sydney, a développé un nouveau type de test évaluant la capacité des grands modèles d’IA de pointe à engager des chaînes de pensées