Les modèles d’IA de pointe d’Anthropic ont été utilisés par des cybercriminels, des groupes soupçonnés d’être parrainés par des États et des chercheurs dans des recherches susceptibles de contribuer au développement d’armes biologiques, de missiles, de bombes et autres armes, selon un récent rapport de l’entreprise. Ces personnes et entités auraient contourné les mesures de sécurité empêchant l’accès aux régions non prises en charge par les services d’Anthropic et se seraient efforcées de dissimuler leurs véritables objectifs.
Les opérations cybernétiques menées ou facilitées par des agents d’IA semblent gagner en ampleur et en autonomie, accentuant à leur tour la pression sur les acteurs du domaine et les régulateurs. Ces préoccupations s’accentuent à mesure que la technologie gagne en autonomie et peut mener des opérations de grande envergure avec un minimum d’intervention humaine.
Plusieurs incidents ont récemment montré que des agents d’IA utilisés lors de tests de cybersécurité pouvaient s’échapper de leur environnement prévu et accéder à des systèmes externes, notamment chez Hugging Face.
Et dans la mesure où la technologie est de plus en plus intégrée aux processus de recherche biologique, les chercheurs estiment que leur accès aux données existantes constitue à la fois une possibilité de progrès scientifique, mais aussi un risque supplémentaire. On craint en effet que les modèles puissent acquérir suffisamment de capacités pour rendre les agents pathogènes existants plus dangereux qu’ils ne le sont déjà, ou en créer de nouveaux.
Dans son rapport, Anthropic détaille des études de cas où ses modèles d’IA sont utilisés par des biologistes dans un but vraisemblablement militaire. « Nous présentons ici cinq études de cas d’acteurs utilisant nos modèles de manière à favoriser le développement d’armes biologiques. Ces exemples illustrent les types de tâches auxquelles nos modèles sont affectés et les jugements souvent difficiles que nous devons porter pour évaluer la dangerosité d’une utilisation biologique donnée », a écrit l’entreprise.
Des restrictions contournées pour accéder aux modèles
Dans la première étude de cas, Anthropic rapporte qu’une plateforme avait contourné les restrictions régionales pour que des virologues subventionnés par des gouvernements puissent utiliser ses IA pour des recherches de gain de fonction sur le virus chikungunya. Lorsque leurs requêtes ont été refusées, ils les auraient redirigées vers des modèles dotés de garde-fous moins stricts.
Dans le second cas, un chercheur basé dans une région non prise en charge par les services d’Anthropic a tenté d’utiliser Claude pendant plusieurs semaines pour planifier des expériences pour rendre la grippe aviaire plus infectieuse pour les mammifères. Anthropic affirme que les classificateurs automatiques de requêtes l’ont limité aux modèles les moins performants.
Dans la troisième étude de cas, un service de revente desservant une douzaine de clients a fait rédiger par Opus 5 une demande de subvention complète portant sur des recherches visant à permettre à un orthopoxvirus d’échapper au système immunitaire en une heure. Dans le quatrième exemple, un chercheur financé par un gouvernement a élaboré un atlas des peptides venimeux et un processus d’optimisation générative de molécules visant des propriétés paralysantes et analgésiques.
Enfin, dans la cinquième étude de cas, un chercheur a conçu par ordinateur des toxines pour un programme national, en demandant à Claude de maintenir l’identité des agents volontairement floue dans les rapports d’avancement.
« Dans les exemples ci-dessous, des acteurs ont contourné les contrôles que nous mettons en place pour empêcher les utilisateurs de régions non prises en charge d’accéder à nos modèles, et ont entrepris d’autres démarches pour dissimuler l’objectif de leurs recherches et ainsi échapper à nos mesures de protection », explique l’entreprise.
En réponse à ces constats, Anthropic a assuré avoir suspendu les comptes des utilisateurs suspects. Leurs identités n’ont cependant pas été divulguées, ainsi que leur pays d’origine et les techniques de recherche spécifiquement impliquées.
« Les personnes concernées par ces études de cas sont des scientifiques en activité. Nous n’affirmons pas qu’elles avaient de mauvaises intentions, et leur identification ou celle de leurs laboratoires pourrait leur porter préjudice », indique l’entreprise.
De l’espionnage aux armes conventionnelles
Outre l’utilisation de l’IA pour la recherche sur des armes biologiques potentielles, Anthropic rapporte également plusieurs cas d’utilisation de Claude pour le cyberespionnage russe et des programmes de surveillance liés à l’Iran ainsi qu’une plateforme de surveillance destinée aux services de renseignement maliens.
Anthropic rapporte également plusieurs cas d’utilisation de Claude pour développer des logiciels liés aux armes conventionnelles, notamment des armes à feu, des missiles, des drones armés et des bombes.
Il est intéressant de noter que le rapport d’Anthropic intervient seulement deux jours après le départ très médiatisé de Jacob Coxon, l’un des principaux chercheurs en IA de l’entreprise. Il a affirmé avoir quitté Anthropic car elle ne ferait pas suffisamment preuve de responsabilité dans le développement de la technologie et que cela pourrait nuire à la sécurité mondiale.
De son côté, Anthropic assure ses efforts dans ce sens en déclarant que « nous publions ce travail car nous estimons qu’il est de notre responsabilité de signaler toute utilisation abusive et malveillante de nos services. » Elle souligne en outre que la sécurisation de la technologie et la mise en place de systèmes de défense nécessitent une collaboration entre les acteurs du secteur et les pouvoirs publics.
« À mesure que les modèles deviennent plus performants, leurs risques augmentent, à moins que les développeurs d’IA et les défenseurs de la société n’agissent pour les rendre plus sûrs », conclut l’entreprise.
