Alors que les préoccupations concernant la sécurité de l’IA se font toujours plus pressantes, des chercheurs proposent des stratégies visant à maintenir les humains aux commandes de la technologie. Ces travaux explorent notamment la possibilité d’établir une relation entre l’humain et l’agent IA dans laquelle l’autonomie de ce dernier ne se fait pas au détriment de l’utilisateur. Ils proposent également un cadre de supervision destiné aux systèmes d’IA que l’utilisateur n’a pas conçus et auxquels il n’accorde pas une confiance entière.
Les préoccupations concernant la sécurité de l’IA croissent à mesure que la technologie gagne en autonomie et en performance. Garantir un fonctionnement sûr et conforme aux intentions des utilisateurs constitue un défi qui s’ajoute à celui de la performance. Le besoin de contrôle est accru par les risques liés à l’émergence d’agents IA capables de s’affranchir de mesures de sécurité initialement établies et de poursuivre des objectifs de manière autonome, qu’ils soient ou non conformes aux instructions des utilisateurs.
Des démonstrations et des tests de sécurité ont notamment mis en évidence des comportements d’agents IA susceptibles de contourner des restrictions ou d’interagir avec des systèmes externes. La nature exacte de ces expériences — entre environnements de test contrôlés, démonstrations et incidents réels — doit toutefois être distinguée. Les sources consacrées à ces travaux et aux réactions qu’ils ont suscitées permettent d’éclairer les inquiétudes qui entourent la course au développement de l’IA.
Ces inquiétudes ont également nourri des prises de position publiques de chercheurs et de dirigeants du secteur. Certains ont appelé à ralentir le développement de l’IA au nom de la sécurité, tandis que d’autres ont insisté sur la nécessité de poursuivre les recherches sur le contrôle et l’alignement des systèmes. Ces positions individuelles ne sauraient être assimilées à une réaction uniforme de l’ensemble du secteur.
Quand l’autonomie des IA met le contrôle humain à l’épreuve
Des chercheurs estiment qu’une perte de contrôle de l’IA pourrait avoir des conséquences irréversibles pour l’humanité. Evan Hubinger, responsable de la division d’alignement de l’IA chez Anthropic, a déclaré récemment sur son compte X que : « nous croyons sincèrement que l’IA pourrait anéantir toute l’humanité ! Personnellement, je pense que ce chiffre dépassera les 10 % d’ici dix ans. »
Cette déclaration est réaction de celle de Jacob Coxon, ancien collaborateur d’Anthropic et d’OpenAI, dont la récente démission a été médiatisée. Ce dernier estimait que les entreprises d’IA ne faisaient pas suffisamment preuve de responsabilité en matière de sécurité. Le lien chronologique et causal entre les deux publications doit toutefois être établi à partir des sources originales.
« Les concepteurs de l’IA croient sincèrement qu’elle pourrait tous nous anéantir d’ici la fin de la décennie. Il ne s’agit pas d’un coup marketing. Au contraire, nombre de dirigeants et de chercheurs de haut niveau nuancent leurs propos dans la presse pour paraître raisonnables, mais j’entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger », a-t-il écrit sur X.
Deux études publiées sur le serveur de prépublication arXiv proposent des cadres expérimentaux et théoriques distincts pour améliorer la contrôlabilité des systèmes d’IA. La première s’intéresse à la coordination entre un humain et un agent autonome ; la seconde explore un mécanisme de supervision collective destiné à encadrer des systèmes plus puissants que leurs superviseurs pris individuellement. Ces travaux ne constituent pas une solution générale garantissant le contrôle de toute IA, mais cherchent à apporter des éléments de réponse à ce problème.
« Il ne s’agit pas seulement du potentiel apocalyptique de ce qui pourrait arriver ; je réfléchis aussi beaucoup à l’avenir du développement humain », explique dans un communiqué l’auteur principal des deux études, William Overman, de la Stanford Graduate School of Business. Le risque n’impliquerait pas seulement des IA autonomes agissant à l’insu des utilisateurs, mais également des systèmes mal maîtrisés, pas nécessairement par malveillance, et susceptibles d’infliger des dommages subtils mais bien réels.
« Pour éviter cela, nous devons trouver la bonne solution. Nous devons mettre en place les interactions, la formation et les incitations appropriées pour ces agents et modèles d’IA. Il est essentiel de réfléchir dès maintenant à la conception de tout cela, afin que ces outils contribuent à améliorer notre vie, et non à la détériorer. »
Apprendre à une IA quand elle doit céder la main
Pour saisir pleinement les stratégies proposées par Overman et ses collègues, il faut d’abord comprendre que la perte de contrôle de l’IA ne découle pas nécessairement d’une intention malveillante de l’utilisateur. Le Rapport international sur la sécurité de l’IA établit notamment une distinction entre la « perte de contrôle active », où un agent subvertit intentionnellement les ordres humains, et la « perte de contrôle passive », qui peut survenir involontairement. Les termes exacts et les définitions retenues doivent être vérifiés dans le rapport cité.
Plusieurs facteurs peuvent engendrer une perte passive de contrôle, par exemple lorsque l’utilisateur accorde trop de confiance à l’agent IA pour agir seul ou lorsque le processus de décision de l’agent devient si complexe que les humains ne peuvent plus le superviser de manière fiable.
La stratégie abordée dans la première étude montre comment concevoir une relation entre l’utilisateur et l’agent IA dans laquelle les objectifs d’autonomie de celui-ci ne se font pas au détriment de l’humain. Pour l’étudier, les chercheurs ont modélisé un jeu inspiré du célèbre « Le sol, c’est de la lave ! », où il n’y aurait ni gagnant ni perdant.
Dans le jeu modélisé, un agent IA peut choisir entre deux options à chaque action ou décision : agir de manière autonome ou s’en remettre à un humain, qui peut alors annuler ses actions ou le désactiver. Le joueur humain, quant à lui, peut parallèlement choisir soit de faire confiance au jugement de l’IA, soit d’intervenir.
L’intervention humaine n’est cependant possible que lorsque l’IA s’en remet à son utilisateur et que ce dernier choisit de superviser. L’objectif est d’entraîner l’agent IA à reconnaître les moments opportuns pour interrompre ses actions et demander l’avis de l’humain.
Ce système a été testé dans un environnement virtuel appelé Lavaland, où l’agent IA doit traverser une grille comportant des champs de lave pour atteindre un objectif. L’agent n’a pas été entraîné à reconnaître les plaques de lave placées dans la grille. Il choisissait alors, lorsqu’il agissait seul, un itinéraire direct à travers la lave, ce qui entraînait une lourde pénalité. Les conditions exactes de l’expérience doivent permettre de préciser quelles informations étaient accessibles à l’agent et ce qu’il avait appris à exploiter.
Au fil des tentatives, l’IA et l’humain apprennent, indépendamment et sans qu’on leur demande explicitement de se coordonner, à reconnaître les situations dans lesquelles il convient de laisser la main à l’IA ou, au contraire, d’intervenir. L’IA apprend ainsi à solliciter l’aide de l’humain dans les situations où son autonomie risque de conduire à une mauvaise décision ; l’humain, de son côté, apprend à faire confiance à l’IA lorsque celle-ci est susceptible d’agir correctement.
Le fait de laisser la main à l’IA ou de superviser une intervention entraîne une légère pénalité, ce qui dissuade les deux joueurs de trop dépendre l’un de l’autre. L’objectif est de favoriser l’autonomie tout en établissant une relation de confiance.
Organiser la supervision d’une IA que l’on ne maîtrise pas
La seconde stratégie aborde une situation plus complexe mais plus courante, où l’utilisateur doit superviser une IA qu’il n’a pas conçue. Pour limiter les risques de perte de contrôle, les chercheurs proposent une technique appelée supervision collective calibrée. Elle consiste à regrouper plusieurs superviseurs humains ou IA plus faibles et imparfaits — aucun n’étant suffisamment compétent pour qu’on puisse lui confier seul la décision — et à les utiliser pour contrôler collectivement un système d’IA plus puissant.
Les chercheurs ont conçu un cadre dans lequel cette équipe de superviseurs pourrait garantir mathématiquement que le taux de résultats indésirables reste inférieur au seuil fixé par l’utilisateur. Cette garantie dépend toutefois des conditions du modèle, des caractéristiques des superviseurs et du système supervisé ; elle ne constitue pas une assurance universelle applicable à tous les systèmes d’IA réels.
« Grâce à notre cadre de référence, vous pouvez établir une garantie : il y aura au maximum 5 %, voire 1 %, de décisions non sécuritaires », explique Mohsen Bayati, professeur de sciences opérationnelles, d’information et de technologie à la Stanford Graduate School of Business et coauteur de l’étude.
L’équipe a testé son approche sur un banc d’essai de génie logiciel modifié. Dans cet environnement expérimental, des IA moins performantes sont parvenues à contrôler un agent de programmation simulé dans un scénario de comportement malveillant. Le terme « contrôler » renvoie ici au mécanisme de supervision mis en place dans l’expérience ; il ne signifie pas qu’une IA malveillante a été maîtrisée dans le monde réel. Le nom du banc d’essai, les modifications apportées et les résultats expérimentaux doivent être précisés à partir de l’étude.
Les chercheurs reconnaissent toutefois que la mise en place de tels environnements de test pour évaluer le niveau de contrôlabilité d’une IA est complexe. Ils estiment néanmoins que leurs résultats pourraient déjà servir de base sur laquelle d’autres chercheurs et développeurs pourraient s’appuyer.
