Les progrès réalisés dans le domaine de l’intelligence artificielle (IA) ces dernières années sont considérables. Mais certains scientifiques et philosophes mettent en garde contre les dangers potentiels que représenterait une IA superintelligente devenue incontrôlable. Une équipe internationale de chercheurs, dont des scientifiques du Center for Humans and Machines de l’Institut Max Planck pour le développement humain, s’est livrée à une série de calculs théoriques pour étudier la question : leurs résultats montrent qu’il ne serait pas possible de contrôler des machines superintelligentes.
Les scientifiques sont partis de cette hypothèse : imaginons que quelqu’un développe une IA dotée de capacités supérieures à celle de l’Homme, qui puisse apprendre de manière autonome. Connectée à Internet, cette IA pourrait accéder à absolument toutes les données de l’humanité ; elle pourrait par la même occasion prendre le contrôle de tous les systèmes connectés dans le monde entier. La question est alors la suivante : quelle(s) décision(s) cette IA prendrait-elle ? Tâcherait-elle d’améliorer la vie des humains, ou au contraire, choisirait-elle d’anéantir l’humanité ?
Au cours de leur réflexion, les chercheurs se sont ainsi demandés s’il nous serait possible de contrôler une telle IA, de manière à garantir qu’elle ne pourra en aucun cas constituer une menace pour l’humanité. À partir de calculs théoriques, ils sont arrivés à une conclusion plutôt effrayante : il serait fondamentalement impossible de contrôler cette IA avancée.
Une intelligence impossible à contenir
Une superintelligence désigne un agent hypothétique possédant une intelligence dépassant de loin celle des esprits humains les plus brillants et les plus doués. Nécessairement, tout le monde a en tête le scénario de la saga Terminator, selon lequel une superintelligence prend le contrôle de la planète après avoir décimé l’humanité via un holocauste nucléaire. Ainsi, pour la plupart des gens, une entité superintelligente capable de contrôler le monde demeure du domaine de la science-fiction. Et pourtant, « il existe déjà des machines qui effectuent certaines tâches importantes de manière indépendante sans que les programmeurs comprennent pleinement comment elles l’ont appris », avertissent les chercheurs. Doit-on y voir un danger ?
Dans le cadre de leur étude, publiée dans le Journal of Artificial Intelligence Research, les chercheurs ont exploré deux chemins différents sur la façon dont une IA superintelligente pourrait être contrôlée. Pour commencer, il suffirait de limiter certaines de ses capacités. Concrètement, cela implique de l’isoler complètement d’Internet et de tous les autres appareils technologiques, pour que cette IA n’ait aucun contact avec le monde extérieur. En pratique, ceci est peu envisageable : l’IA deviendrait de ce fait beaucoup moins puissante et ne pourrait plus accomplir sa tâche de manière satisfaisante.
Autre solution envisagée par les chercheurs : concevoir l’IA de façon à ce qu’elle n’agisse que dans le meilleur intérêt de l’humanité, en y incorporant dès le départ des principes éthiques essentiels. Mais tout comme dans la piste précédente, l’équipe estime que cette manière de garder le contrôle a ses limites.
Ces deux façons de contrôler efficacement une IA superintelligente — en la confinant ou en programmant des garanties de comportement — ne sont pas sans rappeler les trois lois de la robotique proposées en 1950 par Isaac Asimov : 1) Un robot ne peut porter atteinte à un être humain, ni permettre qu’un être humain soit exposé au danger ; 2) Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf s’ils entrent en conflit avec la première loi ; 3) Un robot doit protéger son existence tant que cela n’entre pas en conflit avec les deux premières lois. Les auteurs rappellent toutefois que ces lois pourraient s’appliquer à une IA ordinaire, mais pas à une IA superintelligente.
Ils se sont également inspirés des travaux du philosophe suédois Nick Bostrom, connu pour ses recherches relatives aux simulations informatiques. Ce dernier s’est lui aussi penché sur la dangerosité potentielle d’une IA devenue incontrôlable ; il souligne le fait que des mécanismes de contrôle pourraient facilement se retourner contre l’Homme. À titre d’exemple, il explique qu’une superintelligence chargée de « maximiser le bonheur dans le monde » pourrait trouver plus efficace de détruire toute vie sur Terre et de créer des simulations informatiques de pensées heureuses, le tout sans s’écarter de l’objectif qui lui a été confié.
Un problème qui demeure insoluble
Les scientifiques ont conçu un « algorithme de confinement » théorique, qui garantit qu’une IA superintelligente ne pourrait nuire aux personnes en aucune circonstance. Dans cette optique, l’algorithme commence par simuler le comportement de l’IA, puis l’interrompt dès lors qu’elle est considérée comme nuisible. Or, une analyse minutieuse montre que dans notre paradigme informatique actuel, un tel algorithme ne peut en réalité être construit : « un algorithme qui ordonnerait à une IA de ne pas détruire le monde pourrait interrompre par inadvertance ses propres opérations », explique Lyad Rahwan, directeur du Center for Humans and Machines. Et dans ce cas, impossible de déterminer si l’algorithme de confinement est en train d’analyser la menace, ou s’il s’est arrêté pour contenir l’IA nuisible. En d’autres termes, cet algorithme devient inutilisable.
À partir de ces calculs, les chercheurs sont donc arrivés à la conclusion que le problème de confinement est incalculable : aucun algorithme n’est capable de trouver une solution pour déterminer si une IA constitue ou non un danger pour l’humanité, en raison des limites fondamentales de l’informatique. En outre, leur étude démontre qu’il est impossible de déterminer quand nous serons en présence de machines considérées comme superintelligentes. En effet, décider si une machine présente une intelligence supérieure aux humains relève du même domaine que le problème de confinement.
Aujourd’hui, des milliards de programmes informatiques sont exécutés sur des machines connectées à Internet. Comme le soulignent les auteurs, ils sont utilisés sans aucune garantie formelle de leur sécurité. « Rien ne nous prouve que lorsque nous lançons une application sur notre smartphone, nous ne déclenchons pas une réaction en chaîne conduisant à la transmission de codes nucléaires initiant une guerre », ajoutent-ils. Mais force est de constater que nous utilisons nos smartphones tous les jours et qu’aucune catastrophe n’est survenue. Du moins, pour le moment…