L’IA progresse si rapidement qu’elle serait bientôt capable de s’auto-améliorer ou de former de manière autonome des successeurs encore plus performants, selon un récent rapport d’Anthropic. Si cette capacité pourrait être particulièrement intéressante pour des domaines tels que la médecine, elle nécessite également un encadrement législatif rigoureux compte tenu des risques de perte de contrôle sur la technologie.
Au début du développement des systèmes d’IA, chaque étape était dirigée par un développeur humain. Mais les systèmes sont désormais suffisamment performants pour piloter eux-mêmes certaines étapes de leur développement. Les entreprises d’IA, comme Anthropic, confient une partie du développement des systèmes d’IA à ces mêmes systèmes afin d’optimiser et d’accélérer les processus de production.
Le chatbot d’IA Claude a par exemple été amélioré de sorte à générer du code pour la formation d’agents IA de codage. Plus précisément, le chatbot a été utilisé pour générer de courts extraits de code, puis copier les résultats dans un éditeur de texte. Les agents de codage produits pouvaient ensuite écrire et modifier du code de manière autonome et ont contribué au développement d’agents de codage plus avancés à mesure que leurs performances progressaient.
Les agents autonomes de programmation peuvent, à leur niveau actuel, exécuter du code et contribuer à la création ou à la configuration d’autres agents afin de déléguer certains processus de travail. Avec suffisamment de puissance de calcul, cette capacité pourrait déboucher sur des systèmes d’IA pouvant s’auto-améliorer ou développer de manière entièrement autonome leurs propres successeurs, selon un article de blog d’Anthropic — un processus appelé « auto-amélioration récursive complète ».
« Nous n’en sommes pas encore là, et l’auto-amélioration récursive n’est pas inévitable. Mais elle pourrait se produire plus tôt que la plupart des institutions ne le prévoient », indique l’article.
Quand l’IA commence à participer à sa propre évolution
Les chercheurs d’Anthropic ont analysé les données de référence publiques et les données internes pour effectuer leur enquête. Les données suggèrent que les modèles de pointe ont considérablement accéléré les processus de codage, de débogage (identification et correction des bugs) et de recherche, de sorte à augmenter la vitesse de développement d’autres systèmes d’IA. Ces gains de performance ont fait que les ingénieurs d’Anthropic ont produit cette année en moyenne huit fois plus de code par trimestre qu’au cours des années précédentes.
Autrement dit, l’IA transforme non seulement la manière dont on travaille, mais aussi celle dont elle est développée. Cette évolution pourrait créer un effet de rétroaction dans lequel les systèmes d’IA contribueraient au développement de versions encore plus performantes d’elles-mêmes.
« Le plus important, c’est que nous constatons des signes indiquant que, contrairement à certaines opinions répandues, les progrès de l’IA vont s’accélérer dans les années à venir au lieu de rester au même niveau, voire de ralentir », explique Jack Clark d’Anthropic à Axios.
Une accélération technologique qui ravive la question du contrôle
Des systèmes d’IA pouvant s’auto-améliorer pourraient contribuer à accélérer les avancées dans des domaines tels que la science des matériaux et la médecine. Cependant, l’auto-amélioration récursive complète augmente également les risques de perte de contrôle. Si l’on pensait initialement qu’il s’agissait d’une étape de développement à long terme de l’IA, les systèmes actuels seraient bien plus proches de l’auto-amélioration récursive complète qu’on ne le pensait, selon l’estimation de l’équipe d’Anthropic.
D’après les chercheurs, les entreprises d’IA devraient envisager de ralentir, voire de suspendre, le développement des IA de pointe en attendant de mieux comprendre les risques qu’elles pourraient faire peser sur la société en cas de perte de contrôle.
« Quand je regarde la voiture que nous conduisons, je ne vois qu’une pédale d’accélérateur. Je n’ai pas de pédale de frein, et il est certain qu’à l’avenir, nous pourrions souhaiter cette option », a déclaré Clark dans une interview à CNN, où il appelait les entreprises d’IA à établir un « frein ».
Les développeurs devraient prévoir un mécanisme permettant aux humains d’intervenir dans ces cas de perte de contrôle. De tels dispositifs permettraient de vérifier et de valider les actions des systèmes d’IA auto-améliorés afin de s’assurer de leur conformité avec les valeurs et les principes définis par les humains.
D’après Clark, il est important d’informer les législateurs sur le sujet avant même que le phénomène ne prenne suffisamment d’ampleur pour être considéré comme une menace pour la société. Les résultats d’Anthropic concordent d’ailleurs avec ceux partagés précédemment par OpenAI, indiquant que l’auto-amélioration récursive des IA pourrait représenter un danger si les développeurs ne sont pas suffisamment transparents à ce sujet. Anthropic prévoit d’entamer au cours des prochains mois des discussions sur le sujet avec les législateurs américains.
