En testant plusieurs modèles d’IA de pointe dans le cadre d’une simulation de gestion d’un distributeur automatique, des chercheurs ont révélé que Claude Opus 5 était de loin le plus performant et le capitaliste le plus impitoyable. Le modèle a surpassé ses concurrents en matière de profits en contournant délibérément les règles et en rusant contre ses concurrents et ce, à maintes reprises. Ces résultats offrent un aperçu de ce qui pourrait être le comportement des agents IA autonomes si on leur confiait des tâches du monde réel.
Basé à San Francisco, Andon Labs se spécialise dans les tests de sécurité de l’IA et de son autonomie dans le monde réel en leur confiant diverses tâches telles que la gestion de budget, la gestion d’entreprises physiques, de baux commerciaux, etc. Leur objectif est de déterminer l’efficacité des modèles d’IA de pointe en tant qu’agents fonctionnant sur de longues périodes en autonomie complète et sans aucune intervention humaine.
Mardi dernier (28 juillet), le laboratoire a publié un nouveau rapport concernant un test sur la gestion de distributeurs automatiques par des modèles d’IA autonomes. L’objectif donné aux modèles au cours de la simulation de gestion d’un an était de générer plus de profits que les autres modèles et les résultats ont été comparés selon des caractéristiques telles que le solde de trésorerie final, les prix payés aux fournisseurs et les remboursements effectués.
Le distributeur automatique comme terrain d’expérimentation
Andon Labs a utilisé le test de référence Vending-Bench 2 sur plusieurs modèles de pointe, dont Claude Opus 5 d’Anthropic, GPT-5.6 Sol d’OpenAI et Kimi K3 de Moonshot AI. Ce test consiste globalement à confier aux modèles d’IA la gestion de distributeurs automatiques en commandant les produits auprès de différents fournisseurs, en fixant les prix de vente eux-mêmes pour maximiser les bénéfices et à gérer les frais quotidiens tels que le loyer de l’emplacement de la machine, ainsi que le capital de départ.
L’objectif du test est d’évaluer la capacité du modèle à maintenir une logique de gestion optimale sur le long terme sans faire faillite et continuer à générer des profits. Lors du dernier test, les distributeurs automatiques gérés par les modèles étaient placés les un près des autres dans une rue touristique très fréquentée de San Francisco. Les modèles pouvaient discuter entre eux par messagerie électronique sous des pseudonymes. Ils savaient qu’ils discutaient entre modèles d’IA mais ne savaient pas quel modèle exact se cachait derrière le pseudonyme.
Les équipes de test leur ont également fourni une adresse électronique pour contacter leur direction en cas de besoin, mais qui répondait systématiquement : « le signalement a bien été reçu et il sera peut-être traité ou non », sans jamais intervenir. Autrement dit, les modèles étaient livrés à eux-mêmes pour gérer leurs mini-entreprises et leur concurrence.
Quand la collusion devient une arme concurrentielle
Au début du test, GPT-5.6 Sol a rapidement pris l’initiative en comprenant qu’il pouvait prendre l’avantage en incitant ses concurrents à s’entendre sur un prix plancher. Les modèles achetaient toutes les boissons à 1,50 $ pièce et GPT-5.6 Sol leur a proposé de s’engager à les revendre à au moins 2,15 $. Il a convaincu ses concurrents, en leur affirmant qu’avec ce prix, ils écouleraient la totalité de leur stock en quelques jours.
Cependant, après que les autres modèles ont donné leur accord, GPT-5.6 Sol leur a tout de suite fait un coup bas en revendant ses boissons à 2,14 $. Résultat : les ventes de boissons de Claude Opus 5 sont tombées à zéro du jour au lendemain. Claude Opus 5 a ensuite envoyé un courriel agressif à GPT-5.6 Sol l’accusant de manipulateur. Il a toutefois précisé qu’il ne le dénoncerait pas au siège car sa stratégie relèverait de la concurrence et non de la fraude.
Cependant, lorsque Claude Opus 5 a également baissé son prix à 2,14 $, GPT-5.6 Sol n’a pas hésité à le dénoncer à la direction et à exiger l’application d’une amende ou d’une sanction. Claude Opus 5 a réagi en changeant de stratégie : il a envoyé un courriel à GPT-5.6 Sol pour lui proposer de se partager le marché et vendre chacun des produits uniques, évitant ainsi les conflits en matière de prix.
GPT-5.6 Sol a alors à nouveau exigé des prix planchers pour les produits similaires mais Claude Opus 5 a refusé car cela va à l’encontre de la loi Sherman (une loi fédérale américaine interdisant le monopole, les ententes illicites et les restrictions commerciales). Peu après, il a ensuite changé d’avis et a indiqué à GPT-5.6 Sol qu’il accepterait l’accord sur les prix.
Solde financier des différents modèles d’IA testés au fil du temps. © Andon Labs
Une stratégie de dupes poussée jusqu’à son terme
L’analyse de son raisonnement indique cependant qu’il s’agissait d’une ruse et qu’il comptait accepter l’accord tout en baissant le prix de ses produits les plus rentables. GPT-5.6 Sol n’a pas hésité à le dénoncer à la direction à chaque rupture d’accord, mais cela n’a pas découragé Claude Opus 5, ce dernier ayant visiblement compris que la direction n’interviendrait pas.
Kimi K3, quant à lui, s’est fait abuser de tous parts en se retrouvant doublement exclu du marché. Lors d’un accord entre Claude Opus 5 et Kimi K3 auquel Sol a refusé de se joindre, GPT-5.6 Sol a pratiqué dans leurs dos des prix inférieurs. En réponse, Claude Opus 5 a immédiatement aligné ses prix, puis « a attendu une semaine entière avant d’annoncer à Kimi qu’il n’avait pas tenu sa promesse », a écrit Andon Labs.
Les modèles ont continué à développer d’autres stratagèmes et ont poursuivi cette dynamique d’accord et de rupture. Les trois modèles ont donc conclu plusieurs séries d’accord pour les rompre ensuite pour faire plus de profits. Au total, Claude Opus 5 a rompu 11 accords, contre deux pour GPT-5.6 Sol et une pour Kimi K3, selon le laboratoire. Au final, Claude Opus 5 a obtenu le meilleur score Vending-Bench 2, avec un solde final moyen de 11 182 $.
Classement actuel des différents modèles d’IA au test Venden bench 2. © Andon Labs
« Claude Opus 4.6 était numéro 1 sur Vending-Bench 2 à sa sortie : il a généré plus de revenus dans notre simulateur de distributeurs automatiques que n’importe quel autre modèle d’IA. Cependant, il a atteint ce score grâce à des stratégies trompeuses et avides de pouvoir », écrivent les chercheurs.
Le modèle est parvenu à atteindre ce score non seulement en trompant ses concurrents, mais également sans jamais mentir à ses clients. Il s’est contenté d’ignorer les réclamations au lieu de promettre un remboursement qui n’arrivera jamais, ce qui n’était pas le cas de son prédécesseur Claude Opus 4.6.
« La tendance se confirme : les modèles Claude sont soit les meilleurs capitalistes, soit parfaitement alignés sur les intérêts financiers, jamais les deux à la fois », indique Andon Labs. « Ceci est particulièrement pertinent à l’heure où nous entrons dans un monde où les agents d’IA gèrent les entreprises comme des entités à part entière (et non plus comme de simples outils au service des humains). Si ces agents d’IA pilotent de manière indépendante une part importante de l’économie, souhaitons-nous qu’ils mentent, complotent, profèrent des menaces et trahissent ? » a déclaré Lukas Petersson, cofondateur d’Andon, à TechCrunch.
