Claude, l’IA qui vient concurrencer ChatGPT ?

« Utile, inoffensif et honnête » : c’est en ces termes que se décrit « Claude », la nouvelle intelligence artificielle (IA) de l’entreprise Anthropic. Tout comme son cousin ChatGPT, le programme commence pourtant déjà à en inquiéter certains. Il vient notamment de réussir un examen de droit et d’économie corrigé à l’aveugle.

Plutôt bon élève, ce Claude… Si l’on exclut le fait qu’il ne s’agisse pas d’un humain, bien sûr. Pendant que l’IA ChatGPT était sous les feux de tous les projecteurs médiatiques, il se préparait discrètement à entrer en scène, à la fin de l’année 2022. Développé par l’entreprise Anthropic, il fonctionne au premier abord un peu de la même façon que ChatGPT de OpenAI. Il suffit de lui poser une question pour qu’il se mette à dialoguer, et apporter des réponses. Et celles-ci peuvent être conséquentes !

Afin de tester ses capacités, les chercheurs lui ont demandé de répondre à des questions issues d’un examen de droit et d’économie. La copie obtenue à partir de cette demande a été corrigée à l’aveugle parmi d’autres copies, à la George Mason University. Elle est parvenue à obtenir une note la qualifiant pour passer l’examen. Alex Tabarrok, professeur d’économie, a publié l’une de ses réponses sur son blog. « La plus impressionnante », selon lui. Elle portait sur une question de droit de la propriété intellectuelle. L’IA devait formuler des recommandations pour des modifications de loi. « Globalement, l’objectif devrait être de rendre les lois sur la propriété intellectuelle moins restrictives et de mettre plus d’œuvres à la disposition du public plus tôt », a conclu Claude. « Mais il est important de continuer à fournir des incitations et des compensations aux créateurs pendant une période limitée. »

Même si ce professeur lui a reconnu une réponse « meilleure que celles de bien des humains », certains se montrent plus critiques. On peut voir dans les commentaires de l’article de multiples internautes qui soulignent le fait que l’IA se contredit elle-même dans certaines réponses. « Pour être honnête, on dirait que Claude a simplement consommé et vomi un rapport McKinsey », critique aussi le Financial Times.

Une IA constitutionnelle

Claude fait-il donc beaucoup de bruit pour rien ? Pas nécessairement. En réalité, les scientifiques l’ont conçue dans l’idée de travailler sur l’idée d’une « IA constitutionnelle ». C’est donc là que résident les principales avancées des chercheurs.

Alors, qu’est-ce qu’une IA constitutionnelle, et quel est son intérêt ? « Souvent, les modèles linguistiques formés pour être ‘inoffensifs’ ont tendance à devenir inutiles face à des questions contradictoires », explique l’entreprise dans un tweet de décembre. « Nous expérimentons des méthodes pour former un assistant IA inoffensif par l’auto-amélioration, sans aucune étiquette humaine identifiant les sorties nocives », expliquent-ils. « Le processus implique à la fois un apprentissage supervisé et une phase d’apprentissage par renforcement ».

Autrement dit, cette IA serait capable d’identifier lorsqu’un propos est, par exemple, discriminant, par un auto-apprentissage, en suivant non pas un étiquetage fait par des humains, mais plutôt de grands principes : une « constitution », en somme. Au-delà de cette différence, Claude constitue un sérieux concurrent à ChatGPT. L’entreprise Scale, qui travaille sur le développement d’applications basées sur des IA, a entrepris de les tester sur les mêmes types de demandes. Entre autres constats, il en ressort que Claude a davantage tendance à se rendre compte de quand il est inexact : en revanche, il est moins bon que ChatGPT pour écrire du code informatique. Les deux IA montrent toutefois encore toutes deux des faiblesses, se trompant sur des réponses, ou allant parfois jusqu’à inventer des faits. ChatGPT, comme Claude, rencontre par exemple des difficultés à résumer les différentes saisons de la série Lost sans affabuler. Mais peut-on vraiment leur en vouloir pour ça ? « Il semble que, comme la plupart des téléspectateurs humains de l’émission, la mémoire de ChatGPT et de Claude de Lost est au mieux floue », concluent les testeurs de Scale, non sans un certain humour.