ChatGPT ne quitte décidément plus les bancs de l’école… L’intelligence artificielle qui fait tant parler d’elle en ce moment avait récemment passé avec succès un examen de l’école de commerce Wharton. Cette fois-ci, c’est sur des questions de droit qu’elle s’est penchée, en réussissant un examen donné par la Faculté de droit de l’Université du Minnesota.
L’IA ChatGPT était-elle jalouse de « Claude » ? Cette autre intelligence artificielle développée par Anthropic, assez similaire à ChatGPT, s’est fait connaître tout récemment en réussissant un examen de droit et d’économie. Qu’à cela ne tienne : ChatGPT, l’IA star d’OpenAI, vient de s’attaquer à un problème similaire. Pour rappel, cette dernière est un prototype d’agent conversationnel qui utilise « l’intelligence artificielle », ou plus précisément, un programme d’apprentissage automatique. ChatGPT est donc capable « d’apprendre » à partir des données qu’elle assimile.
Jonathan Choi, professeur à la faculté de droit de l’Université du Minnesota, a souhaité répondre à une question : « Dans quelle mesure les modèles d’IA peuvent-ils réussir les examens des facultés de droit sans assistance humaine ? ». Pour le savoir, il a soumis à ChatGPT le même test auquel ses propres étudiants ont été confrontés. Les copies ont été corrigées à l’aveugle, dans les conditions habituelles. Le test comportait 95 questions à choix multiples et 12 questions dont les réponses étaient à développer. Au programme, des questionnements sur des sujets allant du droit constitutionnel à la fiscalité et aux délits.
L’IA a réussi son examen. Cependant, tout comme l’examen de l’école de commerce de Wharton, elle ne l’a pas réussi avec brio. Dans un article intitulé « ChatGPT va à la faculté de droit », différents professeurs de l’université ont expliqué que l’IA avait obtenu une note globale de C+. De quoi la classer plutôt dans les derniers de la classe, donc. Sans surprise, le plus grand point faible de ChatGPT se trouvait dans les questions de mathématiques. Il a fait un grand nombre d’erreurs dans ce domaine. Rien de nouveau ici : l’IA a tendance à faire de grosses approximations lorsqu’on lui pose des problèmes mathématiques.
Un étudiant médiocre, mais un bon assistant ?
En revanche, les lois en elles-mêmes avaient été bien assimilées : « En écrivant des essais, ChatGPT a montré une solide compréhension des règles juridiques de base et avait une organisation et une composition toujours solides », décrivent les professeurs. En revanche, l’IA « a souvent eu du mal à repérer les problèmes lorsqu’on lui donnait une invite ouverte, une compétence de base aux examens des facultés de droit ».
En somme, ChatGPT n’est pas un très bon étudiant en droit. Mais pourrait-elle se rendre utile sans pour autant concurrencer les humains ? C’est l’hypothèse de Jonathan Choi, qui verrait bien l’IA comme un futur assistant. « Nous nous attendons à ce que la collaboration avec des humains des modèles de langage comme ChatGPT soit très utile aux étudiants en droit et aux avocats en exercice », affirme-t-il.
Côté triche, l’outil soulève tout de même quelques questions : les professeurs pourraient « reconsidérer les types de questions qu’ils posent aux étudiants, en se concentrant sur celles qui nécessitent une analyse plutôt que celles qui exigent simplement le rappel de règles juridiques », propose Jonathan Choi. « Cependant, nous nous attendons à ce que la performance relative des modèles de langage sur différents types de questions évolue au fil du temps, à mesure qu’ils se développent et se spécialisent, et il n’est pas évident de savoir sur quelles questions les modèles de langage seront les plus performants à long terme », tempère-t-il.