Ayant rapidement trouvé sa place dans la routine professionnelle de nombreux utilisateurs pour une multitude de tâches, ChatGPT a récemment connu une période de « paresse », durant laquelle ses réponses semblaient moins étayées et pertinentes. Les utilisateurs n’ont pas tardé à exprimer leur frustration face à cette dégradation. Cependant, Sam Altman a récemment déclaré sur X que ChatGPT « devrait désormais être beaucoup moins paresseux ». Cependant, après avoir effectué quelques essais de notre côté, nous constatons que l’outil fait toujours preuve d’une certaine paresse — comparé à avant l’apparition dudit problème.
En décembre dernier, une vague de mécontentement parmi les abonnés à ChatGPT s’est fait sentir suite à une diminution perceptible de la qualité des réponses de l’outil. Les utilisateurs ont remarqué que le chatbot ne répondait pas toujours directement à leurs demandes. À maintes reprises, l’outil se contentait de fournir des instructions pour accomplir la tâche demandée ou de donner un exemple plutôt que de répondre concrètement. De plus, les réponses étaient souvent vagues et peu pertinentes, obligeant parfois les utilisateurs à reformuler leurs questions. Cette situation était d’autant plus frustrante que ChatGPT Plus impose une limite de 40 messages toutes les trois heures.
Les plaintes ont été considérées par OpenAI qui, au cours du même mois, a déclaré sur X être au courant de la situation. « Nous avons entendu tous vos commentaires sur le fait que GPT-4 devient paresseux », a écrit l’entreprise en promettant également de corriger le problème. Début février, ChatGPT aurait retrouvé ses performances, selon les propos du PDG, Sam Altman.
GPT-4 désormais moins paresseux ? Pas si sûr…
Le week-end dernier, Sam Altman a partagé sur son compte X que « GPT-4 a démarré lentement ses résolutions du Nouvel An, mais devrait être beaucoup moins paresseux maintenant ». Cette déclaration confirme que OpenAI a effectué les correctifs nécessaires, ou du moins des correctifs en vue de résoudre le problème…
gpt-4 had a slow start on its new year's resolutions but should now be much less lazy now!
— Sam Altman (@sama) February 4, 2024
Il est important de noter que dans le contexte de l’intelligence artificielle générative, le terme « paresse » fait référence à une tendance à produire des réponses brèves et peu engagées, résultant souvent en une qualité médiocre et une compréhension superficielle des sujets traités. OpenAI n’a pas fourni de détails sur les améliorations spécifiques apportées pour résoudre ce problème.
On sait cependant qu’en janvier, l’entreprise a réalisé des mises à jour de certains de ses modèles, dont GPT-4 Turbo, la version améliorée (plus rapide) de GPT-4. « Ce modèle effectue des tâches telles que la génération de code de façon plus complète que le modèle d’aperçu précédent et vise à réduire les cas de paresse lors desquels le modèle ne termine pas une tâche », précise l’entreprise sur son site. Cependant, cette mise à jour est spécifique à GPT-4 Turbo, proposé seulement à l’essai (playground) ou via l’API, et n’inclut donc pas ChatGPT Plus.
De notre côté, nous avons effectué quelques essais, dont un qui consistait à demander à ChatGPT (dernière version) de fournir des bouts de code informatique selon une documentation bien détaillée fournie via une URL. Le hasard a fait que nous avions déjà demandé à ChatGPT d’effectuer cette même tâche par le passé (avant l’apparition du problème de paresse).
Nous avons alors constaté que contrairement aux réponses bien complètes et riches en code informatique que l’outil fournissait il y a quelques mois avec cette même requête, nous n’avons eu droit qu’à une liste d’instructions, avec des étapes à suivre. Aucun morceau de code n’a été fourni, même après avoir reformulé plusieurs fois la question et en nous montrant insistants. À la quatrième itération, ChatGPT n’a fourni que quelques morceaux de code génériques qui n’avaient aucun rapport avec la documentation, contrairement à ce qu’il proposait avant l’apparition du problème (des morceaux de code répondant exactement à la documentation, très riches et parfois même prêts à l’emploi). Notre conclusion : contrairement à ce qu’Altman avance, cette paresse est selon nous toujours d’actualité.
Les causes de la paresse de ChatGPT
Bien que les problèmes de paresse de ChatGPT semblent résolus, les causes sous-jacentes demeurent peu claires. Des experts émettent l’hypothèse que cela pourrait découler d’une mise à jour effectuée antérieurement. OpenAI a mentionné sur X que ChatGPT avait bénéficié d’une mise à jour le 11 novembre, soit juste avant l’apparition du problème.
D’autres pensent que la diminution des performances apparentes de l’outil était délibérée. Par exemple, Rob Lynch, un développeur, a suggéré qu’OpenAI a peut-être anticipé une diminution de l’utilisation de l’outil pendant la période des fêtes, selon le média Business Insider. En outre, certains utilisateurs ont interprété cette paresse comme une stratégie d’OpenAI visant à réduire les coûts opérationnels associés à GPT. En effet, générer des réponses plus courtes consomme moins de ressources.