Des chercheurs sont parvenus à réduire l’incertitude de l’IA en utilisant un système hybride intégrant le calcul classique à un ordinateur quantique. La combinaison aurait notamment réduit la perplexité de grands modèles linguistiques en n’ajoutant qu’un petit nombre de paramètres par rapport aux approches standards, un gain de performance qui leur aurait permis de répondre correctement à des questions auxquelles les modèles classiques ne parvenaient pas à répondre.
Le niveau d’incertitude, appelé perplexité (PPL) dans le domaine du traitement automatique du langage, constitue l’une des principales mesures de qualité et de performances des grands modèles linguistiques. Elle permet notamment d’évaluer la capacité d’un modèle d’IA à prédire correctement le mot suivant dans une phrase ou dans une suite de texte. Plus le PPL est faible, plus le système est précis dans ses prédictions.
Différentes techniques sont utilisées pour réduire la perplexité des grands modèles linguistiques (LLM), telles que le réglage fin (fine-tuning), l’entraînement sur de grands volumes de données et l’ajout de paramètres. On estime par exemple que GPT-5.5 possède entre 2 et 5 milliards de paramètres. Chaque paramètre accapare cependant de l’espace dans la mémoire du système et plus leur nombre augmente, plus l’infrastructure de calcul doit être adaptée et gagner en capacité.
Cet aspect constitue l’une des limites techniques majeures actuelles entravant le développement des systèmes d’IA, la complexité croissante des raisonnements nécessitant une augmentation très importante du nombre de paramètres que les infrastructures actuelles de calcul pourraient bientôt ne plus pouvoir soutenir.
Un groupe de chercheurs de Multiverse Computing et d’IBM propose une alternative explorée par les chercheurs afin d’améliorer les capacités de l’IA sans exiger une mise à niveau majeure de l’infrastructure de calcul. Leurs résultats suggèrent qu’une légère augmentation du nombre de paramètres pourrait suffire à réduire le niveau de perplexité de l’IA en utilisant une combinaison de calculs classiques et quantiques.
« À notre connaissance, les résultats présentés ici constituent la première démonstration d’une amélioration quantique de bout en bout d’un LLM (Language-Metal-Level) à grande échelle et largement déployé sur du matériel quantique supraconducteur réel pour la génération de langage autorégressive », écrivent les chercheurs dans leur étude parue sur le serveur de prépublication arXiv.
« Leur importance ne réside pas dans l’ampleur des améliorations de la perplexité — qui augmenteront avec la fidélité du matériel et le nombre de qubits — mais dans le fait même qu’elles existent », ajoutent-ils.
Un système hybride classique-quantique
La technique de la nouvelle étude consiste à utiliser des blocs de circuits quantiques appelés adaptateurs unitaires paramétrés par Cayley (CUA). Les paramètres de Cayley constituent un ensemble de matrices mathématiques qui peuvent être « entraînées » en les pondérant selon des composantes matricielles spécifiques.
Ces matrices sont ensuite intégrées au sein d’une couche spécifique d’un LLM pour entraîner celui-ci sur un ordinateur classique, créant ainsi un système hybride classique-quantique. Les paramètres combinés sont ensuite exécutés sur une unité de traitement quantique supraconductrice (QPU) d’IBM associée à une architecture Quantum System Two et dotée de 156 qubits.
« La première étape consiste à encoder [les paramètres] dans l’ordinateur quantique. Une fois l’état encodé, on est prêt à appliquer l’adaptateur unitaire de Cayley, que nous entraînons de manière classique puis implémentons dans le matériel quantique », explique Borja Aizpurua, chercheur principal chez Multiverse Computing et auteur principal de l’étude, à Live Science. D’après les chercheurs, les adaptateurs seraient suffisamment petits pour limiter les bruits générés lors des calculs quantiques et atténuer les erreurs.
Un taux d’incertitude réduit avec un minimum de paramètres ajoutés
Lors des tests, le modèle hybride a réduit la perplexité de Llama 3.1 8B — un modèle de 8 milliards de paramètres développé par Meta — de 1,4 % en n’ajoutant que 6 000 paramètres supplémentaires, soit une augmentation de 0,000075 %. Le modèle hybride a également obtenu de meilleurs scores par rapport aux modèles classiques pour donner les réponses exactes à certaines questions.
Dans une question sur l’astronomie par exemple, le modèle non amélioré a indiqué que seule Saturne possédait des anneaux, tandis que le modèle hybride a indiqué que toutes les planètes joviennes possèdent des anneaux. « Nous pouvons donc voir ici un exemple où un modèle ne répond pas correctement, puis on ajoute un élément quantique et soudain il répond correctement », a indiqué Aizpurua à Live Science.
Les prochaines étapes du développement consisteraient à mettre au point des méthodes permettant d’encoder directement l’ensemble du circuit quantique, et non seulement les adaptateurs unitaires de Cayley. Une fois cette étape franchie, les LLM pourraient atteindre un niveau de perplexité encore plus faible et une précision accrue, avec un minimum de paramètres.
