Aujourd’hui, plusieurs décisions importantes sont confiées à des algorithmes d’intelligence d’artificielle. Que ce soit dans le domaine médical ou pour la conduite autonome, il est crucial que cette intelligence soit aussi précise et fiable que possible. Et si cela n’était pas le cas ? Il s’avère que ces logiciels sont désormais suffisamment intelligents pour déterminer à quel point on peut leur faire confiance.
Non, une intelligence artificielle comme Skynet ne régnera jamais sur le monde. Grâce aux réseaux neuronaux déterministes conçus par les scientifiques, un tel scénario apocalyptique ne peut avoir lieu. Ces réseaux de neurones sont conçus pour imiter le cerveau humain, jusqu’à générer un niveau de confiance pour chacune de leurs prédictions. Un peu comme un humain qui appuierait son propos d’un « j’en suis sûr à 75% ».
Cette conscience de soi, et de la fiabilité de la décision, a été baptisée Deep Evidential Regression. Ce système d’évaluation se fonde sur la qualité des données de départ, qui sont utilisées pour l’apprentissage profond. Si ces données d’entraînement sont précises et complètes, alors il est fort probable que les prédictions soient justes. Dans le cas contraire, l’IA sait que sa décision devient moins fiable.
Pour chaque réponse, un niveau d’incertitude
Une équipe de chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT et de biophysiciens de l’Université d’Harvard, a développé cette nouvelle méthode pour la formation des réseaux de neurones déterministes, visant à mieux évaluer la cible et ses preuves associées, afin d’en tirer l’incertitude aléatoire et épistémique correspondante. « Nous avons non seulement besoin de générer des modèles haute performance, mais aussi de comprendre quand nous ne pouvons pas faire confiance à ces modèles », explique l’informaticien Alexander Amini. En d’autres termes, le système permet à un réseau de neurones d’analyser rapidement des données et d’en tirer non seulement une prédiction, mais aussi un niveau de confiance en fonction de la qualité des données disponibles.
Une application de la Deep Evidential Regression pourrait par exemple être illustrée par la situation suivante : une voiture autonome à l’approche d’une intersection déterminera si le carrefour peut être traversé en toute sécurité (certitude élevée) ou probablement en toute sécurité (certitude plus faible) ; dans ce dernier cas, où le réseau neuronal est moins confiant dans ses prédictions, le système indiquera qu’il est préférable d’arrêter le véhicule, « juste au cas où ».
Des capacités similaires ont déjà été intégrées dans les réseaux de neurones, mais la méthode proposée par Amini et son équipe se distingue par sa vitesse d’exécution — une caractéristique fondamentale étant donné les applications envisagées, qui impliquent des prises de décision ultra rapides. En outre, elle s’avère moins coûteuse en calcul que les méthodes précédentes : elle peut être appliquée via une seule exécution du réseau neuronal.
La cote de confiance déterminée comprend même des conseils pour l’améliorer. En effet, le réseau produit non seulement une décision, mais aussi une nouvelle distribution probabiliste capturant les preuves à l’appui de cette décision. Ces distributions, appelées distributions probantes, capturent directement la confiance du modèle dans sa prédiction. Cela inclut toute incertitude présente dans les données d’entrée sous-jacentes, ainsi que dans la décision finale du modèle. Par conséquent, cette distinction peut indiquer si l’incertitude peut être réduite en ajustant le réseau neuronal lui-même, ou si les données d’entrée sont simplement bruyantes. Un point particulièrement important selon Daniela Rus, qui a co-développé le programme : « En estimant l’incertitude d’un modèle appris, nous déterminons également le degré d’erreur à attendre du modèle et les données manquantes qui pourraient l’améliorer ».
Améliorer la sécurité en temps réel
Les chercheurs ont formé leur réseau neuronal en lui faisant estimer les profondeurs de chaque pixel d’une image, tout comme une voiture autonome pourrait estimer une distance. Les performances du réseau étaient comparables à celles des modèles précédents, mais il a également acquis la capacité d’estimer sa propre incertitude. Comme prévu, le système associait une incertitude élevée aux valeurs des pixels pour lesquels il avait mal estimé la profondeur.
Par ailleurs, le réseau neuronal a pu signaler les cas où il rencontrait des images « hors distribution », autrement dit très éloignées des images via lesquelles il avait été formé. Pour ces images différentes, le réseau a constamment averti que ses réponses étaient incertaines. Dans un cadre médical, ceci pourrait par exemple inciter un médecin à prendre un second avis avant de prendre une décision. Les chercheurs précisent que le réseau s’est même avéré capable de repérer quand les photos avaient été trafiquées, ce qui permet de se prémunir contre de potentielles attaques basées sur la manipulation de données.
Une intelligence artificielle qui estime d’elle-même son niveau de confiance a des implications fondamentales. Les réseaux neuronaux déterministes sont de plus en plus utilisés dans des domaines critiques, tels que la sécurité des personnes et la santé, où des mesures d’incertitude calibrées, robustes et efficaces sont cruciales. Ainsi, même si un réseau de neurones produit la bonne réponse 99% du temps, ce 1% manquant peut avoir de graves conséquences, potentiellement mortelles, selon le scénario.
C’est justement cet infime pourcentage d’erreur qui a intéressé Amini et ses collaborateurs. Comment rendre les modèles d’apprentissage profond capables de déterminer et de signaler à leurs utilisateurs les moments où il est possible qu’ils se trompent ? « Nous nous soucions vraiment de ce 1% du temps et de la manière dont nous pouvons détecter ces situations de manière fiable et efficace », insiste le chercheur. Les approches précédentes, issues de l’apprentissage profond bayésien, reposaient sur l’exécution ou l’échantillonnage d’un réseau de neurones pour comprendre sa confiance. Mais ce processus prend du temps et de la mémoire, un luxe incompatible avec un trafic à grande vitesse…
Les chercheurs se disent convaincus que leur nouveau test de confiance rationalisé peut aider à améliorer la sécurité en temps réel, bien que leur travail n’ait pas encore été évalué par des pairs. « Tout utilisateur de la méthode, qu’il s’agisse d’un médecin ou d’une personne occupant le siège passager d’un véhicule, doit être conscient de tout risque ou incertitude associé à chaque décision », souligne Amini.
Cette recherche sera présentée à la 34e conférence Neural Information Processing Systems, dédiée à l’intelligence artificielle et aux neurosciences computationnelles, qui se tiendra (virtuellement) du 6 au 12 décembre.