Des ingénieurs ont développé un agent IA pouvant utiliser un logiciel de conception assisté par ordinateur (CAO) de manière quasi humaine. Pour pouvoir manipuler ce logiciel réputé pour sa complexité et utilisé pour la création de modèles 3D, l’agent a été formé sur plus de 41 000 exemples de données vidéo. L’outil pourrait à terme faciliter l’accès à la CAO et automatiser certaines étapes répétitives.
Les logiciels CAO constituent actuellement la référence pour la conception de la plupart des produits physiques. Ils permettent notamment de convertir des croquis dessinés en 2D en modèles 3D, qui pourront à leur tour être testés et ajustés avant d’être envoyés à la chaîne de production. Leurs usages vont de l’aéronautique et de l’industrie automobile à l’architecture bâtiment et à l’ingénierie routière, en passant par la mode et l’animation cinématographique.
Les logiciels CAO permettent de simplifier et de fluidifier les chaînes de production en automatisant une grande partie des calculs. Cependant, ils sont réputés pour leur complexité d’apprentissage. Il faut beaucoup de temps et de pratique pour maîtriser les milliers de commandes à utiliser.
Des ingénieurs du Massachusetts Institute of Technology (MIT) proposent de simplifier l’apprentissage de la CAO à l’aide d’un modèle d’agent IA conçu pour l’utiliser de manière humaine. « L’IA offre la possibilité d’accroître la productivité des ingénieurs et de rendre la CAO plus accessible à un plus grand nombre de personnes », explique au MIT News, Ghadi Nehme, étudiant diplômé du département de génie mécanique du MIT et coauteur de l’étude sur le nouvel outil.
« C’est important car cela abaisse les barrières à l’entrée dans le domaine du design, aidant ainsi les personnes n’ayant pas des années de formation en CAO à créer plus facilement des modèles 3D et à exploiter leur créativité », ajoute Faez Ahmed, professeur associé de génie mécanique au MIT, qui a dirigé l’étude.
Une base de données de référence de 41 000 objets
La nouvelle étude s’appuie sur de précédents travaux concernant le développement d’outils appelés « agents d’interface utilisateur (IU) pilotés par IA ». Ces outils sont formés pour utiliser des logiciels spécifiques pour la réalisation de tâches telles que la collecte d’informations sur le web ou l’organisation d’un tableau Excel. Ahmed et ses collègues ont dû adapter leur agent IU pour utiliser un logiciel CAO, celui-ci nécessitant beaucoup plus de fonctionnalités.
Pour ce faire, ils ont conçu l’agent pour convertir étape par étape les esquisses 2D en conceptions 3D. L’équipe a pour cela d’abord utilisé un ensemble de données d’objets conçus par des ingénieurs humains avec un logiciel CAO comme référence. Chacun de ces objets a nécessité une séquence de commandes de haut niveau telles que « tracer une ligne » ou « extruder ».
Cependant, ces commandes n’étaient pas suffisamment précises pour un agent IA. Or, celui-ci doit comprendre parfaitement les commandes pour exécuter correctement les tâches. Afin d’adapter les commandes à l’outil d’IA, les chercheurs ont donc développé un système spécialisé permettant de traduire les commandes générales en interactions avec l’interface utilisateur.
Illustration du pipeline du jeu de données VIDEOCAD : des séquences CAO créées par des humains sont converties en instructions d’interface utilisateur et exécutées par une méthode automatisée basée sur des règles pour enregistrer des vidéos. Le filtrage de la qualité, l’extraction des images clés et l’alignement des actions produisent des paires vidéo-action structurées. © Brandon Man et al.« Par exemple, imaginons que nous ayons réalisé un croquis en traçant une ligne du point 1 au point 2 », explique Nehme. « Nous avons traduit ces actions de haut niveau en actions d’interface utilisateur, c’est-à-dire que nous disons : allez à partir de cet emplacement pixel, cliquez, puis déplacez-vous vers un deuxième emplacement pixel et cliquez à nouveau, tout en ayant l’opération ‘ligne’ sélectionnée. »
Cela a permis à l’équipe de créer un ensemble de données de 41 000 vidéos, baptisé VideoCAD, d’objets conçus par des humains et décrits avec des instructions adaptées à l’agent IA. « Comparé aux jeux de données existants, VideoCAD offre une complexité nettement supérieure pour les tâches d’interface utilisateur d’ingénierie réelles, avec des horizons temporels jusqu’à 20 fois plus longs », expliquent les chercheurs dans leur étude prépubliée sur la plateforme arXiv.
Une fois entraîné sur ces données, le modèle d’IA a pu traiter correctement des croquis 2D avec le logiciel CAO. La complexité des objets 3D créés va de celle de simples supports à des plans de bâtiments entiers (selon les capacités décrites dans l’étude). « VideoCAD est une première étape précieuse vers des assistants IA qui facilitent l’intégration des nouveaux utilisateurs et automatisent les tâches de modélisation répétitives suivant des schémas familiers », a commenté Mehdi Ataei, chercheur principal chez Autodesk Research, qui n’a pas participé à la recherche.
« Il s’agit d’une base initiale, et je serais ravi de voir des versions ultérieures qui couvriront plusieurs systèmes de CAO, des opérations plus riches comme les assemblages et les contraintes, et des flux de travail humains plus réalistes et complexes », ajoute-t-il. L’équipe de l’étude entraîne actuellement le modèle à concevoir des structures plus complexes et estime qu’il pourrait un jour assister les concepteurs et ingénieurs dans de nombreux domaines.
Vidéo de présentation de l’étude: