Un implant cérébral expérimental décode simultanément la parole et les gestes chez des personnes paralysées, ouvrant une piste pour améliorer leur communication. Le dispositif permet notamment de décoder des mouvements liés à la parole et des gestes comme un hochement de tête ou un signe de la main. Ces résultats suggèrent que les interfaces cerveau-ordinateur pourraient permettre une communication qui combine plusieurs modes d’expression.
La communication humaine s’effectue non seulement par la parole, mais également par des gestes et des expressions corporelles qui mobilisent différents systèmes moteurs. Le langage parlé est fréquemment accompagné de gestes tels que des hochements de tête ou des signes de la main, qui peuvent contribuer à la compréhension du message.
Les séquelles d’un accident vasculaire cérébral (AVC) ou de maladies neurodégénératives comme la sclérose latérale amyotrophique (SLA) peuvent affecter la communication orale et gestuelle. Ces troubles peuvent entraver les interactions sociales des personnes paralysées et, par conséquent, leur qualité de vie.
Les interfaces cerveau-ordinateur sont de plus en plus étudiées pour restaurer les fonctions motrices et vocales des personnes souffrant de paralysie. Elles fonctionnent en traduisant l’activité des neurones du cortex sensorimoteur en commandes destinées à des dispositifs externes.
De récentes avancées dans le domaine ont permis de développer des interfaces cerveau-ordinateur capables de décoder la parole et des mouvements non vocaux, tels que les expressions faciales, le contrôle d’un curseur ou d’un clavier d’ordinateur, les gestes de la main et la marche. Cependant, ces recherches ont généralement étudié le décodage de ces comportements séparément.
Il restait à déterminer si une seule interface cerveau-ordinateur pouvait décoder simultanément la parole et les gestes, comme cela se produit dans les conversations naturelles.
Dans une étude parue le 14 septembre dans la revue Nature Neuroscience, des chercheurs codirigés par l’Université de Californie à San Francisco (UCSF) présentent des résultats en faveur de cette hypothèse, à partir d’un implant cérébral capable de décoder la parole et les gestes.
« Nous montrons ici que les signaux neuronaux enregistrés avec un seul implant d’électrocorticographie (ECoG) à haute densité peuvent prendre en charge le décodage simultané de la parole et des gestes chez les personnes paralysées », écrivent les chercheurs dans leur étude.
Le pari d’un décodage au-delà de la parole
Pour développer leur interface cerveau-ordinateur, l’équipe a testé l’hypothèse selon laquelle la fiabilité du décodage simultané dépendrait de données d’entraînement incluant des exemples de comportements réalisés simultanément, plutôt que de paroles ou de gestes isolés.
Les chercheurs ont donc utilisé un dispositif d’électrocorticographie (ECoG) à haute densité, une technique permettant d’enregistrer avec précision l’activité électrique du cerveau, sur trois personnes atteintes de paralysie sévère. L’objectif était de déterminer la faisabilité d’un décodage de plusieurs effecteurs à partir d’un seul implant.
Il a été constaté que les implants de chaque participant permettaient de décoder plusieurs effecteurs avec une précision mesurable, notamment des mouvements oraux et faciaux liés à la parole, ainsi que des mouvements des membres supérieurs. Sur la base de ces données, l’équipe a mis au point un système en temps réel permettant de décoder la parole et les gestes en parallèle et de les représenter sur un avatar numérique du corps entier.
Pour tester le dispositif, les participants ont été invités à effectuer des gestes spécifiques, à répondre à des questions conversationnelles, ou à réaliser les deux simultanément. Lors des tâches conversationnelles, le système a décodé la parole et les gestes chez les deux participants. L’un d’eux a atteint une précision médiane de 100 % sur trois blocs de conversation pour les tâches de décodage évaluées.
L’entraînement du système à l’aide de données isolées et simultanées de parole et de gestes a également amélioré les performances dans les différents contextes comportementaux évalués. Des tests sur un plus grand nombre de participants et avec de plus vastes ensembles de mots et de gestes seront nécessaires avant que la technologie puisse être utilisée de manière pratique.
Néanmoins, « ces résultats démontrent qu’un implant cortical peut prendre en charge le contrôle de plusieurs efecteurs et constituer une étape vers des interfaces cerveau-ordinateur qui permettent une communication plus naturelle pour les personnes paralysées », concluent les auteurs.
Vidéo montrant l’activité neuronale enregistrée chez un participant paralysé, décodée en temps réel pour contrôler un avatar virtuel personnalisé :
