Un système de crédit social a été instauré en Chine. Verrons-nous un jour cette véritable « dictature numérique », avec des conséquences bien réelles, arriver en Europe ? Courrons-nous droit dans le mur de la dystopie ? À quel point sommes-nous réellement libres par rapport aux réseaux sociaux ?
Depuis une dizaine d’années, les réseaux sociaux se sont littéralement infiltrés dans nos vies, faisant à présent et majoritairement partie intégrante de notre quotidien. Ces divers réseaux nous connectent, nous divertissent et peuvent nous donner de l’importance (du moins, virtuellement). Cependant, les réseaux sociaux constituent une gigantesque base de données concernant ses utilisateurs et cela permet d’atteindre un niveau de surveillance mondiale des populations, comme encore jamais auparavant.
Heureusement, à l’heure actuelle, les réseaux sociaux de sont pas obligatoires et nous sommes libres d’y incorporer les données que nous souhaitons (informations personnelles, photos…), de manière à contrôler ce que nous voulons partager avec le monde, ou non.
[pms-restrict subscription_plans= »23495,23512,23514″]
Mais dans une optique de continuité dystopique de la tendance à la sur-utilisation des réseaux sociaux, de nombreuses personnes s’inquiètent : « Imaginez-vous la mise en place d’un système ou d’un réseau global et obligatoire ! », ou encore « Imaginez la mise en place d’un système de surveillance de masse et ultra-connecté ! ».
En effet, cela peut sembler sortir tout droit d’un livre de science-fiction, et pourtant… cela fait déjà partie de la réalité, en Chine.
Voici à quoi pourrait ressembler le système de crédit social, d’un point de vue visuel. Crédits : ABC News Australia (YouTube)
Le système de crédit social en Chine
Il s’agit d’un projet du gouvernement chinois, qui consiste en un système national de réputation des citoyens. Chaque citoyen se voit ainsi attribuer une note, échelonnée entre 350 et 950 points (les fameux « crédits sociaux »), qui se fonde sur les données dont dispose le gouvernement quant au statut économique et social de chaque individu. Ce système repose donc sur des outils de surveillance de masse et exploite des technologies d’analyse du big data. De ce fait, comme il repose sur le fait d’analyser toutes les données disponibles quant à chaque individu, il n’y a plus aucune intimité. Le gouvernement sait tout, littéralement, et décide du crédit qui sera attribué (ou retiré) à chaque individu, en conséquence de ses actes.
Sauf que le montant du crédit social n’est pas simplement un chiffre. Il a des conséquences bien réelles pouvant être très pénalisantes pour l’individu et creuser encore davantage le fossé entre les différentes classes sociales. En Chine, ce système ne se contente pas uniquement de surveiller de près ses quelque 1.4 milliards de citoyens. Non, le système est également conçu pour les contrôler et les contraindre.
Lorsqu’un passant tente de traverser la rue quand les feux sont rouges, le système intelligent l’avertit en l’interpellant (voix enregistrée). Le score social de l’individu est ensuite revu à la baisse. Crédits : ABC News Australia (YouTube)
Selon le parti communiste chinois, ces notes attribuées aux citoyens (ainsi qu’aux entreprises) « permettront aux personnes de confiance de circuler librement, tout en contraignant au maximum celles qui auraient un statut de ‘non-confiance’ ».
L’idée est que les caméras, qui ne dorment jamais, sont connectées à des systèmes de reconnaissance faciale, mis en lien avec les données financières, médicales et juridiques de chaque citoyen. L’ensemble du système sera géré et interprété par des réseaux d’IA avancés et à grande résolution de données.
Il s’agit donc bien d’une dystopie radicale.
D’ailleurs, cela rappelle un épisode (« Nosedive » en anglais, et « Chute Libre » dans sa version française) de la série télévisée Black Mirror (une anthologie dont le thème récurrent met en lumière une technologie dystopique, souvent sous un angle noir et satirique), qui traite exactement ce même sujet.
Images tirées de l’épisode de Black Mirror cité ci-dessus. Dans cet épisode, la société est régie par une note personnelle et Lacie, le personnage principal, veut tout faire pour obtenir l’appartement de ses rêves. Et donc, pour y accéder, augmenter au possible sa note personnelle… Crédits : Black Mirror/Netflix
Comment est-ce que le gouvernement attribue des crédits ?
Tout simplement en analysant les données dont ils disposent. Par exemple : pour obtenir des résultats positifs, il faut payer ses factures à temps, faire du bénévolat et trier correctement ses déchets. Ainsi, un citoyen peut obtenir un meilleur score, ce qui lui permet d’avoir accès plus facilement à des opportunités de crédit, de bénéficier de temps d’attente réduits pour les services hospitaliers, etc. Par contre, et toujours par exemple : si les règles sont enfreintes, les conséquences peuvent être très handicapantes… les personnes payant leurs factures en retard, qui seraient vues en train de traverser une chaussée en dehors du passage piéton, de fumer dans des zones non-fumeur, seront sanctionnées.
Vous aimerez également : Les bébés génétiquement modifiés par CRISPR-Cas9 : 6 questions qui persistent…
Depuis le lancement du système de crédit social en Chine, des millions de personnes n’ont pas pu voyager librement… En effet, certains individus peuvent littéralement se retrouver sur des « listes noires » et ne peuvent plus prendre certains transports (actuellement, cette punition pourrait s’étendre jusqu’à un an).
Mais qu’est-ce qui vaut d’être mis sur une liste noire et ne plus pouvoir prendre certains transports ? Voici quelques exemples donnés par la Commission chinoise : causer du « désordre » dans les transports, fumer dans un avion ou un train, avoir un ticket dont la validité a expirée, ne pas avoir payé une amende, répandre de fausses informations sur le terrorisme (…).
Voici encore quelques autres éléments faisant chuter la note des citoyens chinois : modifier la connexion internet (pour qu’elle aille plus vite), passer trop de temps à jouer aux jeux-vidéos, poster sur les réseaux sociaux, refuser le service militaire. Et cela ne se répercute pas uniquement sur les moyens de transport. Avoir un crédit social trop bas signifie également de ne pas pouvoir aller dans certains hôtels, de ne pas pouvoir postuler à certaines offres d’emploi, ne pas pouvoir inscrire ses enfants dans certains écoles…
De ce fait, allons-nous vers un contrôle totalitaire des masses ? Est-ce qu’un jour, un système similaire pourrait être déployé en masse même Europe ?
Bien entendu, ce système inquiète. Et nous pouvons nous demander comment et à quel point il va encore évoluer en Chine. Nous pouvons également nous demander si d’autres gouvernements vont trouver cette idée intéressante, et l’imposer à leurs citoyens…
À quand un tel système en Europe ?
Bien que le système chinois puisse nous sembler extrême et lointain, il faut savoir que dans les pays occidentaux, nous ne sommes en réalité pas si éloignés d’une telle dystopie… Un groupe d’experts indépendants nommé AI HLEG (High Level Expert Group for AI) chargé de conseiller à la Commission européenne sur l’intelligence artificielle a publié ses recommandations en matière de politique et d’investissement.
Car oui, qui dit système de crédit social, dit collecte de données, et également intelligence artificielle.
Le groupe d’experts, créé en juin 2018, est composé d’un panel d’intervenants provenant du domaine de l’IA de l’industrie, de représentants de la société civile, de conseillers politiques et politiciens, d’universitaires et d’experts juridiques. L’ensemble des recommandations politiques d’AI HLEG comprend un document très détaillé de 50 pages, qui peut être consulté en ligne.
Ce document inclut des avertissements sur l’utilisation de l’IA pour la surveillance et le scoring de masse des citoyens de l’UE, comme cela est le cas dans le cadre du système de crédit social chinois. À noter que ce groupe réclame une interdiction absolue du « scoring à grande échelle des individus grâce à l’IA ».
Il exhorte également les gouvernements à s’engager à ne pas procéder à une surveillance générale des populations à des fins de sécurité nationale. « Les gouvernements pourraient être tentés de ‘sécuriser la société’ en mettant en place un système de surveillance généralisé basé sur des systèmes d’IA, mais cela serait extrêmement dangereux si on le poussait à des niveaux extrêmes », explique l’AI HLEG.
« Les gouvernements devraient s’engager à ne pas participer à la surveillance de masse des individus et à déployer et acquérir uniquement des systèmes d’IA fiables, conçus pour respecter la loi et les droits fondamentaux, alignés sur des principes éthiques et solides du point de vue socio-technique », ont ajouté les experts.
Le groupe appelle également à soutenir le développement de mécanismes de protection des données personnelles et à permettre aux individus de contrôler leurs données et de ne pas être pénalisés par ces dernières, au contraire. « Des outils devraient être développés pour fournir une implémentation technologique du RGPD (ndlr : le règlement général sur la protection des données) et élaborer des méthodes techniques de préservation de la confidentialité afin d’expliquer les critères et la causalité dans le traitement des données personnelles des systèmes d’IA (tel que l’apprentissage automatique fédéré) », écrivent-ils.
Le rapport de l’AI HLEG contient d’autres idées, notamment l’élaboration et la mise en œuvre d’un programme européen pour la recherche sur l’IA. Ainsi que, notamment, surveiller et restreindre le développement des armes létales automatisées, y compris des technologies telles que les outils de cyber-attaque, qui ne sont pas des « armes réelles », mais que le groupe souligne, car elles « peuvent avoir des conséquences mortelles en cas de déploiement ».
Le HLEG suggère en outre aux décideurs européens de s’abstenir de conférer une personnalité juridique aux systèmes d’IA ou aux robots, en écrivant : « Nous pensons que cela est fondamentalement contraire au principe de l’Homme, de l’éthique et des responsabilités, et pose un risque moral important ».
En réalité, cela a déjà commencé, en Allemagne…
« Nous vivons dans un monde où le jugement est remplacé par des chiffres : par des scores qui calculent la valeur d’un être humain, à l’aide d’algorithmes », a déclaré Gerd Gigerenzer, directeur du Centre Harding pour la maîtrise des risques à l’Institut Max Planck de Développement humain à Berlin, en Allemagne. À noter que Gigerenzer dirige également un conseil d’experts en matière de consommation, qui conseille le ministère de la Justice allemand. Le groupe d’experts travaille actuellement sur un rapport sur le sujet des crédits sociaux.
« En Allemagne, cela commence par le système de notation universel connu sous le nom de Schufa », souligne Gigerenzer. Tout comme son homologue américain connu sous le nom de FICO, Schufa, est une société privée qui évalue la solvabilité d’environ trois quarts des Allemands et de plus de cinq millions d’entreprises dans le pays : toute personne souhaitant louer une maison ou prêter de l’argent, est tenue de produire sa note Schufa en Allemagne (ou son score FICO aux États-Unis). En outre, des facteurs tels que la « notation géographique » peuvent également réduire votre note globale, par exemple si vous vivez dans un quartier à faible loyer, ou même si un certain nombre de vos voisins ont une mauvaise note.
Dans d’autres régions, les assurances-maladie allemandes vous proposeront des primes moins élevées si vous ne tombez pas malade souvent. Et elles peuvent vous offrir des primes encore meilleures si vous partagez des données de votre appareil de suivi de la condition physique, pour montrer que vous faites votre part pour rester en bonne santé.
Toute personne utilisant des sites internet tels qu’Amazon, eBay ou Airbnb est priée d’évaluer les autres et est ainsi notée elle-même. Ceux qui essaient d’éviter d’être évalués seront vus de travers. Mais plus grave encore, un nombre croissant de consommateurs se verront refuser certains services ou, par exemple, des prêts hypothécaires s’ils ne présentent pas une notation quelconque !
« Nous sommes dans une phase cruciale au cours de laquelle nous devons discuter de nos valeurs. Voulons-nous continuer comme cela ? Devrions-nous continuer à noter les gens dans des domaines comme les finances, la santé, la criminalité, le logement locatif, les entreprises de vente par correspondance, (etc.) ? Et si vous avez répondu oui à cette question, voici une autre question : devrions-nous permettre que toutes les données collectées soient rassemblées afin que nous puissions obtenir un score total pour chaque citoyen ? », demande Gigerenzer.
Globalement, que pensez-vous de ce type système de crédit social ? Que feriez-vous s’il venait à être instauré dans votre pays ? Pensez-vous que vous auriez le choix ? Selon vous, est-ce que la société en tirerait assez de bénéfices pour le justifier ?…
Sources : ABC, Handelsblatt, AP, TechCrunch, The New York Times
[/pms-restrict]
On est déjà dans une dystopie, depuis plusieurs années. La question c’est de quelle manière elle peut évoluer et si elle peut prendre une forme plus ouverte et plus dure comme la chinoise ou si elle va continuer sous sa forme sournoise actuelle ?
Difficile de répondre.
Mais j’ai tendance à croire qu’elle va continuer comme elle est puisque beaucoup (dont vous) ne la soupçonnent même pas : quelle meilleure prison que celle dont les barreaux sont invisibles ?