Union européenne. Les droits humains sacrifiés sous couvert de simplification du cadre numérique européen 

Par Joshua Franco, conseiller principal en matière de recherche à Amnesty Tech   

Pendant des années, l’UE a joué un rôle de premier plan dans l’élaboration de normes visant à protéger nos droits en ligne. Mais le vent a tourné et, sous couvert de « simplification », une vague de mesures – soutenues par de grandes entreprises – qui visent à affaiblir la réglementation sur le numérique menace maintenant tous nos droits, en ligne et hors ligne.  

Des défenseur·e·s des droits numériques et des droits humains, notamment Amnesty International, ont recueilli des informations sur certaines des répercussions qu’ont les nouvelles technologies sur les droits humains, et il apparaît clairement que ce dont nous avons plus que jamais besoin, c’est d’un renforcement de la protection de nos droits. Malgré cela, le programme de simplification vise à une régression de cette protection.  

Il apparaît de plus en plus clairement que ce processus mène inévitablement à un affaiblissement des dispositions du Règlement sur l’IA et de la protection des données, et probablement à bien plus encore. La Commission européenne a également proposé d’effectuer un « bilan de santé numérique ». Bien que nous ne sachions pas encore ce que cela signifie concrètement, il s’agira très probablement d’un exercice visant à repérer quelles sont les autres lois qui devront être « simplifiées ». Tout cela est entrepris en recourant à des procédures accélérées, sans évaluation préalable de l’impact concernant les effets des technologies émergentes et à haut risque sur la vie des individus et des communautés, en partant du principe absurde que les lois qui protègent nos droits peuvent être rognées sans que cela ait d’incidences sur ces droits.   

Le RGPD : quels enjeux ?  

Un bref aperçu des droits humains en jeu montre que l’UE se dirige dans la mauvaise direction. L’un des règlements dans la ligne de mire est le Règlement général sur la protection des données (le RGPD). Si vous pensez que le RGPD porte uniquement sur les bannières de cookies, détrompez-vous. Ce texte d’importance majeure fait partie des principaux outils permettant aux personnes non seulement dans l’UE mais aussi partout ailleurs dans le monde, d’être protégées contre l’utilisation abusive de leurs données personnelles par les géants de la technologie et aussi par les États. Même si son application laisse à désirer, cette norme a un rôle essentiel à jouer pour servir de rempart contre l’appétit vorace du modèle économique illégal de la Silicon Valley, basé sur la surveillance.  

Sans protection adéquate, nos données peuvent être collectées à volonté, utilisées pour établir des profils discriminatoires ou injustes, reconditionnées, combinées, analysées, et vendues et revendues par un réseau massif et complexe de courtiers en données et d’entreprises de publicité en ligne. Elles peuvent également être communiquées ou vendues aux autorités étatiques, qui peuvent les utiliser pour établir notre profil, nous soumettre à une surveillance illégale, nous priver de nos droits – par exemple pour les prestations sociales –, ou même décider de nous arrêter et de nous placer en détention. Cela met en péril tous nos droits humains et aussi la sécurité nationale, car les données de localisation et les autres données personnelles sensibles des responsables gouvernementaux et des services de sécurité – et de toutes les autres personnes – sont mises en vente dans le monde entier, nous exposant ainsi au chantage et à la surveillance de masse.  

Implications concernant le Règlement sur l’IA  

L’une des autres normes clés visées est le Règlement sur l’IA, qui prévoit des garde-fous pour le développement et l’utilisation de l’intelligence artificielle. Les dommages auxquels nous sommes toutes et tous exposés du fait des systèmes d’IA et contre lesquels ce règlement pourrait nous protéger sont considérables. Au Danemark, les autorités ont mis en place un nouveau système basé sur l’IA pour détecter les cas de fraude dans le système de prestations sociales du pays. Les recherches menées par Amnesty International ont révélé que, comme c’est souvent le cas avec ce type de système, les droits humains finissent par être bafoués.   

Le système utilisait des variables telles que les liens avec des pays étrangers ou la composition « inhabituelle » des foyers pour signaler les cas potentiels de fraude, ce qui a fini par cibler de manière disproportionnée les personnes issues de l’immigration et toute personne dont le mode de vie s’écartait de ce qui était considéré comme la « norme » dans la société danoise. Ces personnes, ainsi que d’autres membres de groupes marginalisés, ont fini par être soumises non seulement à une surveillance numérique utilisant leurs données personnelles, mais aussi à des formes analogiques et invasives de surveillance visant par exemple à déterminer si une personne cohabite ou non avec son ou sa partenaire.  

Ce sont précisément ces types de préjudices que le nouveau règlement européen sur l’IA devrait contribuer à empêcher. En fait, à Amnesty International, nous pensons que ces systèmes devraient être définis et interdits au titre du règlement sur l’IA en tant que systèmes de « notation sociale ». Si le train de mesures dit « omnibus » ne dévie pas de la direction qu’il a prise et si le Règlement sur l’IA est affaibli avant même d’être pleinement opérationnel, nous risquons alors d’être encore moins protégés contre ces systèmes, car les modifications proposées affaibliront davantage encore les exigences de transparence déjà insuffisantes pour les systèmes à haut risque, permettant dans les faits aux entreprises de certifier elles-mêmes si un système d’IA doit être considéré comme sûr ou non.  

Mais le Danemark n’est pas un cas isolé : nos recherches portant sur l’« État-providence numérique » montrent que les atteintes aux droits humains, en particulier au droit à la sécurité sociale et à la non-discrimination, sont inhérentes à presque tous ces systèmes de plus en plus omniprésents, notamment aux Pays-Bas, en Serbie, en France, en Suède et au Royaume-Uni.  

Et les menaces que l’IA fait peser sur les droits humains ne s’arrêtent pas là. En Hongrie, des modifications législatives ont ouvert la voie à l’utilisation de la technologie de reconnaissance faciale par les forces de l’application des lois dans toute une série de nouveaux contextes, permettant une surveillance généralisée des rassemblements pacifiques, notamment des marches des fiertés à Budapest et à Pecs.   

Pour nous protéger contre tous ces dangers, il nous faut une réglementation plus stricte et une application plus rigoureuse des textes. Même une mise en œuvre énergique du Règlement sur l’IA laisserait des lacunes importantes qui doivent être comblées. Malgré une pression concertée de la société civile, le texte final du Règlement sur l’IA ne protège pas les personnes à travers le monde contre l’exportation de technologies dangereuses dont l’utilisation est interdite en Europe, et ne protège pas non plus les droits des personnes en mouvement. Or, le train de mesures dit « omnibus » montre clairement que la Commission européenne vise davantage à faciliter les profits pour les grandes entreprises qu’à faire le nécessaire pour combler ces lacunes et protéger nos droits.  

Les implications pour le RSN et la RMN  

La réglementation européenne a également une incidence sur la manière dont les grandes plateformes numériques affectent nos droits, et si le Règlement sur les services numériques et le Règlement relatif aux marchés dans le secteur numérique sont mis en avant (par exemple dans le cadre du « bilan de santé numérique ») comme prévu, cela pourrait également constituer un recul important. Les risques liés à la curation algorithmique de nos contenus en ligne, motivée par le profit et fondée sur la surveillance, ne doivent pas être sous-estimés. Les recherches menées par Amnesty International ont montré que cette technologie a contribué au nettoyage ethnique des musulmans rohingyas au Myanmar et aux graves atteintes aux droits humains commises contre la population tigréenne en Éthiopie, Meta n’ayant pas modéré et, dans certains cas, ayant même activement amplifié les contenus dangereux et discriminatoires sur Facebook.  

Amnesty a également constaté à plusieurs reprises que cette technologie, en particulier le fil d’actualité « Pour toi » de TikTok, peut pousser les enfants et les jeunes dans un cycle de contenus sur la dépression, l’automutilation et le suicide. Les jeunes Français interrogés dans le cadre des recherches d’Amnesty ont déclaré que TikTok leur proposait de plus en plus de vidéos normalisant et encourageant même l’automutilation et le suicide après qu’ils aient consulté des contenus liés à la santé mentale. Les parents d’enfants décédés par suicide ont décrit l’horreur qu’ils ont ressentie en découvrant après leur décès les contenus que TikTok proposait à leurs enfants.  

Pour une réglementation plus stricte  

Les réglementations relatives aux droits numériques dans l’UE offrent une protection cruciale, mais insuffisante, contre ces types de préjudices. Elles doivent être renforcées et appliquées, et non affaiblies.   

L’ensemble du processus de simplification repose sur un postulat erroné. La Commission européenne semble croire que les droits constituent un obstacle à la compétitivité et à l’innovation. Or, la véritable innovation consiste à faire en sorte que les nouvelles technologies soient avantageuses pour toutes les personnes, sans bafouer nos droits humains. La nouvelle série de lois en Europe avait commencé à permettre d’imaginer un monde où le pouvoir des géants technologiques peut être significativement circonscrit, et où notre droit de ne pas être soumis à un profilage et à une discrimination sans fin peut être un outil pour freiner les abus des États et des monopoles d’entreprise.  

Mais au lieu de s’appuyer sur ces progrès, la Commission européenne semble se précipiter pour satisfaire les intérêts des entreprises et bâtir « un continent de l’IA », supprimant les garde-fous qui protègent nos données – et donc notre propre personne – contre l’appétit vorace des grandes entreprises technologiques pour les profits, au détriment de notre environnement et de nos droits. Nous devons nous opposer à cette tentative d’amenuiser les protections au nom d’une simplification et dire à la Commission européenne que nos droits humains ne sont pas à vendre.  

Publié initialement dans Tech.Policy Press.