Danemark/UE. Le système de protection sociale assisté par IA alimente la surveillance de masse et risque d’entraîner une discrimination des groupes marginalisés – Rapport

Par son recours à des outils fondés sur l’intelligence artificielle pour identifier des personnes qui seront la cible d’enquêtes sur de possibles fraudes aux prestations sociales, l’autorité danoise chargée de la protection sociale, Udbetaling Danmark (UDK), risque d’exercer une discrimination à l’égard des groupes racisés marginalisés et des personnes en situation de handicap, à faible revenu, migrantes ou réfugiées, a déclaré Amnistie internationale dans un nouveau rapport publié le 13 novembre 2023. 

Intitulé Coded Injustice: Surveillance and Discrimination in Denmark’s Automated Welfare State, le rapport démontre que le recours généralisé à des algorithmes de détection des fraudes, associé à des pratiques de surveillance de masse, a forcé des personnes à renoncer, contre leur volonté, voire sans le savoir, à leur droit au respect de la vie privée et a instauré un climat de peur.  

« Cette surveillance de masse a créé un système de prestations sociales risquant de transformer en cibles les personnes qu’il est supposé protéger », a déclaré Hellen Mukiri-Smith, chercheuse sur l’intelligence artificielle et les droits humains à Amnistie internationale.   

« Le fonctionnement du système de protection sociale automatisé danois nuit au droit au respect de la vie privée et à la dignité humaine. En déployant des algorithmes de détection des fraudes et des méthodes de surveillance traditionnelles pour identifier les fraudes aux prestations sociales, les autorités permettent et étendent la surveillance de masse numérisée. »  

UDK a chargé l’entreprise Arbejdsmarkedets Tillægspension (ATP) de gérer le travail de contrôle des prestations sociales et des fraudes. ATP s’est ensuite associée à des entreprises multinationales privées, notamment NNIT, pour élaborer des algorithmes de détection des fraudes adaptés à son cahier des charges.    

« Un pistolet sur la tempe »   

Le système qu’utilisent UDK et ATP associe jusqu’à 60 modèles algorithmiques supposés détecter les fraudes aux prestations sociales et identifier des personnes qui feront l’objet d’enquêtes des autorités danoises. Dans le cadre de ses recherches, Amnistie internationale a obtenu l’accès à quatre de ces algorithmes.   

Pour alimenter ces algorithmes de détection des fraudes, les autorités danoises ont adopté des lois autorisant une vaste collecte et fusion de données personnelles à partir de bases de données publiques sur des millions d’habitant·e·s du pays.  

Ces données comprennent des informations sur la situation au regard du droit de séjour et les déplacements, la nationalité, le lieu de naissance et les relations familiales ; des données sensibles qui peuvent également servir à déterminer l’appartenance et l’origine ethniques et l’orientation sexuelle.   

« Ce dispositif de surveillance de masse est utilisé pour recueillir des informations et donner une vision globale, souvent très éloignée de la réalité, de la vie d’une personne. Il suit et surveille le lieu de vie et de travail des bénéficiaires de prestations sociales, leurs déplacements, leur dossier médical et même leurs liens avec des pays étrangers », a déclaré Hellen Mukiri-Smith.  

UDK affirme que la vaste collecte et fusion de données en vue de repérer les fraudes aux prestations sociales est « juridiquement fondée ». Cependant, les conclusions d’Amnistie internationale montrent que l’énorme quantité de données recueillies et analysées n’est ni nécessaire ni proportionnelle.  

Les personnes avec lesquelles Amnistie internationale s’est entretenue ont évoqué les incidences psychologiques néfastes de la surveillance imposée par des travailleurs et travailleuses sociaux et des personnes en charge des enquêtes sur les fraudes. La présidente du Comité des politiques sociales et relatives au marché du travail de la Dansk Handicap Foundation, Gitte Nielsen, a déclaré que les personnes en situation de handicap qui sont constamment interrogées par des travailleurs et travailleuses sociaux sont souvent déprimées et déclarent que la surveillance constante les « ronge ».    

Décrivant la peur de faire l’objet d’une enquête pour fraude aux prestations sociales, une personne avec qui Amnistie internationale s’est entretenue a déclaré : « [C’est comme] avoir un pistolet sur la tempe. On a constamment peur. [C’est comme si] le pistolet était [toujours] pointé sur nous. »  

Des algorithmes injustes et discriminatoires   

La discrimination perpétuée par les algorithmes d’UDK et d’ATP s’inscrit dans un contexte d’inégalités préexistantes dans les lois, les règles, les institutions, les normes et les valeurs au sein de la société danoise. Ces structures discriminatoires sont intégrées à l’élaboration des modèles algorithmiques d’ATP, permettant une catégorisation des personnes et groupes fondée sur la différence ou l’« altérité ».  

Pour identifier les fraudes aux prestations sociales dans les systèmes de retraite et d’allocations familiales, les autorités danoises déploient l’algorithme « Really Single » pour prédire la situation familiale et l’état civil d’une personne. L’un des paramètres utilisés par l’algorithme de contrôle des fraudes « Really Single » comprend les modes de vie ou situations familiales « inhabituels » ou « atypiques ». Pourtant, les situations correspondant à ces descriptions ne sont pas clairement définies, ce qui ouvre la voie à des décisions arbitraires.  

« Les personnes dont les cadres de vie ne correspondent pas aux critères traditionnels, comme les personnes en situation de handicap qui sont mariées mais ne vivent pas avec leur conjoint·e en raison de leur handicap, les personnes âgées étant en couple mais ne vivant pas ensemble, ou les personnes vivant dans un foyer multigénérationnel (une situation commune parmi les populations migrantes), risquent d’être ciblées par l’algorithme “Really Single” à des fins d’enquête pour fraude aux prestations sociales », a déclaré Hellen Mukiri-Smith.   

UDK et ATP recourent également à des informations sur l’« affiliation étrangère » dans leurs modèles algorithmiques. L’algorithme « Model Abroad » identifie les groupes de bénéficiaires considérés comme ayant des « liens moyennement et hautement étroits » avec des pays non membres de l’Espace économique européen et fait de ces groupes une cible prioritaire d’enquête pour fraude. Les recherches concluent que cette approche crée une discrimination fondée sur des facteurs tels que la nationalité et le statut migratoire.  

Dans sa réponse à Amnistie internationale, UDK a déclaré que le recours à la « nationalité » comme paramètre dans son algorithme ne constitue pas une analyse de données personnelles sensibles. Amnistie internationale conteste cet argument présenté par UDK et ATP, car la nationalité en tant que paramètre peut révéler l’appartenance et l’origine ethniques et le statut migratoire d’une personne et créer une discrimination directe fondée sur la nationalité.  

Un système de notation sociale ?  

UDK et ATP ont fourni à Amnistie internationale des documents sur l’élaboration de certains systèmes algorithmiques et ont systématiquement rejeté les demandes d’audit collaboratif formulées par Amnistie internationale, refusant de donner pleinement accès au code et aux données utilisées dans leurs algorithmes de détection des fraudes.  

« Les informations qu’Amnistie internationale a recueillies et analysées suggèrent que le système employé par UDK et ATP fonctionne comme un système de notation sociale tel que défini par la Législation sur l’intelligence artificielle de l’Union européenne (Loi sur l’IA) et doit par conséquent être interdit », a déclaré Hellen Mukiri-Smith.  

UDK a contesté l’évaluation d’Amnistie internationale selon laquelle son système de détection des fraudes relève probablement de l’interdiction de la notation sociale prévue par la Loi sur l’IA, mais sans offrir une explication suffisante de son raisonnement.    

Amnistie internationale appelle également la Commission européenne à préciser, dans ses lignes directrices sur la Loi sur l’IA, quelles pratiques d’IA relèvent de la notation sociale, afin de répondre aux préoccupations soulevées par la société civile.  

L’organisation appelle également les autorités danoises à veiller à ce que le système de détection des fraudes utilisé par UDK ne constitue pas un système de notation sociale et à suspendre son utilisation jusqu’à ce que ces mesures soient prises.   

« Les autorités danoises doivent de toute urgence mettre en œuvre une interdiction claire et juridiquement contraignante de l’utilisation des données liées à l’“affiliation étrangère” et des données de substitution dans le système de notation des risques destiné à la lutte contre la fraude. Elles doivent également assurer une transparence robuste et une surveillance adaptée dans l’élaboration et le déploiement des algorithmes de contrôle des fraudes », a déclaré Hellen Mukiri-Smith.  

Le Danemark est tenu, au titre de plusieurs traités internationaux relatifs aux droits humains et lois européennes et nationales, de protéger les droits humains tels que les droits à la vie privée, à la protection des données, à la liberté d’expression, à l’égalité et à la non-discrimination.   

« Ces droits sont non seulement la force motrice d’une société juste, mais assurent également l’accès équitable à la sécurité sociale, aux soins de santé et bien plus encore », a déclaré Hellen Mukiri-Smith.  

Complément d’information  

Avant la publication du rapport, Amnistie internationale a contacté NNIT, mais l’entreprise n’a pas fourni davantage d’informations sur ses relations contractuelles avec UDK et ATP, évoquant des obligations de confidentialité. NNIT n’a pas non plus fourni d’informations sur une quelconque diligence requise en matière de droits humains menée avant la signature de l’accord avec UDK et ATP.  

Les recherches sur le Danemark s’appuient également sur des recherches menées précédemment par Amnistie internationale sur l’automatisation et la numérisation dans le secteur public aux Pays-Bas, en Inde et en Serbie et sur les risques relatifs aux droits humains associés et les impacts des décisions fondées sur des algorithmes dans ces pays.