Suède. L’agence de sécurité sociale doit interrompre l’utilisation des systèmes d’intelligence artificielle discriminatoires

Il faut interrompre sans délai l’utilisation de systèmes opaques d’intelligence artificielle par Försäkringskassan, l’Agence suédoise de sécurité sociale, a déclaré Amnistie internationale le 25 novembre 2024, à la suite d’une enquête menée par Lighthouse Reports et Svenska Dagbladet sur le système suédois de protection sociale, qui révèle que ce système signale de manière inique des groupes marginalisés en vue d’enquêtes sur des fraudes aux prestations sociales.  

Cette enquête établit que le système signale de manière disproportionnée certains groupes en vue d’une future investigation sur la fraude aux prestations sociales, notamment les femmes, les personnes d’origine étrangère (nées à l’étranger ou dont les parents sont nés à l’étranger), les personnes à faible revenu ou n’ayant pas de diplôme universitaire. Amnistie internationale a apporté son soutien à l’enquête en examinant l’analyse et la méthodologie adoptées par l’équipe du projet, en amenant des contributions et des suggestions, et en discutant des conclusions sous l’angle des droits humains. 

« Les algorithmes intrusifs de l’Agence nationale de sécurité sociale établissent des discriminations en fonction du genre, de l’" origine étrangère ", du niveau de revenu et du niveau d’éducation. Il s’agit sans aucun doute d’un exemple de violation du droit à la sécurité sociale, à l’égalité et à la non-discrimination, ainsi que du droit à la vie privée, par un système clairement biaisé », a déclaré David Nolan, chargé des recherches à Amnistie Tech.  

L’Agence nationale de sécurité sociale s’appuie sur le système d’apprentissage automatique depuis au moins 2013. Celui-ci attribue des scores de risque, calculés par un algorithme, aux demandeurs de prestations sociales afin de détecter les fraudes éventuelles.  

Försäkringskassan effectue deux types de vérifications : la première est une enquête standard réalisée par des travailleurs sociaux, qui ne présume pas de l’intention criminelle et accorde aux personnes concernées la possibilité d’avoir commis une simple erreur ; la seconde est effectuée par le département « contrôle » qui traite les cas où il y a suspicion d’intention criminelle. Ceux qui présentent les scores de risque les plus élevés, tels que définis par l’algorithme, sont automatiquement soumis à des enquêtes menées par les contrôleurs des fraudes au sein de l’agence d’aide sociale, avec une présomption d’« intention criminelle » dès le départ. 

Une « chasse aux sorcières »  

Les inspecteurs des fraudes qui consultent les dossiers signalés par le système disposent d’un pouvoir énorme. Ils peuvent fouiller dans les comptes de réseaux sociaux, obtenir des données auprès d’institutions telles que les écoles et les banques, et même interroger les voisins dans le cadre de leurs enquêtes. 

« L’ensemble du système s’apparente à une chasse aux sorcières à l’encontre de toute personne signalée pour une enquête sur la fraude aux prestations sociales », a déclaré David Nolan.  

Ceux qui sont pointés du doigt à tort par le système biaisé se plaignent de retards et d’obstacles juridiques s’agissant de bénéficier de leurs droits à l’aide sociale.  

« L’un des principaux problèmes que posent les systèmes d’intelligence artificielle déployés par les organismes de sécurité sociale est la possible aggravation des inégalités et des discriminations préexistantes. Lorsqu’une personne est signalée, elle est d’emblée traitée avec méfiance, ce qui peut s’avérer très déshumanisant », a déclaré David Nolan. 

L’équipe du projet de Lighthouse Reports et de Svenska Dagbladet a soumis des demandes au titre de la liberté d’information, mais les autorités suédoises n’ont pas été totalement transparentes quant au fonctionnement interne du système.  

Malgré le refus de l’agence de sécurité sociale, l’équipe a toutefois réussi à avoir accès à des données agrégées sur les résultats des enquêtes pour fraude menées sur un échantillon de cas signalés par l’algorithme, ainsi qu’aux caractéristiques démographiques des personnes concernées – mais ce uniquement parce que l’Inspection de la sécurité sociale avait précédemment demandé les mêmes données.  

Grâce à ces données, l’équipe a pu tester le système algorithmique par rapport à six indicateurs d’équité statistique standard, notamment la parité démographique, la parité prédictive et les taux de faux positifs. Chaque indicateur s’appuie sur une approche différente pour tenter de mesurer les préjugés et la discrimination au sein d’un système algorithmique ; les résultats ont confirmé que le système suédois cible de manière disproportionnée des groupes déjà marginalisés au sein de la société.  

Des biais algorithmiques intégrés  

Le système utilisé par l’agence suédoise Försäkringskassan suscite depuis longtemps des inquiétudes quant aux préjugés qui y sont intégrés. Un rapport de 2018 de l’Inspection de la sécurité sociale (ISF)  soulignait que l’algorithme mis en œuvre, « dans sa conception actuelle, ne répond pas à l’exigence d’égalité de traitement ». L’Agence nationale de sécurité sociale a fait valoir que l’analyse était erronée et reposait sur des bases douteuses.  

Un responsable de la protection des données ayant travaillé pour l’Agence a quant à lui averti en 2020 que l’ensemble de l’opération viole la règlementation européenne sur la protection des données, car l’autorité n’a aucun fondement juridique pour établir des profils de personnes.  

En vertu de la réglementation de l’Union européenne sur l’IA (Loi sur l’Intelligence artificielle), récemment adoptée, en raison du risque élevé qu’ils représentent pour les droits des citoyens, les systèmes d’IA utilisés par les autorités pour déterminer l’accès aux services et prestations publics essentiels doivent respecter des règles techniques, de transparence et de gouvernance strictes, y compris l’obligation pour les acteurs qui en déploient de procéder à une évaluation des risques pour les droits humains et de garantir des mesures d’atténuation avant de les utiliser. En outre, la loi interdit les systèmes spécifiques qui seraient considérés comme des outils de notation sociale. 

« Si le système employé par l’Agence nationale de sécurité sociale en Suède est maintenu, le pays risque de se laisser entraîner sans réagir vers un scandale similaire à celui des Pays-Bas, où les autorités fiscales ont faussement accusé de fraude des dizaines de milliers de parents et de personnes ayant la charge d’enfants issus pour la plupart de familles à revenus modestes, portant ainsi un préjudice disproportionné aux membres de minorités ethniques, a déclaré David Nolan.  

« Compte tenu de la réponse opaque des autorités suédoises, qui ne nous a pas permis de comprendre le fonctionnement interne du système, et de la formulation vague de l’interdiction de notation sociale dans le cadre de la Loi sur l’IA, il est difficile de situer précisément ce système spécifique dans la classification des systèmes d’IA en fonction des risques de la Loi sur l’IA. Cependant, les preuves sont suffisantes pour laisser à penser qu’il viole le droit à l’égalité et à la non-discrimination. Il faut donc interrompre son utilisation sans plus attendre. » 

Complément d’information 

Le 13 novembre, le rapport d’Amnistie internationale intitulé Coded Injustice révélait que les outils d’intelligence artificielle utilisés par l’agence danoise de protection sociale créent une surveillance de masse pernicieuse, risquant d’entraîner des discriminations à l’encontre des personnes en situation de handicap, racialisées, migrantes et réfugiées. 

Le 15 octobre, Amnistie internationale et 14 partenaires de la coalition dirigée par La Quadrature du Net (LQDN) ont déposé une plainte auprès du Conseil d’État, la plus haute juridiction administrative en France, demandant que la Caisse nationale d’allocations familiales (CNAF) cesse d’utiliser le système algorithmique de notation des risques. 

En août 2024, la Loi sur l’IA est entrée en vigueur : une réglementation européenne sur l’intelligence artificielle qui protège et promeut les droits fondamentaux. Amnistie internationale, aux côtés d’une coalition d’organisations de la société civile menée par le Réseau européen des droits numériques (EDRi), demande une réglementation sur l’intelligence artificielle au sein de l’UE afin de protéger et de promouvoir les droits humains. 

En 2021, son rapport intitulé Xenophobic Machines (« Les machines xénophobes ») révélait que des critères relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique utilisé par les autorités fiscales néerlandaises pour signaler des demandes d’allocations familiales potentiellement frauduleuses.