France. Les autorités doivent cesser d’utiliser l’algorithme discriminatoire du système de protection sociale

Les autorités françaises doivent immédiatement cesser d’utiliser l’algorithme discriminatoire qui attribue une notation des risques, dont se sert la Caisse nationale d’allocations familiales (CNAF) de l’agence de sécurité sociale du pays pour détecter les trop-perçus et les erreurs dans le versement des allocations, a déclaré Amnistie internationale le 16 octobre 2024.

Le 15 octobre, Amnistie internationale et 14 partenaires de la coalition dirigée par La Quadrature du Net (LQDN) ont déposé plainte auprès du Conseil d’État, la plus haute juridiction administrative en France, demandant que la CNAF cesse d’utiliser le système algorithmique de notation des risques.

« Dès le départ, l’algorithme de notation des risques utilisé par la CNAF traite avec suspicion les personnes marginalisées – en situation de handicap, vivant dans la pauvreté ou les familles monoparentales composées majoritairement de femmes. Ce système entre en contradiction directe avec les normes relatives aux droits humains, violant le droit à l’égalité et à la non-discrimination, ainsi que le droit à la vie privée », a déclaré Agnès Callamard, secrétaire générale d’Amnistie internationale. 

En 2023, La Quadrature du Net (LQDN) a eu accès à des versions du code source de l’algorithme, un ensemble d’instructions écrites par des programmeurs pour créer un logiciel, exposant ainsi le caractère discriminatoire du système.

Depuis 2011, la CNAF utilise un algorithme qui note les risques afin de détecter des fraudeurs potentiels aux prestations sociales qui reçoivent des trop-perçus. Cet algorithme assigne un score de risque compris entre zéro et un à tous les bénéficiaires d’allocations familiales et logement. Plus le score est proche de 1, plus la probabilité est élevée qu’un contrôle soit déclenché.

Au total, 32 millions de personnes en France vivent dans des foyers qui perçoivent une allocation de la CNAF. Leurs données personnelles sensibles, tout comme celles de leur famille, sont traitées périodiquement et une note de risque est attribuée.

Les critères qui augmentent cette note englobent des paramètres discriminatoires à l’égard des ménages fragiles, notamment le fait de disposer d’un faible revenu, d’être au chômage, de vivre dans un quartier défavorisé, de consacrer une part importante de son revenu au loyer et de travailler tout en étant en situation de handicap. Les informations concernant les allocataires signalés en raison de leur score de risque élevé sont compilées dans une liste qui fait l’objet d’une enquête plus approfondie menée par un inspecteur chargé de la lutte contre la fraude. 

« Alors que les autorités présentent le déploiement de technologies algorithmiques au sein des systèmes de protection sociale comme un moyen d’accroître l’efficacité et de détecter les fraudes et les erreurs, dans la pratique, ces systèmes nivèlent les réalités de la vie des gens. Ils fonctionnent comme de vastes outils d’extraction de données qui stigmatisent les groupes marginalisés et s’immiscent dans leur vie privée », a déclaré Agnès Callamard.

Amnistie internationale n’a pas enquêté sur des cas précis de personnes signalées par le système de la CNAF. Cependant, d’après ses investigations menées aux Pays-Bas et en Serbie, les systèmes fondés sur l’IA et l’automatisation dans le secteur public favorisent la surveillance de masse : la quantité de données recueillies est disproportionnée par rapport au but affiché du système. En outre, les éléments recueillis mettent en lumière le fait que nombre de ces systèmes s’avèrent inefficaces s’agissant d’atteindre leur objectif, à savoir détecter les fraudes ou les erreurs au sein du système d’allocations.

Par ailleurs, d’aucuns affirment que l’ampleur des erreurs ou des fraudes dans les systèmes d’allocations a été exagérée pour justifier le développement de ces systèmes technologiques, débouchant bien souvent sur un ciblage discriminatoire, raciste ou sexiste de certains groupes, en particulier des personnes migrantes et réfugiées.

L’an dernier, la France s’est targuée sur la scène internationale d’être le prochain centre (« hub ») des technologies de l’intelligence artificielle (IA), culminant avec la tenue d’un sommet programmé pour février 2025. Parallèlement, elle a légalisé les technologies de surveillance de masse et constamment sapé les négociations portant sur la législation de l’UE sur l’IA.

« La France s’appuie sur un système algorithmique de notation des risques pour les prestations sociales qui met en lumière, soutient et ancre les préjugés et la discrimination de la bureaucratie. Or, elle devrait veiller à respecter ses obligations en matière de droits humains, en premier lieu en matière de non-discrimination. Les autorités doivent s’attaquer aux préjudices actuels et existants liés à l’IA, alors que le pays cherche à devenir un centre international dans ce domaine », a déclaré Agnès Callamard.   

En vertu de la réglementation de l’Union européenne sur l’IA (Loi sur l’IA de l’UE) récemment adoptée, les systèmes d’IA utilisés par les autorités pour déterminer l’accès aux services et prestations publics essentiels sont considérés comme présentant un risque élevé pour les droits, la santé et la sécurité des personnes. Par conséquent, ils doivent répondre à des règles techniques, de transparence et de gouvernance strictes, y compris l’obligation pour les acteurs qui en déploient de procéder à une évaluation des risques en termes de droits humains et de garantir des mesures d’atténuation en amont.

Dans l’intervalle, certains systèmes, tels que ceux utilisés pour la notation sociale, sont considérés comme présentant un niveau de risque inacceptable et doivent donc être interdits.

Il est pour l’instant difficile de savoir si le système utilisé par la CNAF équivaut à un système de notation sociale, car la Loi sur l’IA reste floue quant à sa définition.

« Il est regrettable que les législateurs européens soient restés vagues dans la définition explicite de la notation sociale dans la Loi sur l’IA. La Commission européenne doit veiller à ce que ses prochaines lignes directrices apportent une interprétation claire et applicable de l’interdiction de la notation sociale, notamment en ce qui concerne les systèmes discriminatoires de détection de la fraude et d’évaluation des risques », a déclaré Agnès Callamard.

Indépendamment de sa classification au titre de la Loi sur l’IA, tout porte à croire que le système utilisé par la CNAF est discriminatoire. Les autorités françaises doivent cesser de l’utiliser et examiner les pratiques biaisées qui s’avèrent par nature préjudiciables, en particulier pour les groupes marginalisés qui sollicitent des prestations sociales.

Complément d’information

La Commission européenne publiera les lignes directrices sur la manière d’interpréter les interdictions prévues par la Loi sur l’IA avant leur entrée en application le 2 février 2025, notamment sur ce qui sera considéré comme des systèmes de notation sociale.

En août 2024, la Loi sur l’IA est entrée en vigueur. En tant que membre d’une coalition d’organisations de la société civile menée par le Réseau européen des droits numériques (EDRi), Amnistie internationale a demandé l’adoption d’une réglementation européenne sur l’intelligence artificielle qui protège et promeuve les droits fondamentaux. 

En mars 2024, Amnistie internationale relevait dans un rapport que les technologies numériques, notamment l’intelligence artificielle, l’automatisation et la prise de décisions à l’aide d’algorithmes, aggravent les inégalités dans les systèmes de protection sociale à travers le monde.

En 2021, son rapport intitulé Xenophobic Machines (« Les machines xénophobes ») révélait que des critères relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique utilisé par les autorités fiscales néerlandaises pour signaler des demandes d’allocations familiales potentiellement frauduleuses.