Monde. Les systèmes de profilage des risques utilisés pour identifier des délinquants potentiels enfreignent le droit international et doivent être interdits - nouveau rapport
Le recours étendu à des systèmes de profilage des risques par les autorités publiques, dans les domaines de l’application des lois, de la protection sociale et de la migration, est incompatible avec le droit international relatif aux droits humains et doit être interdit, écrit Amnistie internationale dans un nouveau rapport.
Le profilage des risques a pour objectif d’évaluer si une personne ou un groupe sont susceptibles d’enfreindre une loi ou une règle. Des gouvernements l’utilisent afin d’identifier de potentiels auteurs d’infractions avant que la moindre infraction ne soit commise. Ces évaluations sont de plus en plus souvent automatisées au moyen de techniques d’intelligence artificielle et ont, dans de nombreux cas, donné lieu à des violations des droits humains. C’est la première fois que le profilage des risques est soumis à une évaluation complète à l’aune de normes internationales relatives aux droits humains.
« Ce rapport montre l’impact des systèmes de profilage des risques sur les droits des personnes et avance des arguments scientifiques et juridiques que les défenseur·e·s des droits humains, les fonctionnaires, les autorités chargées des opérations de contrôle, les avocat·e·s et les juges peuvent présenter afin de contester l’utilisation de ces systèmes par des États et d’autres entités », a déclaré Alexander Laufer, spécialiste des relations entre les technologies et les droits humains à Amnistie internationale Pays-Bas.
Ces systèmes ont par exemple été déployés dans le cadre d’enquêtes effectuées au Danemark sur la fraude aux prestations sociales, du système de demande de cartes de séjour en France, du système néerlandais de détection des fraudes aux prestations sociales et du programme australien de recouvrement automatisé de créances.
Les systèmes de profilage des risques sont souvent présentés comme une méthode grâce à laquelle les États peuvent rationaliser leurs services, faire des économies, prévenir la délinquance, notamment la fraude, et contrôler la migration. Ces affirmations, qui s’appuient sur le postulat selon lequel il existe une pénurie de ressources, ont été discréditées en tant que raisonnement politique, parce qu’il s’agit d’hypothèses qui ne sont pas étayées par les faits mais sont bien utiles sur le plan politique, faisant passer la pauvreté et d’autres questions sociales - qui sont des problèmes politiques - pour un manque d’« efficacité » dont la solution réside dans le rationnement et la surveillance automatisés.
Être visé par le profilage des risques dans des contextes où les enjeux sont lourds, comme l’application des lois, la protection sociale et l’immigration, cause de graves préjudices. Des personnes sont victimes de détresse psychologique, de stigmatisation et de fausses accusations, qui peuvent mener à une privation de logement, une expulsion, une privation injuste de prestations sociales, voire à un emprisonnement.
Discriminations et effets croisés
Le rapport met aussi en évidence des effets structurels et croisés souvent négligés, liés au déploiement discriminatoire du profilage des risques, bien qu’il soit vendu par les gouvernements comme un outil objectif. Cette technologie bafoue le droit à l’égalité et celui de ne pas faire l’objet de discriminations, et crée des discriminations fondées sur l’identité raciale et l’appartenance ethnique, le genre, le statut socio-économique et le handicap.
Les groupes marginalisés sont les plus touchés. Les groupes racisés, les musulman·e·s, les personnes en mouvement, les personnes en situation de handicap ou souffrant de maladies chroniques, ainsi que les personnes aux revenus modestes, sont plus susceptibles d’être considérés comme « suspects », d’être placés sous surveillance constante et de faire au bout du compte les frais de décisions nuisibles.
« Cette situation est aggravée par un manque généralisé de transparence, qui réduit les moyens d’agir de ces personnes et les empêche de remettre en cause ces systèmes et décisions ayant un impact sur leurs droits. Cela représente aussi des risques pour les autres droits humains, tels que le droit à un procès équitable, à la présomption d’innocence, à la protection sociale, ainsi qu’à un niveau de vie suffisant et au plein respect de la dignité humaine », a déclaré Alexander Laufer.
Ces impacts discriminatoires vont au-delà des préjugés et des droits individuels. Si combattre la délinquance ou la fraude peut être une raison légitime de déployer ces systèmes, il existe tout de même un risque que ceux-ci soient utilisés de manière abusive afin de masquer une surveillance invasive à l’échelle de toute la société, et donnent lieu à des atteintes disproportionnées aux droits humains.
« La manière dont ces outils sont déployés peut résulter de stéréotypes et préjugés pré-existants qui considèrent les groupes marginalisés comme intrinsèquement criminels ou dangereux. De suspects statistiques, hypothétiques, ces individus ou groupes sont transformés en suspects avérés, ce qui donne du poids aux préjugés pré-existants ou en fabrique de nouveaux. Cela découle de discriminations systémiques existantes », a déclaré Alexander Laufer.
Une efficacité douteuse
Amnistie internationale a aussi découvert que de nombreux processus gouvernementaux relatifs à l’élaboration de systèmes de profilage ne reposent pas sur des méthodes scientifiques rigoureuses, qui préviennent généralement la production de résultats erronés ou une mauvaise interprétation. Les gouvernements décrivent souvent le profilage des risques comme une manière peu coûteuse de combattre le crime, la fraude sociale et l’immigration illégale, mais rares sont les éléments scientifiques validant ces affirmations. Les recherches effectuées montrent au contraire que ces outils sont douteux sur le plan scientifique et très souvent imprécis.
Elles indiquent que prédire si une personne se rendra coupable d’une infraction ou de fraude aux prestations sociales est une entreprise périlleuse d’un point de vue scientifique. Les données requises pour effectuer cette tâche d’une manière qui soit suffisamment qualitative et précise n’existent pas et n’existeront jamais. Par exemple, des comportements complexes tels que la délinquance ou la fraude aux prestations sociales sont extrêmement difficiles à mesurer, prévoir et confirmer. Des variables peu fiables et montrant un parti pris doivent donc être utilisées pour prédire ces comportements, telles que la réarrestation pour prédire la récidive, ou une erreur involontaire auprès de la sécurité sociale au lieu d’une demande d’indemnisation frauduleuse, ce qui expose les populations racisées et marginalisées au danger.
La validité scientifique des modèles de profilage des risques est donc très peu convaincante et peut causer de graves préjudices à certaines personnes. Cela rend par conséquent le profilage des risques difficile à justifier.
« Les tentatives visant à prédire la fraude ou la délinquance se résument souvent à considérer automatiquement des groupes et individus marginalisés comme suspects, plutôt que prendre des décisions s’appuyant sur des preuves scientifiques », a déclaré Alexander Laufer.
« Il est impossible de concevoir un algorithme de profilage des risques qui soit objectif ou neutre. Les données sur les personnes ne sont jamais objectives. Quand des gouvernements utilisent des données sociales du passé dans le but de prédire qui va commettre une infraction telle que la fraude, ils prennent inévitablement pour cibles des personnes appartenant à des groupes historiquement opprimés ou marginalisés, reproduisant et aggravant ainsi des injustices passées. Il n’existe aucune manière technique de réparer les problèmes sociétaux. »
Amnistie internationale et d’autres organisations ont recueilli des informations sur des cas montrant que les systèmes de profilage des risques associent de manière disproportionnée à des risques criminels ou financiers accrus des personnes victimes d’une ou de plusieurs formes de discrimination ou de marginalisation.
Interdire le profilage des risques
Le profilage des risques dans un but de contrôle de la migration, de la fraude aux prestations sociales et de la délinquance doit être interdit. Le profilage prédictif et les systèmes d’évaluation du risque, qu’ils s’appuient sur des données ou des règles, doivent être interdits dans les contextes où les enjeux sont considérables, même si des humain·e·s ont le dernier mot. Les États doivent en outre promulguer de nouvelles lois ou modifier la législation en vigueur afin de faire appliquer cette interdiction. En attendant la mise en œuvre de telles lois, les autorités ne doivent pas utiliser ces systèmes et doivent arrêter leur développement, leur production et leur vente.
