DIAPOSITIVES 9
Une diapositive, un lien, et six mille caractères de notes. Le cas central de l’exposé.
En 2021, Amnesty International publie Xenophobic Machines, un rapport sur l’affaire des allocations familiales aux Pays-Bas. L’exposé en reprend l’essentiel.
En 2013, l’administration fiscale néerlandaise introduit un système algorithmique pour détecter les demandes d’allocations familiales erronées ou potentiellement frauduleuses. Ce système utilise la nationalité du demandeur comme facteur de risque : les ressortissants étrangers se voient attribuer une cote plus élevée.
Les familles signalées voient leurs allocations suspendues et subissent des investigations agressives, une interprétation stricte de la loi et une politique impitoyable de recouvrement. Conséquences documentées : endettement, chômage, expulsion — les gens ne peuvent plus payer leur loyer ni rembourser leurs prêts — puis troubles de santé mentale, divorces, éclatement de familles.
1. La boucle discriminatoire. L’algorithme est conçu de façon à renforcer un préjugé institutionnel existant, en liant origine ethnique et criminalité. Ces défauts de conception sont ensuite reproduits par un mécanisme d’apprentissage automatique : le système s’adapte au fil du temps à partir de sa propre expérience, sans supervision humaine réelle. Les non-ressortissants sont donc signalés de plus en plus souvent — la discrimination initiale s’auto-alimente.
2. Le trou noir de la responsabilité. Quand le système signalait un fraudeur potentiel, un fonctionnaire devait procéder à une analyse manuelle — mais sans recevoir aucune information sur les raisons de la cote élevée. « Le système de boîte noire a abouti à un trou noir en matière de responsabilité », résume Amnesty. Pendant des années, les parents identifiés comme fraudeurs n’ont obtenu aucune réponse quand ils demandaient ce qu’ils avaient fait de répréhensible.
3. L’incitation perverse. Les autorités fiscales étaient incitées à saisir le plus de fonds possible, indépendamment de la véracité des accusations, parce qu’elles devaient prouver l’efficacité du système de décision algorithmique.
Le deuxième mécanisme est celui qui compte pour la suite de l’exposé : la « supervision humaine » existait formellement, et elle n’a rien empêché, parce que l’humain dans la boucle n’avait pas l’information nécessaire pour superviser quoi que ce soit. C’est exactement la question que pose la fiche 5 — « comment vérifier que l’humain est dans la boucle ? ».
« Il est extrêmement préoccupant de constater que les Pays-Bas ne sont pas une exception. Partout dans le monde, les États s’empressent d’automatiser la prestation de services publics, mais ce sont les catégories les plus marginalisées de la société qui en subissent les plus lourdes conséquences. » Merel Koning, Amnesty International.
Amnesty a lancé à cette occasion un Algorithmic Accountability Lab, équipe multidisciplinaire d’investigation sur les risques des systèmes automatisés de décision dans le secteur public.
Le communiqué d’Amnesty International sur Xenophobic Machines.