Virginia Eubanks déplore l’« automatisation des inégalités » à l’œuvre dans de nombreux programmes sociaux aux États-Unis, sous l’action d’algorithmes prétendument « neutres ».
To read an English version of this interview, click here.
L’intitulé de l’ouvrage de Virginia Eubanks est d’une transparence cristalline. Automating Inequality: How High-tech Tools Profile, Police, and Punish the Poor annonce la couleur dès sa couverture : il sera en effet question, tout au long de ces 300 pages, de la façon dont les outils technologiques les plus perfectionnés reproduisent et amplifient les discriminations à l’encontre des plus pauvres. Pour étayer son propos, la professeure américaine de sciences politiques évoque trois exemples de programmes sociaux ayant été mis en place outre-Atlantique, programmes sociaux résumés par le toujours excellent site InternetActu : un système mis en place par l’Indiana pour automatiser l’éligibilité de candidats aux programmes d’assistance publique de l’État ; un répertoire des SDF de Los Angeles ; un système d’analyse du risque pour prédire les abus ou négligences sur enfants dans un comté de la Pennsylvanie, Allegheny. Livre remarqué aux États-Unis, l’essai de Virginia Eubanks soulève des questions qui ne manqueront pas d’agiter de multiples débats lors de l’édition 2018 de Futur.e.s, notamment au sujet du principe de « justice algorithmique ». Pour l’heure, les désaccords virulents entourant la mise en place de Parcoursup – l’exemple le plus discuté actuellement en France – prouvent que l’utilisation des algorithmes par les acteurs publics n’a pas fini de générer protestations et scepticisme. Nous avons posé plusieurs questions à Virginia Eubanks pour en savoir plus.
Futur.e.s : Vous écrivez dans votre livre que l’IA et les algorithmes sont parfois utilisés par les décideurs pour éviter de faire des choix politiques. Pouvez-vous nous en dire plus ?
Virginia Eubanks : C’est l’un des arguments les plus importants de mon livre – nous parlons souvent des outils de prise de décision automatisée comme étant de simples instruments d’améliorations administratives. En réalité, ils sous-tendent des décisions politiques importantes et des hypothèses profondément ancrées dans leur code.
Je pense également que nous décrivons ces outils administratifs comme plus complexes qu’ils ne le sont en réalité. Les trois systèmes que j’ai étudiés dans Automating Inequality sont souvent évoqués comme s’ils étaient de la plus haute technicité scientifique. C’est particulièrement le cas avec l’Allegheny Family Screening Tool (AFST), qui a été décrit comme s’il s’agissait d’intelligence artificielle et de machine learning. En fait, il n’est pas si complexe. C’est un modèle de régression probit standard.
Je ne pense pas que tout cela soit intentionnel – les concepteurs de ces outils ne veulent pas nécessairement empêcher les gens de comprendre leur travail. Pourtant, lorsque nous écrivons et parlons de ces systèmes, nous pouvons les rendre plus complexes qu’ils ne le sont réellement. Et je pense que c’est un problème parce que cela empêche les gens normaux comme moi – je ne suis pas une data scientist ! – de comprendre ces outils. Lorsque les gens sont persuadés d’être capables de comprendre les mécanismes à l’œuvre dans des outils technologiques, ils savent par conséquent qu’ils sont capables de prendre des décisions démocratiques sur la façon dont ils devraient être utilisés.
Je tiens à ajouter qu’il est crucial que nous comprenions ces systèmes assez simples, parce que des beaucoup plus complexes sont à venir. Mais à l’heure actuelle, cela reste chose aisée : par exemple, le répertoire des SDF de Los Angeles a commencé comme une énorme feuille de calcul Google !
Ces outils deviennent de plus en plus complexes parce qu’ils sont construits sur une quantité croissante de données, non ?
C’est peut-être le cas, et quand nous arriverons à ces outils plus complexes, nous devrons nous adapter. Mais en même temps, je ne crois pas qu’il faille comprendre à la perfection ces outils pour saisir comment ils interagissent avec les décisions politiques, s’ils s’alignent – ou non – sur nos valeurs. Je suis ravie de faire partie de ce débat, mais je pense que nous devons poser les bases d’une conversation beaucoup plus large. Avec mon livre, je voulais faire entendre la voix des personnes les plus touchées par ces outils. Il est encore très rare d’entendre parler de ceux qui sont ciblés par les outils de prise de décision automatisée, les algorithmes et les modèles prédictifs les plus invasifs et intrusifs.
Les voix des communautés pauvres et populaires, des bénéficiaires d’aides sociales, des sans domicile fixe et de ceux dont les familles sont démantelées par l’État sont essentielles pour rendre les systèmes automatisés plus justes.
Selon vous, sommes-nous « mieux » protégés en Europe parce que, d’une certaine manière, les services publics – en particulier les services publics locaux – n’ont pas l’expertise et le financement nécessaires pour mettre en place ce type d’outils ? Ou peut-être nos législations sont-elles plus strictes quant à la protection des données personnelles ?
Je soupçonne que l’utilisation de ces outils aux États-Unis a à voir avec la façon dont nous avons géré la pauvreté tout au long de notre histoire. C’est pour cela que j’ai utilisé la métaphore des « digital poorhouse » – ou « hospices numériques » – dans mon livre. Notre vision punitive des services publics remonte aux années 1820, et c’est pourquoi je parle des nouveaux outils de gestion numérique de la pauvreté comme étant une « évolution » plus qu’une « révolution ». Même dans leurs formes actuelles high-tech et flashy, ces outils sont centrés sur la discipline, la diversion, le jugement moral. Aux États-Unis, nous consacrons énormément de temps et d’argent à décider qui est assez pauvre, souffre suffisamment et est moralement assez « bon » pour mériter le soutien du secteur public. Les nouveaux outils numériques amplifient simplement ces tendances. Maintenant, nous pouvons discipliner et punir à une échelle et une vitesse époustouflantes.
En France, vos systèmes politiques et sociaux sont différents, et j’imagine que vous défendez un meilleur équilibre entre l’efficacité et d’autres valeurs politiques – du moins, c’est comme cela que les progressistes aux États-Unis voient la France. Ici, nous choisissons souvent l’efficacité plutôt que des valeurs telles que la dignité, la confidentialité, la régularité de la procédure et l’autodétermination. Si je comprends bien, votre relation avec les services publics est très différente de la nôtre. De mon côté, je peux simplement vous mettre en garde d’une chose : si vous importez ces outils, vous importerez avec eux des principes politiques américains – comment l’aide publique doit fonctionner, qui la mérite, quelles sont les valeurs à mettre en avant, etc.
À ce sujet, jetons un coup d’œil aux trois cas dont je parle dans mon livre : le cas de l’Indiana est le seul qui semble être basé sur de mauvaises intentions et un mauvais design. Dans les deux autres cas, les systèmes ont été conçus et construits par des personnes animées de bonnes intentions, des gens intelligents et préoccupés par les citoyens touchés par les outils en question. Mais à la fin, les résultats sont similaires. Cela suggère qu’il existe une « logique sociale » plus profonde ayant un impact sur ces outils aux États-Unis. Cette logique est indépendante des intentions des acteurs individuels. Elle est structurelle, basée sur l’histoire de la suprématie blanche en Amérique, sur les inégalités économiques, sur notre démocratie « limitée ».
Dans d’autres endroits du monde, le genre de cas que j’évoque dans le livre – perdre un enfant parce que vous ne pouvez pas payer ses médicaments, vivre sur le trottoir parce que vous ne pouvez pas vous loger, être affamé tout en étant entouré par l’abondance – seraient considérés comme des violations des droits de l’Homme. Aux États-Unis, nous les considérons comme des problèmes d’ingénierie.
Pourriez-vous nous expliquer pourquoi ces outils algorithmiques sont de plus en plus utilisés par les services publics aux États-Unis ? Est-ce seulement une question de progrès technologique ?
Ce n’est pas un hasard si nous voyons ces outils apparaître aux États-Unis exactement au moment où nous constatons une attaque massive contre les travailleurs sociaux. Lorsque les administrateurs et les concepteurs parlent de ces outils comme des moyens d’éliminer les discriminations en limitant la discrétion des travailleurs sociaux, c’est un tour de passe-passe un peu sournois : ils ne font que déplacer le parti pris d’un endroit à un autre. Par exemple, dans le comté d’Allegheny, l’AFST est justifié, en partie, par sa promesse de limiter la subjectivité des travailleurs sociaux, d’aider à corriger leur parti pris implicite et explicite, de compléter leurs décisions imparfaites.
Mais, dans ce cas de figure, vous ne supprimez pas le biais du processus de décision. Vous ne faites que le déplacer – en remplaçant le parti pris des travailleurs sociaux par les biais des économistes et des data scientists qui construisent les outils automatisés. Il est donc un peu malhonnête de parler de « suppression des discriminations » – il serait plus juste de dire que nous remplaçons la discrétion de la partie la plus féminine, la plus ouvrière et la plus diverse de la main-d’œuvre des services sociaux par celle d’équipes internationales d’universitaires issus de la classe moyenne.
Malgré cela, ces outils algorithmiques semblent parfois utiles dans certains secteurs d’aides sociales gangrénés par le népotisme. Qu’en pensez-vous ?
Il est vrai que dans les endroits où la corruption est endémique, les gens ont tendance à considérer la prise de décision algorithmique plus favorablement – c’est du moins mon impression. Mais bien que ces outils puissent limiter la discrimination à l’échelle individuelle, ils ont la capacité d’amplifier drastiquement les inégalités structurelles.
Et ce n’est pas tout. Les gens que j’ai rencontrés dans le comté d’Allegheny, qui étaient pour la plupart des femmes de couleur, entretenaient souvent des relations très difficiles avec les travailleurs sociaux. Malgré cela, ils m’ont toujours affirmé préférer que leur cas soit traité par un être humain imparfait plutôt que par un ordinateur parfait. Une des mamans du comté d’Allegheny m’a dit qu’elle préférait qu’une personne décide de son sort plutôt qu’un ordinateur parce que « vous ne pouvez pas parlementer avec un numéro ». Vous ne pouvez pas faire comprendre à un ordinateur que vous êtes un être humain. Tous les citoyens veulent être considérés dans leur pleine humanité, et les membres des communautés populaires savent que les outils numériques les réduisent à un ensemble de données.
Je constate qu’un profond changement philosophique est à l’œuvre, et cela m’inquiète. Il semble que de plus en plus de personnes sont convaincues que la prise de décision humaine est une boîte noire, une terre inconnue et inconnaissable – alors que la prise de décision automatisée serait en quelque sorte transparente. Pourtant, la prise de décision automatisée n’est jamais véritablement transparente parce qu’elle s’ancre dans les préjugés et les présupposés de ses concepteurs. Parallèlement, la prise de décision humaine n’a rien d’inconnaissable. Parler de la façon dont vous prenez des décisions fait partie du développement éthique de chacun.
Selon moi, mettre la prise de décision automatisée au centre de chaque processus revient à renoncer à notre responsabilité commune, celle de nous comprendre les uns les autres, d’affronter notre passé empli de discriminations. C’est très troublant, car cela revient à capituler en affirmant : « Nous ne serons jamais meilleurs qu’aujourd’hui, alors mettons notre destin entre les mains d’algorithmes. » Je ne peux pas l’accepter.
Il y a un parallèle intéressant à établir avec un débat que nous avons eu aux États-Unis dans les années 1980 au sujet des discriminations dans le domaine judiciaire – en particulier les discriminations raciales dans la détermination de la peine, discriminations qui ont dévasté les communautés afro-américaines. De cette situation sont nés plusieurs actes législatifs mettant en place des peines planchers, retirant un certain degré de discrétion aux juges. Le problème, c’est qu’au lieu d’éliminer les discriminations raciales dans le système judiciaire, cela a abouti à une explosion de l’incarcération de masse, qui a d’abord touché les communautés afro-américaines. L’ironie de cet exemple s’applique aux décisions algorithmiques : l’égalité de traitement peut exiger la discrétion humaine.
Cet exemple, comme les trois cas dont vous parlez dans votre livre, repose sur un prérequis très fort : le fait que tout phénomène social puisse être quantifiable. J’imagine que vous êtes critique de cette vision du social ?
Les gens qui s’avèrent très intelligents en ce qui concerne les données sont souvent très naïfs au sujet de l’action politique. Au sein de la communauté des data scientists les plus convaincus règne cette idée, fausse, qu’une meilleure action politique émergera inévitablement lorsque nous aurons de meilleures données. Mais ce n’est pas comme ça que l’action politique fonctionne. Des preuves solides et objectives sont essentielles, bien sûr, mais la politique ne se limite pas à cela. Il s’agit également de naviguer entre des désirs contradictoires, de mobiliser des intérêts et de raconter des histoires sur qui nous sommes, et qui nous pourrions être.
Pour conclure, diriez-vous qu’au niveau des décideurs politiques, les algorithmes sont ce que sont les tueurs à gages pour la mafia : les exécutants des basses besognes ?
Ma plus grande peur à propos de ces outils est de constater qu’ils servent de « palliatifs » à l’empathie. Aux États-Unis, nous faisons face à d’énormes problèmes. Nous dénombrons 58 000 personnes sans domicile fixe dans le comté de Los Angeles. En 2015, les pouvoirs publics ont enquêté au sujet de 2,2 millions de cas « d’abus » d’enfants – en réalité, 75 % de ces cas avaient à voir avec un manque de moyens des familles. Globalement, nous refusons de faire face à l’injustice économique, à l’injustice raciale, à la déshumanisation et à la violence. Ma peur est que face à des décisions inhumaines comme « Qui, parmi ces 58 000 SDF, va accéder à un logement ? », nous manquions l’opportunité de réfléchir profondément aux causes ayant mené à cette situation. Au lieu de cela, nous externalisons nos décisions les plus difficiles vers des ordinateurs. Cela nous permet d’échapper à nos responsabilités, et d’éviter de nous attaquer aux racines du problème.
Merci beaucoup.
Futur.e.s : Don’t you think that sometimes AI and algorithms are used by decision-makers to avoid assuming political choices?
Virginia Eubanks : I do. That is one of the most important arguments of my book – we often talk about automated decision-making tools as only embodying administrative upgrades. In fact, they carry consequential political decisions and assumptions deep within their code.
But I also think that we often describe these administrative tools as more complex than they really are. The three systems I studied and wrote about in Automating Inequality are often discussed as if they are very high-tech. That’s especially the case with the Allegheny Family Screening Tool (AFST), which has been described as if it is artificial intelligence and machine learning. In fact, it is not that complex. It is a standard probit regression model.
I don’t think this is intentional, — designers don’t necessarily mean to prevent people from understanding their work. But when we write and talk about these systems, we can make them seem more complex than they are. And I think that’s a problem because it stands in the way of normal people like me – I am not a data scientist! – believing that we can understand these tools. When people believe they can understand these tools, they know they are capable of making democratic decisions about how they should be used.
I want to add that it is crucial that we understand these fairly simple systems, because much more complex ones are coming. But right now, it’s still pretty easy: for example, the coordinated entry system I write about in Los Angeles started out as an enormous Google spreadsheet!
Do you believe these systems are going to be more and more complex because they are going to be built on an increasing amount of data?
That may be so, and when we get to those more complex systems, we’ll have to adjust. But at the same time, I don’t believe we don’t have to understand these systems perfectly to understand how they interact with our politics, how they align — or don’t — with our values. I’m excited to be part of that work, but I think we need to invite a much wider conversation. With my book, I wanted to bring the voices of the people most affected by these tools into the debate. It’s still very rare to hear from those who are targeted by the most invasive, intrusive automated decision-making tools, algorithms, and predictive models.
The voices of poor and working-class communities, public benefits recipients, the unhoused, and those whose families are broken up by the state are crucial to making automated systems in social services more just.
And do you think that we are « more » protected in Europe because, in a way, public services – especially local ones – do not have the expertise or money to implement these tools? Or maybe because our legislations are stricter?
I suspect the reason we see the kinds of tools we are using in the States has to do with the way we have managed poverty throughout our history. This is why I used the metaphor of the “digital poorhouse” in my book. Our punitive orientation towards public services goes all the way back to the 1820’s, and that’s why I talk about the new tools of digital poverty management as more “evolution” than “revolution”. Even in their high-tech and flashy current forms, these tools are all about discipline, diversion, and moral diagnosis. In the US, we spend an enormous amount of time and money deciding who is poor enough, suffering enough, and morally righteous enough to deserve public support. The new digital tools simply amplify these tendencies. Now, we can discipline and punish at a breath-taking scale and speed.
So, in France, your political and social systems are different, and I suspect that you seek more balance between efficiency and other political values – at least, that’s how progressives in the US see France. Here, we often choose efficiency over values such as dignity, privacy, due process, and self-determination. Your relationship to public services, as I understand it, is quite different than ours. The caution I would offer is that if you import these tools, you’ll import a lot of American political assumptions with them – how public support should work, who deserves it, what values to prioritise, etc.
Let’s take a look at the three cases I talk about in my book: the Indiana case is the only one that seems to be built on bad intentions and bad design. In the other two cases, the systems were conceived and built by people with good intentions, smart people who are concerned for the people their agencies serve. But in the end, the outcomes are similar. That suggests that there is a deeper “social programming” impacting these tools in the US. That deep programming is independent from the intentions of individual actors. It is structural, based in America’s history of white supremacy, economic inequity, and limited democracy.
In other places in the world, the kinds of conditions I describe in the book – losing a child to foster care because you can’t afford her medication, living on the sidewalk because you can’t afford housing, starving in a land of abundance — would be seen as human rights violations. In the US, we see them as systems engineering problems. Perhaps that kind of thinking is unique to my country, perhaps not.
Could you explain why these tools are more and more used by public services in the US? Is it only a matter of technological progress?
It is not accidental that we are seeing these tools appear in the US at exactly the same time we are seeing a massive attack on public workers. When administrators and designers talk about these systems as ways to remove bias by limiting the discretion of social workers, that’s a little bit of sleight-of-hand, a bit sneaky. Of course, they’re just moving the bias from one place to another. For example, in the Allegheny County, the AFST is justified, in part, by its promise to limit social workers’ subjectivity, help correct their implicit and explicit bias, to supplement their imperfect decisions.
But you’re not removing bias from the decision process. You’re just moving it — replacing social workers’ bias with the bias of the economists and data scientists who build the automated tools. So it is a bit dishonest to talk about “removing bias” – it’d be more accurate to say we’re replacing the discretion of the most female, most working-class, most racially diverse portion of the social services workforce with the discretion of international teams of professional middle-class academics.
Actually, some people justify replacing social workers with algorithms because it could be a way to avoid nepotism. What do you point about that point ?
My impression is that in places where corruption is rampant, people tend to see algorithmic decision-making more favourably. But while these tools may limit individual discrimination, they have the potential to drastically amplify structural inequities. And there is something more. People I talked to in Allegheny County, who were mostly women of colour, who often had very troubled relationships with caseworkers in the past would still prefer that to have their cases handled by a flawed human being than by a perfect computer. Every single one of them told me that.
One of the moms in Allegheny County told me she’d rather have a person deciding on her case than a computer because “You can’t reason with a number.” You can’t make a computer understand your humanity. All people want to be seen in their full humanity, and people in poor and working-class communities know that digital tools reduce them to a set of data points.
I am very nervous about a philosophical shift I see occurring. It seems that more and more people are convinced that human decision-making is black-boxed and unknowable whereas computerised decision-making is somehow transparent. But computerised decision-making is never that clear because its roots are sunk in its designers’ biases and assumptions. And human decision-making is not unknowable. It can be part of professional development, to talk about how you make decisions, and why – the goal is ethical development for everybody.
For me, putting computerised decision-making at the centre of every process is like renouncing our responsibility to understand each other and our history of injustice. It’s very troubling, because it’s like a capitulation to say: “We’ll never be better than we are now, more just or more fair, so let’s put our destiny into the hands of algorithms.” I’m not willing to accept that.
There’s a parallel with a debate we had in the 1980’s about judicial bias – especially racial bias in sentencing, which led to deeply discriminatory outcomes that were devastating to African American communities. So there was this movement, a strange one because it united “law and order” folks with the folks in the civil rights community who was were looking to create more racially equitable outcomes in criminal justice. The result was mandatory sentencing guidelines – in other words, to take a degree of discretion away from judges. Instead of eliminating racial bias in the criminal justice system, it led to an explosion of mass incarceration, which still has its deepest impacts on communities of colour. One of the great ironies of that example applies to algorithmic decisions: equal treatment may require human discretion. And justice may require that we sometimes bend the rules.
This example, such as the three cases you talked about in your book, roots in a very strong prerequisite: the fact that every social phenomenon can be quantifiable. What do you think about that?
People who are very clever when it comes to data are often very naïve about politics. There is this misconception inside the community of data “evangelists” that better politics will inevitably emerge when we have better data. But that’s not how politics works. Solid, objective evidence is crucial, of course, but politics is not just information systems design. It is also about navigating contradictory desires, mobilising interests, and telling stories about who we are and who we could be. It is emotional labor. Of course you want good information, but good politics also creates community and clarifies values.
To conclude, would you say that algorithms are for politicians what hitmen are for the Mafia? Meaning that they do the “dirty jobs”, letting politicians avoid accountability?
My greatest fear about these systems is that they are being used as “empathy overrides”. In the US, we’re facing enormous struggles: we have 58.000 unhoused people in Los Angeles County alone, we investigated 2.2 million child welfare cases in 2015 and 75% of them were about neglect – a family not having enough resources to support their child – not abuse. We are refusing to deal with economic inequity, with racial injustice, with dehumanisation and violence.
My fear is, when faced with inhuman decisions like “who among these 58.000 unhoused people gets access to shelter?”, we are rejecting opportunities to think deeply about how our values and policies created the homelessness in the first place. Instead, we are outsourcing our most difficult decisions to computers. It allows us to escape our responsibilities, to avoid grappling with the roots of the problem.