331 449 281, telle est la population totale des États-Unis au 1er avril 2020 selon le bureau du recensement américain. Le recensement de la population produit depuis longtemps un chiffre, toujours précis. Précis, mais par nature inexact. C’est pour la chercheuse danah boyd (@zephoria), chercheuse associée chez Microsoft et fondatrice de Data & Society (@datasociety) un symbole du grand « théâtre des données » qui se joue chaque jour sous nos yeux, expliquait-elle lors du dernier Microsoft Research Summit (voir la vidéo de sa présentation et la transcription de son intervention dans sa newsletter).

Les statistiques sont la grande science de l’État, rappelle boyd (on parlait même d’arithmétique politique). L’État produit des statistiques « données » au public qui deviennent ainsi des évidences, des faits (littéralement des « statistiques officielles »). Et lorsque les statistiques sont comprises comme des faits, le public s’attend alors à une forme d’exactitude, de précision. D’où les chiffres précis que produit le Bureau du recensement par exemple, alors qu’il sait très bien qu’un tel chiffre n’est qu’une approximation d’une réalité mouvante, tout en étant le meilleur que l’on puisse produire compte tenu des procédures utilisées. Le Bureau du recensement pourrait pourtant dire, très légitimement, que la population américaine est d’environ 331,5 millions de personnes. L’arrondi communiquerait d’ailleurs une forme d’incertitude. Ou ils pourraient produire un nombre avec des chiffres après la virgule, indiquant par là que des modèles sous-tendent les données. Mais les statisticiens ne le font pas. « Ils produisent la précision parce que la précision signale l’autorité. Parce que la précision est une norme et une attente. Parce qu’il y a une pression à la précision. »

La précision en ses limites

Le recensement est l’épine dorsale d’innombrables pratiques de création de données. Toute donnée représentative au niveau national est liée au recensement d’un pays. Le PIB, le taux d’emploi, de logement… intègrent les données de recensement. Les taux d’infection au Covid ou vaccination sont également reliés au dénombrement de la population.

Les agences statistiques sont chargées de produire des statistiques officielles destinées à être utilisées dans les décisions de politique publique et la recherche. Aux États-Unis, les données de recensement sont utilisées pour répartir les représentants politiques sur le territoire et distribuer les financements fédéraux. En d’autres termes, les données de recensement constituent « explicitement et constitutionnellement l’infrastructure de données de la démocratie ». Mais même lorsque la représentation politique n’est pas directement liée aux données de recensement, ces données sont hautement politiques et profondément contestées. C’est le cas dans de nombreux pays où la connaissance des informations sur la population relève autant de la politique que de la comptabilité. C’est ce qui a poussé les Nations Unies à créer une commission statistique en 1947 pour formaliser les normes internationales en matière de statistiques officielles, pour promouvoir la professionnalisation des statistiques nationales afin d’aider les agences statistiques à résister aux interférences politiques.

Mais la professionnalisation des statistiques nationales a également suscité une question importante : que sont les statistiques lorsqu’elles ne sont plus de l’arithmétique politique ? Qu’est-ce que tous ceux qui sont investis dans les données imaginent que les statistiques sont ?

Dans la plupart des communautés techniques, explique boyd, il est facile de considérer les statistiques comme un travail objectif, scientifique et mathématique. L’idéal de l’information objective existe parce que les décideurs apprécient de pouvoir rejeter la responsabilité sur les données. Cela permet d’éviter de questionner la politique ou la prise de décision. Cela permet de prétendre que l’utilisation des données rend les choses neutres. « C’est un raisonnement dangereux. C’est ainsi que les données deviennent des armes ».

Ce cadrage objectif masque également les origines profondément politiques de nombreuses techniques que nous considérons aujourd’hui comme acquises… La régression statistique a été inventée par Francis Galton, le père de l’eugénisme, et son intérêt pour cette technique n’était pas anodin, rappelle la chercheuse. Malgré les racines douteuses de nombreuses méthodes et pratiques statistiques, le développement de la statistique mathématique a également permis de mieux comprendre les limites et les biais des analyses. Par exemple, dans les années 1910, un groupe d’employés noirs du Bureau du recensement des États-Unis a commencé à calculer le sous-dénombrement des Noirs dans les recensements précédents. Cela a ouvert de nouvelles possibilités pour corriger les données. Au fur et à mesure que les techniques statistiques se perfectionnaient, les scientifiques ont également commencé à imaginer comment les interventions mathématiques pouvaient réparer les faiblesses intrinsèques des données.

Mais améliorer la qualité des données en les corrigeant n’allait pas de soi. Aux États-Unis, ces travaux se sont souvent heurtés à des résistances politiques. En 1957, le Congrès américain a interdit au Bureau du recensement d’utiliser l’échantillonnage dans ses principaux produits de données, alors que celui-ci permettait notamment de réduire la charge du recensement. Conscient de l’importance des personnes manquantes dans le recensement, le Bureau du recensement a tenté d’exploiter des données provenant d’autres sources et d’élaborer des modèles pour combler les lacunes dans ses propres données à l’aide d’une technique connue sous le nom d’imputation. Cette technique a également été contestée devant les tribunaux lorsque l’État de l’Utah a fait valoir que le Census Bureau n’avait pas le droit d’imputer des données, à la fois parce que l’échantillonnage était interdit par la loi et parce que l’imputation violerait l’exigence constitutionnelle d’un « dénombrement réel ». La Cour suprême a rejeté ces revendications, arguant que l’imputation n’était pas une méthode statistique, mais une technique permettant d’améliorer le comptage… elle est devenue par cette décision un arbitre des méthodes statistiques.

La donnée est politique

Les organismes statistiques sont tenus de produire des connaissances statistiques de haute qualité, mais qui décide de ce qui constitue des connaissances statistiques ? Ceux qui sont investis dans les statistiques modernes et l’avancement de la science présument que le but d’un organisme statistique est de créer des connaissances statistiques mathématiquement valides et que le résultat d’un recensement doit être la meilleure représentation quantitative possible. Mais tout le monde ne voit pas le concept de statistique sous cet angle, rappelle boyd. Pour ceux qui considèrent un recensement comme un dénombrement de toutes les personnes, alors le travail du Bureau du recensement consiste à se concentrer sur l’acte de compter et de rapporter ce qui est compté. On le voit, il y a une distinction nécessaire entre le meilleur comptage et les meilleures données.

Dès qu’on donne de l’importance aux données, elles ne peuvent jamais être neutres. « Plus les enjeux sont importants, moins ces données peuvent être objectives. Le choix même des données à collecter, la manière de les catégoriser et de les présenter révèlent des engagements idéologiques, sociaux et politiques », rappelle boyd en évoquant notamment la collecte de données sur l’origine ethnique dans le recensement américain. Si cette collecte a toujours lieu, c’est parce que les lois adoptées pendant les années 60 pour lutter contre les discriminations ont utilisé ces données pour asseoir leurs revendications et montrer les inégalités raciales qui fracturaient la société américaine. À l’inverse, la France ne collecte pas de données sur l’origine ethnique ni sur la religion. Les partisans de cette interdiction considèrent qu’elle est essentielle à la mise en place d’une société laïque sans distinction de race, mais ses détracteurs affirment que le fait de ne pas collecter ces données signifie que la France est mal équipée pour lutter contre les inégalités et le racisme. Le Liban, quant à lui, a effectué son dernier recensement en 1932. À l’époque, on a constaté qu’environ la moitié de la population était chrétienne et l’autre moitié musulmane, répartie équitablement entre sunnites et chiites. Les politiciens libanais ont rejeté à plusieurs reprises les propositions visant à effectuer un nouveau recensement. Un exemple qui illustre très bien combien la connaissance statistique est politique.

Les statistiques nous aident à connaître différents aspects de nos nations, mais ce que nous sommes en mesure de demander dépend d’une série d’engagements politiques, idéologiques et économiques, rappelle danah boyd.

Or, les recensements ne sont jamais parfaits. Les recensements oublient des gens. Il manque des gens parce qu’ils sont ailleurs et il manque des gens parce que tout le monde ne veut pas être compté. Et il manque des personnes parce que toutes les personnes ne sont pas considérées comme suffisamment légitimes pour être comptées par l’État. En d’autres termes, ils omettent des personnes pour des raisons opérationnelles, sociales et politiques.

Pour des données qui révèlent leurs défauts et leurs limites !

Lorsque les statistiques officielles sont considérées comme des données objectives fournies par l’État, on suppose qu’elles sont capables de parler d’elles-mêmes, de raconter leur propre histoire. « Mais les données ne parlent pas d’elles-mêmes. Elles ne le peuvent pas. Elles parlent au nom d’autres personnes. Et ce qu’elles disent dépend des objectifs et des intérêts de ceux qui essaient de les convaincre de parler. »

De nombreuses personnes puissantes utilisent les données pour justifier leurs décisions. Pourtant, lorsque les décideurs et les dirigeants s’appuient sur des données pour justifier leurs actions, ils veulent que les données restent conformes au message. « Pour que les données restent conformes au message, elles doivent communiquer avec précision et en toute confiance. Ces données ne peuvent pas révéler leurs propres défauts et limites, soulever des questions ou proposer des interprétations alternatives. Les données ne doivent pas être considérées comme faibles, car les données considérées comme faibles menacent la légitimité du travail statistique. » Personne ne veut de données entachées d’incertitudes, explique boyd en rapportant le travail d’une démographe qui avait tenté de communiquer des intervalles de confiance dans les données qu’elle présentait à une municipalité. La municipalité lui a demandé de revoir son travail pour revenir avec des faits !

« Tous ceux qui ont travaillé avec des données ont, à un moment ou à un autre, demandé aux données de parler pour elles-mêmes ». « Regardez les données ! » est la déclaration d’exaspération – ou d’assurance – la plus commune.

Le problème, estime boyd, est qu’il n’y a pas vraiment de place pour communiquer sur les limites des données. Trop souvent, les praticiens préfèrent ignorer l’incertitude et l’erreur, sachant que ces informations-là sèment surtout de la confusion si ce n’est de la colère. Pourtant, ceux qui sont dans les méandres de la technique et des chiffres ne peuvent pas comprendre comment quelqu’un peut éthiquement travailler avec des données et ignorer de tels signaux. Bien sûr, il y a aussi un art de présenter l’incertitude en sachant que la personne qui reçoit les données peut soit ignorer l’incertitude, soit la déformer pour simplifier le message. C’est le cas des sondages politiques notamment. Les sondeurs peuvent souligner consciencieusement que leurs résultats sont dans une marge d’erreur lorsque leurs prédictions se révèlent fausses, même s’ils savent pertinemment que leurs données ont été présentées pour suggérer un résultat définitif. À l’inverse, les climatologues tentent de communiquer de manière responsable l’incertitude de leurs modèles complexes, quand bien même leur travail risque d’être miné par l’absence de certitude qu’ils présentent.

Le Census Bureau est censé produire des faits et faire preuve de précision à la fois pour faire autorité et parce que toute communication scientifique responsable impliquant une incertitude peut être politisée. Les scientifiques et les statisticiens savent que les données ont des limites et communiquent dessus entre eux. Mais, dans l’ensemble, ceux qui s’appuient sur l’infrastructure de données de la démocratie ont tendance à ignorer les signaux d’incertitude, d’erreur ou de bruit lorsqu’ils utilisent les données. « Certains les ignorent parce qu’ils ne savent pas comment travailler avec de telles informations. D’autres les ignorent parce que leurs clients veulent entendre des faits et de la précision. D’autres encore considèrent que la discussion même de l’incertitude crée un risque de délégitimation des données. »

Pourtant, souligne danah boyd, l’illusion de données de recensement parfaites est devenue plus coûteuse que les gens ne le pensent. S’il n’est pas capable de faire face aux limites des données, le Census Bureau ne peut pas obtenir le soutien social et politique nécessaire pour introduire de nouvelles techniques susceptibles d’améliorer systématiquement les statistiques fédérales. Cela est particulièrement coûteux dans un contexte social où il est de plus en plus difficile d’inciter les gens à répondre eux-mêmes ou à partager des informations avec les représentants du gouvernement. La communauté scientifique a mis au point une série de techniques permettant d’améliorer la qualité des données malgré les limites de leur collecte, mais pour les adopter, il faut que les parties prenantes comprennent les limites et les vulnérabilités des données.

La confidentialité des données est toujours essentielle

L’une des raisons pour lesquelles les données de recensement sont imparfaites est que le public ne fait pas toujours confiance au gouvernement pour prendre soin des données. Depuis 1840, les personnes chargées du recensement aux États-Unis savent que la confidentialité est essentielle pour inciter les gens à participer au recensement. Pour le Census Bureau, la confidentialité des statistiques est une condition essentielle pour des raisons procédurales, juridiques et morales. L’impératif procédural n’a fait que croître depuis 1840, de nombreuses études ayant montré à plusieurs reprises que les gens sont réticents à répondre, notamment quand les données permettent de les identifier. Depuis plus d’un siècle, il existe des exigences légales qui empêchent l’accès aux données de recensement à des fins non statistiques. Plus récemment, lorsque des chercheurs ont découvert comment les données de recensement étaient utilisées aux États-Unis et en Europe pendant la Seconde Guerre mondiale, la communauté des statisticiens s’est engagée plus généralement à assurer une meilleure confidentialité des données.

Pour assurer la confidentialité des statistiques, le Census Bureau a fait évoluer ses procédures. Longtemps, il a choisi de ne pas publier certaines statistiques, mais, dans les années 1980, le Census Bureau a été soumis à une forte pression pour publier des données plus détaillées. Ainsi, lors du recensement de 1990, le Census Bureau a commencé à injecter du bruit dans les données publiées afin de lui permettre de publier des données sur de petites zones géographiques. Le bruit qui a été injecté n’était pas systématique, mais consistait en des modifications destinées à atténuer la visibilité des valeurs aberrantes.

Les informaticiens ont montré que ces modifications n’offraient que peu de protection et ils ont commencé à développer la « confidentialité différentielle » comme une intervention possible (voire les très bonnes explications de David Larousserie dans un article du Monde sur les avantages et limites de ces techniques). Le but est de maximiser la confidentialité et la qualité des résultats statistiques en introduisant du bruit dans les données pour éviter qu’elles ne permettent de réidentifier des personnes.

Il existe de nombreuses façons de mettre en œuvre la confidentialité différentielle, explique pédagogiquement danah boyd, mais toutes impliquent des lettres grecques servant de variables qui régissent des aspects clés du système. L’une de ces lettres – epsilon – représente le risque de perte de confidentialité dans un système de confidentialité différentielle. « Pensez-y comme à un bouton. Tournez le bouton dans un sens et les données sont plus bruyantes, mais bénéficient d’une meilleure protection de la vie privée. Si vous le tournez dans l’autre sens, le bruit diminue », mais les données deviennent plus vulnérables à la réidentification.

« La confidentialité différentielle tient 4 choses pour acquises. Premièrement, elle présume qu’il est impératif de publier des statistiques utilisables tout en protégeant la confidentialité des données sous-jacentes. Deuxièmement, elle suppose que les statistiques utilisables peuvent être comprises en termes mathématiques. Troisièmement, elle suppose que les utilisateurs de données trouvent un intérêt à connaître, comprendre et mesurer le bruit, l’erreur et l’incertitude. Quatrièmement, la confidentialité différentielle suppose que la transparence est souhaitable. »

Le Census Bureau a commencé à intégrer la confidentialité différentielle dans ses produits scientifiques en 2006, rendant ainsi disponibles pour la première fois des données auparavant inaccessibles. La communauté scientifique a applaudi. Mais le recensement décennal est différent des autres produits de données produits par le Census Bureau. Aussi, lorsque le bureau a décidé de moderniser le système de divulgation statistique utilisé pour son produit canonique, il n’a pas mesuré l’ampleur de la réaction négative qu’il recevrait. Le bureau a apprécié la possibilité d’être franc au sujet de ses procédures. Les scientifiques imaginaient que cela permettrait une meilleure gouvernance du système statistique et une meilleure prise en compte de l’incertitude. Ils pensaient que les utilisateurs seraient satisfaits. Ils ont eu tort.

Les poursuites judiciaires ont commencé avant même la publication des données du recensement. D’autres sont encore attendus. Une fois de plus, nous pouvons nous attendre à ce que la Cour suprême doive s’interroger prochainement sur ce que sont les statistiques, explique boyd. Certains opposants à la protection différentielle de la vie privée ont des préoccupations d’ordre scientifique, mais bon nombre de ceux qui contestent le droit du bureau de moderniser son système de prévention de la divulgation ne voient pas les données du recensement à travers le prisme des mathématiques. « Ils veulent que les données soient des faits, qu’elles parlent d’elles-mêmes ». Et ils considèrent que la protection de la vie privée via la confidentialité différentielle est une abomination pour avoir osé modifier les données en premier lieu. Pour compliquer encore les choses, il y a aussi des gens qui voient des opportunités politiques à combattre le bureau, quelles que soient les ramifications pour le travail statistique.

La transparence est un idéal courant en informatique, en particulier dans les domaines issus de la cryptographie, qui ont un profond engagement moral envers la transparence. De même, les mathématiciens et les informaticiens ne considèrent pas l’incertitude comme une chose à éviter, mais comme une chose à embrasser activement. Dans le cadre de cette façon de voir le monde, les progrès de la méthode scientifique visant à améliorer la qualité des données et à négocier la confidentialité des statistiques sont une aubaine pour les statistiques. Mais elles sont aussi un cauchemar politique.

Nous n’échapperons pas à la politisation des données !

L’épistémologie est l’étude de la connaissance, elle consiste à comprendre « comment nous savons ce que nous savons ». La science est la poursuite de la connaissance par le biais de méthodes et de pratiques rigoureusement définies. Historiquement, les scientifiques ont été condamnés pour hérésie et brûlés sur le bûcher, mais au 20e siècle, les scientifiques ont acquis une grande importance dans de nombreuses sociétés. Malheureusement, leur ascension n’est pas toujours bien accueillie, surtout lorsque les découvertes scientifiques sont considérées comme une menace économique ou idéologique. Dans les années 1980 et 1990, les scientifiques n’ont pas été physiquement torturés, mais leurs pratiques ont été régulièrement détournées, souvent sous le couvert d’une « science solide ».

L’abus le plus flagrant du processus scientifique s’est produit dans les domaines de la science du climat et de la santé publique, alors que l’industrie pétrolière et l’industrie du tabac s’efforçaient de semer le doute sur le consensus scientifique concernant le changement climatique et le cancer lié au tabagisme. Plus que tout, ces efforts ont perverti l’incertitude scientifique encourageant sa paralysie. Dans les années 1990, un groupe d’universitaires s’est réuni pour donner un sens à ce phénomène. Ils ont inventé le terme « agnotologie » pour décrire l’étude de l’ignorance. L’ignorance n’est pas simplement ce que nous ne savons pas encore ; elle fait également référence à la connaissance qui a été perdue et à celle qui a été volontairement polluée.

L’incertitude est au cœur du processus scientifique. Mais dans un contexte de politique publique, l’incertitude est considérée comme toxique et dangereuse. La politisation de l’incertitude pour saper le consensus scientifique au cours de cette période explique en partie pourquoi ceux qui cherchent à garantir la légitimité des statistiques fédérales rejettent souvent par défaut toute information susceptible d’ébranler la confiance dans les données. Aujourd’hui, les personnes qui s’intéressent aux données rechignent à parler d’incertitude parce que, pendant 20 ans, elles ont vu comment l’incertitude était utilisée pour saper les connaissances scientifiques et l’élaboration de politiques fondées sur des preuves.

Les données de recensement sont le produit d’un travail scientifique. Elles sont également l’infrastructure de notre société, au cœur d’innombrables politiques et pratiques. « Des vies dépendent de ces données. Des économies dépendent de ces données. La santé publique dépend de ces données. » Ceux qui utilisent les données de recensement veulent savoir qu’ils peuvent avoir confiance en ces données, qu’ils peuvent s’appuyer sur ces données dans leurs calculs. Les scientifiques qui travaillent sur ces données sont obsédés par la qualité, mais ils n’ont jamais été en mesure de produire des données parfaites. « Pourtant, plus ces données sont politisées, plus on attend d’elles qu’elles soient parfaites. Et plus on s’attend à ce qu’elles soient parfaites, plus les personnes investies dans la légitimité des données sont censées supprimer toute discussion sur l’incertitude, le bruit et l’erreur. » Ce faisant, une illusion est née.

L’illusion de la perfection, cet imaginaire statistique

« En m’appuyant sur les travaux d’autres chercheurs, je ne peux m’empêcher de considérer cette illusion comme un type d’imaginaire statistique. Dans mon esprit, un imaginaire statistique se forme lorsque des personnes construisent collectivement une vision de ce que sont les données et de ce qu’elles pourraient être. Par exemple, lorsque les auteurs de la Constitution ont imaginé de procéder à un recensement pour ancrer une démocratie et sa représentation, ils ont créé un imaginaire statistique. Les entreprises produisent également des imaginaires statistiques. Par exemple, lorsque les entreprises créent des discours parlant de tous les avantages du « big data » et de l’IA, elles produisent un imaginaire. »

Les imaginaires statistiques n’ont pourtant pas besoin d’être des fantasmes farfelus. Ils ne doivent même pas être des illusions ; ils peuvent être profondément ancrés dans la pratique, enracinés dans des objectifs pragmatiques et réalisés par des systèmes techniques. Mais ils peuvent aussi se détacher de la pratique lorsque l’illusion de ce que les statistiques devraient être est plus attrayante que la réalité de ce qu’elles sont. L’apprentissage automatique est un outil puissant, mais le fantasme selon lequel l’apprentissage automatique peut résoudre tous les problèmes de société est déconnecté de la réalité.

« La clé d’une science des données responsable est de garder l’imaginaire statistique sous contrôle ». De nombreuses personnes célèbres ont parlé des dangers de mentir à travers les statistiques, de contorsionner les statistiques pour dire des choses inappropriées. Il existe également un danger de produire un imaginaire statistique qui ne peut être réalisé. Une science des données responsable nous oblige à fonder ces conversations. Oui, les données doivent être solides. Mais les logiques techniques, culturelles et politiques qui entourent l’analyse et l’utilisation des données doivent l’être tout autant.

« Toutes les données sont fabriquées ». Elles ne sont ni immanentes, ni trouvées. L’idée que les données puissent être le produit d’un acte de comptage apolitique est chaleureuse et floue. Mais il s’agit d’une illusion. Et cette illusion masque la manière dont les catégories de données sont politiquement contestées, dont les choix en matière de collecte et de traitement nécessitent des décisions humaines. « ,Mais le plus grand problème de cette illusion est qu’elle encourage les personnes impliquées dans le travail sur les données à ignorer les limites des données afin d’apaiser un idéal de faits objectifs. Les données ne peuvent pas être traitées comme des acquis. Leurs imperfections et leur contexte doivent être pris en compte ».

Pour des données incertaines et des usages responsables !

S’engager dans l’incertitude est une entreprise risquée. Les gens ont peur de s’engager dans l’incertitude. Ils ne savent pas comment s’y prendre. Et ils s’inquiètent de la politisation de l’incertitude. Mais nous atteignons un point de bascule. En ne s’engageant pas dans l’incertitude, les imaginaires statistiques sont de plus en plus déconnectés de la pratique statistique, ce qui sape de plus en plus la pratique statistique. Et cela menace la capacité de faire du travail statistique en premier lieu. Si nous voulons que les données aient de l’importance, la communauté scientifique doit contribuer à dépasser la politisation des données et de l’incertitude pour créer un imaginaire statistique capable de prendre en compte les limites des données.

« En tant que chercheurs techniques et scientifiques du monde entier, vous avez tous un rôle à jouer », exhorte danah boyd. « Nous devons tous à nos communautés respectives de garantir un avenir plus responsable en matière de données ». « Beaucoup d’entre vous se sont déjà engagés à produire des métadonnées sur des ensembles de données afin de rendre visibles les caractéristiques de ces données. Cela devrait être une pratique courante. Mais allez un peu plus loin… Comment faites-vous pour comprendre comment les données sont utilisées ? Et que faites-vous pour vous assurer que les données sont utilisées de manière responsable ? »

La politisation des données climatiques et des données sur le cancer il y a 20 ans aurait dû être un avertissement, rappelle boyd. La politisation des données est désormais omniprésente. Elle menace la légitimité de l’infrastructure de données de la démocratie. Elle menace la capacité à comprendre les crises de santé publique. Elle menace la capacité des individus, des entreprises et des gouvernements à prendre des décisions éclairées.

Beaucoup d’entre vous ici aujourd’hui sont des constructeurs d’outils qui aident les gens à travailler avec des données. « Plutôt que de présumer que ceux qui utilisent vos outils ont une vision claire de leurs données, comment pouvez-vous créer des fonctionnalités et des méthodes qui garantissent que les gens connaissent les limites de leurs données et les utilisent de manière responsable ? Vos outils ne sont pas neutres. Les données que vos outils aident à analyser ne le sont pas non plus. Comment pouvez-vous créer des outils qui invitent à une utilisation responsable des données et qui permettent de voir quand les données sont manipulées ? Comment pouvez-vous contribuer à la création d’outils de gouvernance responsable ? »

« Certains d’entre vous ici aujourd’hui sont des chercheurs critiques, qui regardent tout cela se dérouler. Nous avons tous vu des technologies être utilisées pour mettre en œuvre des abus et réifier des inégalités structurelles. Mais soyons également prudents. Dans certains contextes, nos critiques sont détournées pour saper les infrastructures de données qui défendent la démocratie et les droits civils. Le contexte est important. Oui, nous devons examiner d’un œil critique la façon dont la technologie soutient les systèmes de pouvoir. Mais nous devons également être conscients de ceux qui profitent du doute et de l’affaiblissement de la science et des statistiques. »

Les données de recensement sont un canari dans la mine de charbon. Les controverses entourant le recensement de 2020 ne vont pas disparaître à court terme. L’imaginaire statistique des données précises, parfaites et neutres a été rompu. Et il n’y a aucun moyen de remettre le proverbial génie dans la bouteille. Rien de bon ne sortira de la tentative de trouver une nouvelle façon d’ignorer l’incertitude, le bruit et l’erreur. La réponse à l’utilisation responsable des données ne consiste pas à réparer une illusion. Il s’agit d’envisager et de projeter de manière constructive un nouvel imaginaire statistique, les yeux grands ouverts. Cela signifie que tous ceux qui s’intéressent à l’avenir des données doivent contribuer à ancrer notre imaginaire statistique dans la pratique, dans les outils et dans les connaissances. « La science responsable des données ne concerne pas seulement ce que vous faites, mais aussi ce que vous faites faire à tous ceux qui travaillent avec des données ».

Les données sont des artefacts politiques comme les autres

Derrière cette invitation puissante à interroger notre conception des données, danah boyd pointe d’autres. Dans l’édition précédente de sa newsletter, danah boyd interrogeait plus avant les limites de la visualisation des données par exemple. Elle expliquait notamment que la visualisation est profondément une question de communication. « Les choix que vous faites pour produire une visualisation déterminent la façon dont elles seront perçues. Le spécialiste en visualisation de données a le pouvoir de façonner nos perceptions. Ce qui signifie qu’il n’y a pas de visualisation neutre, pas plus qu’il n’y a de données neutres. La question pour le spécialiste en visualisation de données consiste donc à savoir ce qu’il souhaite transmettre. » Le journalisme aimerait lui aussi s’imaginer en reporter neutre, alors qu’il ne cesse de devoir prendre des décisions sur les priorités qu’il donne à certaines informations sur d’autres et sur la manière dont il va communiquer ces informations. Shannon dans sa théorie de l’information le disait d’une autre manière. L’enjeu n’est pas tant ce que le communicateur essaie de dire que ce que le destinataire est capable d’entendre. « La perte de paquets est inévitable. Le communicateur doit donc organiser l’information de manière à ce que, même avec du bruit dans le système, le destinataire puisse recevoir le message voulu. » Pour danah boyd, se concentrer sur la parole ou l’écoute forme les deux extrémités d’un spectre. Si la presse a toujours été attentive au contexte, c’est-à-dire à la manière dont les gens peuvent recevoir une histoire, aujourd’hui, elle a de moins en moins de contrôle sur celui-ci, puisque nombre de contenus ne sont plus reliés à une hiérarchie de l’information, mais deviennent de plus en plus indépendants les uns des autres.

« Les données ne parlent pas d’elles-mêmes. Elles ne sont jamais neutres. Elles ont des biais et des limites, des vulnérabilités et des incertitudes. Lorsqu’elles sont placées en position de pouvoir, elles sont souvent déformées et déformées d’innombrables façons. » Apprendre à voir véritablement les données est difficile, notamment parce que leurs faiblesses ne sont pas toujours évidentes à décoder. La visualisation peut contribuer à révéler leurs faiblesses ou les masquer.

Il y a quelques années, alors qu’elle donnait un cours d’introduction à la science des données, elle faisait travailler ses étudiants sur des données de police de la ville de New York et leur posait une question simple : quel est l’âge moyen des personnes arrêtées. Très vite la réponse fusait (27 ans) et quand elle leur demandait si c’était exact, ceux-ci émettaient mille hypothèses sociales pour en tirer du sens. Mais en leur demandant de faire une distribution des données, ils se sont rendu compte que la grande majorité des gens dans les données n’avaient pas d’âge. En comparant cette variable à celle de la date de naissance, ils se sont rendu compte que les deux variables ne correspondaient pas. L’âge est une très mauvaise clef d’entrée dans ces données. La première leçon était apprise : il est essentiel de saisir la faiblesse des données avant de leur poser des questions. « Lorsque vous construisez vos outils, quelles hypothèses faites-vous sur vos données ? Comment aidez-vous ceux qui cherchent à donner un sens aux données à en voir les limites ? Comment amadouer les données pour qu’elles montrent leurs faiblesses ? Comment encouragez-vous les utilisateurs de données à voir l’incertitude ? Ce sont des choix. »

Les données démographiques américaines sont ainsi classées géographiquement, par sexe et race. Autant de classements bien souvent difficiles. Elles ne sont pas les seules à être problématiques dès qu’on les distribue en catégories. Si nos manières de segmenter les données peuvent être guidées par des formules mathématiques, le choix de créer des segments est très directement déterminé par des considérations sociales. Une fois les catégories créées, il faut traiter les données qui ne correspondent pas aux catégories et également traiter les données qui sont déformées par les catégories, notamment à des fins politiques. Nos sociétés sont pleines d’inégalités. Or, souligne boyd, « bien que les gens imaginent l’informatique comme un grand perturbateur, l’ironie veut que nombre de nos pratiques informatiques soient davantage obsédées par la réification des catégories créées par les humains que par leur perturbation ».

L’apprentissage automatique n’est rien d’autre qu’un moyen pour identifier des catégories socialement construites et il consiste à les identifier informatiquement dans des systèmes qui, généralement, les amplifient. D’où le fait que l’IA soit si controversée. Ainsi, les systèmes apprennent rapidement que les infirmières sont des femmes et les médecins des hommes. Ils n’ont pas appris ici un fait intrinsèque, mais un fait socialement construit. Lorsqu’un modèle présentant ce biais est ensuite placé dans un système qui l’utilise, alors il a tendance surtout à renforcer ce biais. Que se passe-t-il alors ? Quand vous visualisez des données contenant des préjugés, faut-il alors concevoir un outil pour les révéler ou pour les réifier ?

Pour boyd, quand on crée une visualisation, nous devons tenir compte de la façon dont ce travail peut-être déformé pour favoriser l’ignorance, pour favoriser des perceptions erronées… « La désinformation et l’information erronée ne sont pas simplement des attaques contre le discours politique ; ce sont des attaques épistémiques conçues pour saper toutes les formes de preuves », rappelle-t-elle (« L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », rappellait Ethan Zuckerman – @EthanZ – récemment, nous invitant à nous maintenir dans l’impuissance en nous battant pour la vérité plutôt que contre le pouvoir). Pour danah boyd, ceux qui produisent des visualisations de données doivent penser comme un pirate et réfléchir à la manière de sécuriser leur travail de visualisation pour qu’il ne devienne pas un outil de désinformation.

boyd explique qu’elle est tombée amoureuse de la visualisation de données quand elle a réalisé qu’elle pouvait aider à voir des informations complexes sous un meilleur jour, comme c’est le cas notamment des visualisations interactives. « Les visualisations sont des outils puissants. Elles nous permettent d’explorer les données, de donner un sens à ce que nos données peuvent cacher sur elles-mêmes. Elles nous permettent de communiquer des données, en révélant des aspects des données qui sont difficiles à saisir. Elles peuvent également être utilisées pour affirmer l’autorité, de manière à la fois productive et dangereuse. »

Les entreprises sont dans leur pire état lorsque la conscience interne qu’elles ont d’elles-mêmes est en désaccord maximal avec la perception externe de l’entreprise. C’est par exemple le cas actuellement de Facebook. Une bonne communication consiste à aligner ces perceptions internes et externes. Le soir de l’élection de 2016, le New York Times a présenté une visualisation absurde de la probabilité de victoire de chaque candidat. Elle était binaire et montrait que Hillary Clinton allait gagner. La victoire de Trump était dans la marge d’erreur pourtant, mais ce n’est pas ce qu’a montré la visualisation. Lorsqu’on construit un outil de visualisation, trop souvent, on souhaite le montrer dans toute sa splendeur. C’est oublier que les visualisations ont du pouvoir. Elles savent transmettre des informations et amplifier certaines interprétations. Elles sont des artefacts politiques comme les autres, conclut-elle en encourageant les concepteurs à une grande humilité et à une grande responsabilité.

Image : Quelques heures avant les résultats de l’élection de 2016, les prévisions en direct du New York Times annoncent que Hillary Clinton a 82 % de chance de devenir présidente des Etats-Unis.

Les données ou la démocratie ?

Prenons encore un peu plus de hauteur, sur les enjeux de la production de données et leurs limites.

Le contrôle, la circulation et le traitement des données sont au cœur des pratiques de nos sociétés. Mais elles restent profondément opaques : nous en savons bien moins sur ceux qui recueillent les données (et comment) qu’ils n’en savent sur nous, rappelle la professeure de droit de Yale, Amy Kapczynski (@akapczynski) en introduction d’un imposant dossier sur les données et la démocratie publié par l’Institut Knight de l’université de Columbia (@knightcolumbia). Reste que ces techniques mobilisées ne sont pas sans biais et erreurs qui reproduisent et ancrent des réalités sociales plus discriminantes qu’autre chose. « Notre position dans les réseaux numériques façonne profondément nos chances dans la vie, d’une manière que nous ne comprenons que très peu et qui soulève des préoccupations importantes pour nous tous. Les pratiques de notation et de tri ne constituent pas seulement nos identités et notre accès aux médias sociaux, mais façonnent également notre capacité à accéder au crédit, à l’emploi, au logement et aux soins médicaux. Les implications sont également structurelles. Une nouvelle « fracture du big data » est apparue : « Ceux qui ont accès aux données, à l’expertise et à la puissance de traitement sont positionnés pour s’engager dans des formes de tri de plus en plus sophistiquées qui peuvent être « de puissants moyens de créer et de renforcer des différences sociales à long terme [ou nouvellement générées]. » Les défis des technologies et des formes de pouvoir qu’elles encapsulent est un nouveau défi à nos démocraties qui reposent sur des formes de partage de pouvoir, qui semble moins évident quand celui-ci, structurellement, ne le permet pas, estime Kapczynski. La datafication de nos sociétés adresse de nouveaux défis à nos démocraties.

Image : l’article introductif de Amy Kapczynski pour le Knight Institute.

Tout d’abord, les données ne sont pas seulement un matériel à traiter, mais jouent un rôle dans le rapport au peuple qui est censé gouverner. Si les données alimentent depuis longtemps les démocraties modernes, la collecte et les traitements sont désormais au cœur de nos fonctionnements démocratiques, rappelle la professeure de droit. Reste à comprendre comment ces pratiques peuvent incarner et intégrer des valeurs démocratiques, alors qu’elles sont fondamentalement opaques et techniques. Elle évoque justement l’exemple du recensement – danah boyd signe d’ailleurs avec l’historien Dan Bouk (danbouk qui tient un blog sur la question du rencensement) un autre article sur la question du bureau du recensement -, et souligne que les arbitrages sur qui compter, qui peut utiliser les données… ont toujours fait l’objet de conflits. L’évolution des choix opérés est clairement liée à des contextes politiques et idéologiques rappelant qu’il n’y a pas de neutralité technique, même dans les chiffres. Même constat quand on regarde les questions électorales et leurs implications, qui vont du découpage des circonscriptions aux modalités de vote, jusqu’aux formes les plus sophistiquées de ciblages politiques… L’exploitation des données semble transformer et accélérer « la politique comme marché », amplifiant les hiérarchies sociales existantes. Pour les professeurs de droit Bertrall Ross (@bertrall_ross) et Douglas Spencer – dans un article qui n’a pas encore été publié par le Knight -, l’accès à des données de plus en plus granulaires sur les électeurs est corrélé à un moindre investissement politique dans la mobilisation des électeurs à faible revenu, parce que ces derniers ont des taux de vote plus faibles et sont donc considérés comme de mauvais investissements, explique Kapczynski. Pour Ross et Spencer, le risque est que la baisse de la participation électorale des plus pauvres s’autorenforce. Pire, soulignent-ils, à l’ère du microciblage et de l’accès différencié aux données, l’accès et l’ouverture aux données pourraient renforcer l’exclusion plus que la limiter, défaire les projets politiques solidaires… Un plus grand accès aux données ne se traduira pas automatiquement par un élargissement de la démocratie ou par un gouvernement plus fiable ou plus digne de confiance, expliquent-ils avec inquiétude.

Le second enjeu repose sur le défi qu’adresse le secret des calculs au projet démocratique. « Nous ne pouvons pas obtenir les informations dont nous avons besoin sur les données et les systèmes d’IA en insistant simplement sur une « transparence » passive et sans médiation. Si l’accès aux données doit servir des objectifs publics, il devra être actif, sensible aux structures de pouvoir sous-jacentes et, dans de nombreux cas, conditionnel. » L’optimisme sur le potentiel libérateur qu’on a connu sur l’open access et la transparence sans limites, est derrière nous. La transparence et l’ouverture ne peuvent pas, à elles seules, créer la responsabilité et l’équité !

L’accès aux données ne signifie pas non plus accéder à des informations fiables. La transparence relève d’une forme d’idéologie, comme l’expliquait David Pozen dans un article sur la dérive idéologique de la transparence (.pdf). L’utilisation des données qui relève de l’ouverture est profondément intriquée dans des structures de pouvoir, notamment au profit de ceux qui disposent d’accès à ces données et des capacités de traitement pour les faire parler et agir. L’ère algorithmique génère surtout de nouveaux obstacles à l’accès à l’information, notamment, à nouveau, pour ceux qui sont le plus démunis, rappelle très justement Amy Kapczynski. Face à la complexité des processus et systèmes à forte intensité de données, les profanes sont laissés sur le bord de la route. « La complexité et le secret de conception ne sont qu’un aspect du problème. À mesure que les processus technologiques et de gouvernance sont devenus plus complexes, les données ont fait l’objet d’une protection juridique plus forte. » L’accès aux processus est plus compliqué que jamais du fait des secrets sur les techniques de calcul et impacte jusqu’au secteur public qui utilise des systèmes privés. La protection de la vie privée et celles relatives à la liberté d’expression sont trop souvent mobilisées pour rejeter les demandes d’information et rendent souvent impossible ou difficile la régulation publique sur les décisions de filtrage qu’opèrent les plateformes. Pour John Bowers (@john_bowers_), Elaine Sedenberg (@Elaine_Said) et Jonathan Zittrain (@zittrain), il est essentiel que les plateformes ouvrent des accès aux chercheurs, expliquent-ils dans un article sur la responsabilité des plateformes. Dans un article sur les limitations de l’accès aux données introduites par le RGPD en Europe, Mathias Vermeulen (@mathver) montre que là aussi, les chercheurs peinent à accéder aux données. Hannah Bloch-Wehba (@HBWHBWHBW) souligne quant à elle les risques que les fournisseurs privés d’outils d’analyses risquent de renforcer l’opacité des services publics et préconise des réformes sur les pratiques de passation de marchés publics qui obligeraient les contractants à l’ouverture.

Enfin, la série s’interroge également sur la gouvernance des données. Pour l’instant, les données ont été « légalement construites comme faisant partie d’un « domaine public » ouvert à la capture » par ceux qui peuvent les capturer, comme l’explique Amy Kapczynski dans The law of informational Capitalism. Au final, cette conception des données produit une forme de consentement automatisé et des conditions d’utilisation qui ne protègent pas vraiment la vie privée. D’autres contributeurs encore, comme Julie Cohen (@julie17usc), Frank Pasquale (@FrankPasquale), Aziz Huq (@aziz_huq) et Mariano-Florentino Cuéllar avancent de nombreux arguments pour démontrer l’incapacité des approches individualisées et fondées sur le consentement à permettre aux utilisateurs de comprendre ce qu’il sera fait des données qu’ils consentent à partager. « Organiser un régime réglementaire autour des droits de contrôle individuels », note Julie Cohen, « implique une structure de gouvernance atomistique et post hoc. Les utilisateurs individuels qui affirment leurs préférences pour des options prédéfinies sur des tableaux de bord modulaires n’ont ni le pouvoir ni la capacité de modifier les réseaux invisibles et préconçus d’arrangements techniques et économiques dans le cadre desquels leurs données circulent entre de multiples parties. » « Les approches structurelles, qui ne sont pas basées sur le consentement ou organisées par des logiques de choix individuels, et les approches qui sont capables d’affirmer et de s’occuper des formes structurées du pouvoir du réseau, sont essentielles pour démocratiser notre ère de données intensives. » Pasquale et Cohen préconisent donc de s’écarter radicalement des modèles réglementaires existants.

Kiel Brennan-Marquez et Daniel Susser (@internetdaniel) soutiennent que l’émergence de la phase « plateforme » du capitalisme remet en question l’existence même des marchés tels que nous les connaissons, ainsi que leur relation avec la liberté et l’efficacité. La surveillance et l’influence comportementale rendues possibles par la techno soulignent qu’il est peu probable que les marchés améliorent la liberté.

Concrètement, les enjeux que pose l’imposant dossier coordonné par Amy Kapczynski souligne que les données vont transformer en profondeur nos démocraties. Quel type de démocratie créons-nous depuis les nouvelles technologies ? Est-ce vraiment celle que nous voulons ? Ce qui est sûr, c’est que nous ne répondrons pas à ces questions sans interroger profondément et précisément ce que modifie notre rapport aux données et aux traitements quand ils sont partout autour de nous.

Hubert Guillaud

Le journaliste philosophe David Weinberger (@dweinberger, blog) étudie depuis longtemps les effets d’internet sur la connaissance. Il est actuellement écrivain en résidence (« à temps partiel et temporaire ») chez Google (et il tient un autre blog sur le sujet de l’apprentissage automatisé, lié à sa résidence). Pour le magazine Aeon (@aeonmag), il tente d’expliquer l’impact que le Machine Learning risque d’avoir sur la connaissance et sur notre rapport au monde. Son dernier livre, Everyday Chaos : Technology, Complexity, and How We’re Thriving in a New World of Possibility (Le chaos quotidien : technologie, complexité et comment nous nous épanouissons dans un nouveau monde de possibilité, non traduit, Harvard Business Review Press, 2019), est également consacré à ce sujet.

« Dans ses bons jours, le monde ressemble à un chemin de fer bien géré : les choses se passent selon des principes, des lois, des règles et des généralisations que nous, humains, comprenons et pouvons appliquer à des cas particuliers. Nous pardonnons les retards occasionnels des trains, car ils sont les exceptions qui confirment la règle. Mais à d’autres moments, nous faisons l’expérience d’un monde qui ressemble à un carambolage sur une autoroute. Les mêmes lois s’y appliquent, mais il y a tellement de facteurs à prendre en compte qu’on ne peut prédire le prochain carambolage et que nous ne pouvons pas expliquer les « détails » de celui-ci – détails qui pourraient permettre pourtant à une voiture de s’en sortir avec une aile tordue, alors qu’une autre exploserait en boule de feu. »

Nous vivons dans un monde dans lequel les interdépendances entre d’innombrables particularités dépassent le pouvoir d’explications des règles qui les déterminent. D’un côté, on maudit un résultat, de l’autre, il nous émerveille.

L’apprentissage automatique pourrait révéler que le monde quotidien est plus accidentel que régi par des règles. « Si tel est le cas, c’est parce que l’apprentissage automatique tire son pouvoir épistémologique de son absence de généralisations que nous, les humains, pouvons comprendre ou appliquer ».

« L’opacité des systèmes d’apprentissage automatique soulève de sérieuses inquiétudes quant à leur fiabilité et leur tendance à la partialité. Mais le constat brut qu’ils fonctionnent pourrait nous amener à une nouvelle compréhension et expérience de ce qu’est le monde et de notre rôle dans celui-ci. »

Et le philosophe de rappeler, avec beaucoup de clarté et de pédagogie, que l’apprentissage automatique fonctionne d’une manière radicalement différente de la programmation traditionnelle. « Les programmes traditionnels sont en effet l’apothéose de la compréhension du monde et de l’expérience », puisqu’ils reposent sur des règles, à l’image de notre compréhension d’un chemin de fer bien géré. Dans un programme traditionnel qui reconnaît des chiffres écrits à la main, le programmeur doit indiquer à l’ordinateur que 1 s’écrit comme une ligne droite verticale, 8 avec deux cercles l’un sur l’autre… Cela peut fonctionner correctement, mais le programme risque de mal reconnaître un pourcentage élevé de chiffres écrits par des mains malhabiles dans un monde imparfait. Les modèles d’apprentissage automatiques sont au contraire des programmes écrits par des programmes qui apprennent à partir d’exemples. Pour créer un modèle d’apprentissage automatique capable de reconnaître des chiffres écrits à la main, les développeurs ne disent rien à la machine des formes de ces chiffres. Ils lui donnent des milliers d’exemples de chiffres manuscrits, chacun étiqueté correctement du nombre qu’ils représentent. Le système découvre alors des relations statistiques entre les pixels qui composent les images partageant une même étiquette. Une série de pixels en ligne plus ou moins verticale ajoute un poids statistique à l’image en tant que 1, et diminue la probabilité qu’il s’agisse d’un 3.

« Dans les applications réelles d’apprentissage automatique, le nombre de réponses possibles peut dépasser de loin les 10 chiffres, la quantité de données à prendre en compte est vraiment énorme et les corrélations entre les points de données sont si complexes que nous, les humains, sommes souvent incapables de les comprendre. Par exemple, le métabolisme humain est un ensemble incroyablement complexe d’interactions et d’effets interdépendants. Imaginez donc que l’on crée un système d’apprentissage automatique capable de prédire comment le système du corps humain va réagir à des causes complexes. » Ce modèle devient alors l’endroit où médecins, chercheurs, profanes et hypocondriaques se rendent pour poser des questions et jouer à « Et si ? ». Le modèle devient alors la source la plus importante de connaissances sur le corps humain, même si nous ne pouvons pas comprendre comment il produit ses résultats.

Le risque d’un monde inexplicable

Deux histoires sont alors possibles. La première affirme que l’inexplicabilité est un inconvénient avec lequel nous devons apprendre à vivre afin d’obtenir et vivre avec les résultats utiles et probabilistes que l’apprentissage automatique génère. La seconde affirme que l’inexplicabilité n’est pas un inconvénient, mais une vérité ! Les outils d’apprentissage automatique fonctionnent parce qu’ils sont meilleurs que nous pour lire un monde trop complexe pour nous. Le succès de cette technologie nous apprend que le monde est la véritable boîte noire.

L’apprentissage automatique se déploie partout. Il est certes imparfait – notamment du fait qu’il peut amplifier les préjugés de nos sociétés -, mais nous continuons à l’utiliser quand même du fait des résultats qu’il génère. Le fait que l’apprentissage automatique réalise des exploits sans appliquer de règles est surprenant, voire gênant, pour nous, humains, tant nous avons une préférence pour les règles plutôt que pour les détails. Programmer un système pour jouer au jeu de Go sans qu’on lui indique les règles du jeu, mais en lui donnant des centaines de millions de mouvements à analyser semble assez contre-intuitif. Reste que l’apprentissage automatique est devenu bien meilleur que nous pour jouer au Go. Le processus de l’apprentissage automatique ne part pas de généralisations et ne produit pas de généralisations et ne sait pas produire d’interprétation généralisante. Il ne sait que traiter un cas par rapport à des millions d’autres, en généralisant à partir de millions de données. Ainsi, si un identificateur d’écriture n’a pas généralisé ce qu’il a appris des échantillons qui lui ont été donnés, il échouera lamentablement à catégoriser les caractères qu’il n’a jamais vus auparavant. Son incapacité à généraliser en fait un modèle inutile. Mais sa capacité à généraliser dépend toujours d’exemples spécifiques.

Les généralisations que produisent les modèles d’apprentissage automatique sont très différentes des généralisations que nous utilisons, nous humains, pour expliquer des particularités. « Nous aimons les généralisations traditionnelles, parce que (1) nous pouvons les comprendre ; (2) elles permettent des conclusions déductives ; et (3) nous pouvons les appliquer à des cas particuliers. Or, les généralisations produites par l’apprentissage automatique (1) ne sont pas toujours compréhensibles ; (2) sont statistiques, probabilistes et principalement inductives ; et (3) littéralement et pratiquement, nous ne pouvons généralement pas appliquer les généralisations qu’il produit, sauf en exécutant le modèle d’apprentissage automatique. De plus, les généralisations d’un modèle de machine learning peuvent être étrangement particulières : un motif de veines dans un scanner rétinien peut annoncer un début d’arthrite, mais seulement s’il y a 50 autres facteurs avec des valeurs spécifiques dans le dossier médical global et ces 50 facteurs peuvent varier en fonction de leur interrelation. C’est comme si vous vous demandiez comment votre voiture a évité de graves dommages lors de cette collision entre plusieurs voitures : la voiture a dû surmonter tellement de « si », de « et » et de « ou » que l’événement ne se réduit pas à une règle compréhensible que vous pourriez exprimer ou appliquer proprement à une autre situation. Ou encore, c’est comme les indices d’un meurtre mystérieux qui ne désignent le tueur que lorsqu’ils sont pris ensemble, d’une manière qui ne peut être généralisée et appliquée à d’autres affaires de meurtre. »

« Notre rencontre avec les modélisations basées sur l’apprentissage automatique ne nie pas l’existence de généralisations, de lois ou de principes. Elle nie qu’elles soient suffisantes pour comprendre ce qu’il se passe dans un univers aussi complexe que le nôtre. Les particularités contingentes, chacune affectant toutes les autres, écrasent le pouvoir explicatif des règles et le feraient même si nous connaissions toutes les règles. »

Jusqu’à présent, les lois de la science ont répondu à nos besoins. Ce que nous connaissons des lois de la gravité nous permet de procéder aux calculs nécessaires. Nous n’avons pas besoin d’une connaissance exhaustive et impossible de l’univers pour cela. Les lois et règles de la physique nous permettent de simplifier suffisamment le monde pour le comprendre, le prévoir, voire le contrôler, sans avoir besoin de nous intéresser au chaos des particularités et de leurs relations entre elles. Avec l’apprentissage automatique, nous disposons désormais d’une technologie de prédiction et de contrôle qui découle directement des innombrables interactions chaotiques simultanées de la totalité. Cette technologie a pourtant un écueil : si elle nous donne une maîtrise accrue, elle ne nous apporte pas la compréhension. Mieux, son succès même attire l’attention justement sur ce qui échappe à notre compréhension.

Pour David Weinberger, « l’apprentissage automatique pourrait briser l’engouement de l’Occident pour la certitude comme signe de la connaissance ». Comme les résultats de l’apprentissage automatique sont probabilistes, la certitude totale des résultats est bien souvent une cause de scepticisme à l’égard d’un modèle. Par nature, les résultats probabilistes de l’apprentissage automatique comportent un certain degré d’inexactitude. Nous avons désormais des systèmes puissants capables de tirer des conclusions d’innombrables détails interconnectés, même si leurs modalités nous restent impénétrables. À terme, le plus réel ne sera peut-être plus le plus immuable, le plus général, le plus connaissable… Le réel ne sera plus alors l’événement le plus simple, mais bien sa complexité même.

Le fossé de la compréhension

En 2019, à la sortie du livre, Weinberger développait la même idée sur son blog sur Medium. Pour lui, l’apprentissage automatique élargit le fossé entre la connaissance et sa compréhension. Longtemps nous avons pensé qui si nous travaillions assez durement, si nous pensions assez clairement, l’univers nous livrera ses secrets, car il est connaissable… « Mais avec l’apprentissage automatique, nous commençons à accepter que la véritable complexité du monde nous dépasse et dépasse de loin les lois et les modèles que nous concevons pour l’expliquer » Or, rappelle-t-il, nous nous considérons comme des créatures créées par Dieu et dotées de la capacité à recevoir la révélation de la vérité. Depuis la Grèce antique, nous nous définissons comme les animaux rationnels capables de voir la logique et l’ordre sous l’apparent chaos du monde. L’apprentissage automatique nous invite à remiser cette idée fondamentale. Nous ne sommes peut-être pas aussi bien adaptés à la rationalité de notre univers que nous le pensions. « L’évolution nous a donné des esprits réglés pour la survie et seulement accessoirement pour la vérité. » Pour Weinberger, nous sommes confrontés à une désillusion, à une compréhension nouvelle de nos limites, mais désormais dotés d’un pouvoir pour les dépasser. « Plutôt que de devoir toujours ramener notre monde à une taille que nous pouvons prévoir, contrôler et avec laquelle nous nous sentons à l’aise, nous commençons à élaborer des stratégies qui tiennent compte de la complexité de notre monde. »

Weinberger évoque ainsi l’utilisation des tests A/B (voir également ce que nous disions du potentiel et des limites de l’A/B testing). Il rappelle que lors de la première campagne présidentielle d’Obama, ses équipes n’ont cessé d’utiliser ces techniques pour améliorer l’engagement des visiteurs de son site web. Ses équipes ne savaient pas pourquoi certaines améliorations fonctionnaient, mais elles n’en avaient pas besoin. Il suffisait de le mesurer et de le constater. En fait, nombre de résultats de tests A/B ne s’expliquent pas, notamment quand ils montrent qu’un fond vert a plus d’effet qu’un fond bleu. Nous n’avons pas toujours le cadre mental qui explique pourquoi une version d’une publicité fonctionne mieux qu’une autre par exemple. Il est probable que les explications soient liées à des contextes précis, à des préférences multiples, fugaces et très spécifiques. « Les raisons peuvent être aussi variées que le monde lui-même ». « Pensez au lancer d’un ballon de plage. Vous vous attendez à ce que le ballon fasse un arc de cercle en se déplaçant dans la direction générale dans laquelle vous l’avez lancé, car notre modèle mental – l’ensemble des règles qui régissent la façon dont nous pensons que les choses interagissent – tient compte de la gravité et de l’élan. Si la balle va dans une autre direction, on ne rejette pas le modèle. Vous supposez plutôt que vous avez manqué un élément de la situation ; peut-être y avait-il un coup de vent, ou que votre main a glissé ».

« C’est précisément ce que nous ne faisons pas pour les tests A/B. Nous n’avons pas besoin de savoir pourquoi. » Nous n’avons pas besoin de savoir pourquoi une photo en noir et blanc, un fond vert plutôt que bleu ou une étiquette « En savoir plus » ont augmenté les dons à une campagne particulière. Nous n’avons pas même à savoir si les leçons que nous avons tirées de la publicité d’un démocrate s’avèrent ne pas fonctionner pour son adversaire républicain – et il est fort possible que ce ne soit pas le cas – ce n’est pas grave non plus, car il est assez peu coûteux d’effectuer d’innombrables tests A/B.

« Le test A/B n’est qu’un exemple de technique qui nous montre discrètement que les principes, les lois et les généralisations ne sont pas aussi importants que nous le pensions. » Au final, la complexité démontre une forme d’efficacité.

L’apprentissage automatique et le test A/B ont trois choses en commun : elles sont énormes, elles sont connectées, elles sont complexes. Leur échelle – leur immensité – leur permet d’atteindre un niveau de détail inégalé. L’un comme l’autre – contrairement à nous – se nourrissent de détails et d’unicité. La connectivité est également essentielle, notamment parce qu’elle est à l’origine même de leur complexité. « Les connexions entre les très nombreux éléments peuvent parfois conduire à des chaînes d’événements qui se terminent très loin de leur point de départ. D’infimes différences peuvent faire prendre à ces systèmes des virages inattendus. »

« Mais, nous n’utilisons pas ces technologies parce qu’elles sont énormes, connectées et complexes. Nous les utilisons parce qu’elles fonctionnent. »

L’efficacité des systèmes : une appréciation contextuelle

Cette efficacité intrinsèque cependant semble une limite que ces deux tribunes n’interrogent pas. Une efficacité pour quoi et pour qui ? Nous avons pour notre part souvent pointé les limites tautologiques de l’efficacité (par exemple, dans « Qu’est-ce que l’informatique optimise ? »).

Pointons donc vers une derrière tribune de David Weinberger qui revient sur les erreurs de l’apprentissage automatique. Cette efficacité des systèmes, c’est nous qui devons la régler, la borner, souligne-t-il.

De nombreux systèmes d’apprentissage automatique sont des classificateurs. Ils trient et classent des objets en fonction de leurs résultats. « Cette photo doit-elle être placée dans le panier des photos de plage ou non ? Cette tache sombre sur un scanner médical doit-elle être classée comme une excroissance cancéreuse ou autre chose ? » Les machines prennent des décisions sur la base de l’examen de milliers voire de millions d’exemples qui ont déjà été classés de manières fiables, entraînés. Reste que tous les systèmes font des erreurs de classements. « Un classificateur d’images pourrait penser que la photo d’un désert est une photo de plage. »

Les classificateurs font deux grands types d’erreurs. « Un classificateur d’images conçu simplement pour identifier les photos de plages peut, par exemple, placer une image du Sahara dans la catégorie « Plage » ou placer une image de plage dans la catégorie « Pas une plage ». » Les premières sont des « fausses alarmes » (les spécialistes parlent de faux positifs) et les secondes sont des « cibles manquées » (les spécialistes parlent de faux négatifs). Les taux de fausses alarmes et de cibles manquées sont importants. Dans le cas d’un scanner corporel au contrôle de sécurité d’un aéroport, celui-ci déclenche souvent des alarmes de sécurité alors que les personnes ne sont pas une menace pour la sécurité. Il ne s’agit pas nécessairement de mauvais réglages : les scanners sont réglés de manière à générer assez fréquemment de fausses alarmes. Ils sont réglés pour privilégier les fausses alarmes plutôt que les cibles manquées. L’exemple montre que fausses alarmes et cibles manquées sont interreliées et que les choix que l’on fait peser à un système dépendent des objectifs qu’on en attend, du contexte de son déploiement.

En ce sens, l’efficacité dépend donc du contexte et des réglages auxquels on procède. Fausses alarmes et cibles manquées peuvent être coûteuses, à la fois pour celui qui opère le système, comme pour ceux qui sont opérés par le système. Ces ajustements entre fausses alarmes et cibles manquées amènent à un autre niveau d’erreur, explique Weinberger : le niveau de confiance du système. Le choix de ces ajustements, la machine, elle ne peut pas vraiment y répondre. Ce sont donc les concepteurs qui décident de ce qu’ils attendent du système, des compromis à faire pour obtenir un résultat plus ou moins fiable, efficace. C’est ici que les discussions et les conversations difficiles ont lieu. « L’une des conséquences les plus utiles de l’apprentissage automatique au niveau social n’est peut-être pas seulement qu’il nous oblige, nous les humains, à réfléchir sérieusement et à voix haute à ces questions, mais que les conversations requises reconnaissent implicitement que nous ne pourrons jamais échapper entièrement à l’erreur. Au mieux, nous pouvons décider comment nous tromper de manière à atteindre nos objectifs et à traiter tout le monde aussi équitablement que possible. » Au mieux !

Pour le dire simplement, malgré ses qualités, ses performances, l’apprentissage automatique ne nous enlève pas, nous humains, du dilemme qu’il construit. Nous avons encore accès aux paramètres. C’est à nous de les fixer, c’est-à-dire de les préciser, de les réparer, de les borner ! Et donc de dire où ces systèmes peuvent être utiles et où ils ne devraient pas régir le monde.

Hubert Guillaud

« Si vous n’avez pas accès à votre score ou si vous ne savez pas qu’un score est calculé, quelle possibilité d’action vous reste-t-il ? » Aucune, explique une excellente vidéo du Data Justice Lab (@DataJusticeLab) – et on pourrait d’ailleurs ajouter, que savoir qu’on est calculé ou comment ne vous donne pas pour autant de possibilité d’actions, hélas !

Le problème de la multiplication des « scores de données » comme outils de gouvernance des administrés, explique le laboratoire de recherche de l’Ecole de journalisme de l’université de Cardiff, c’est que les citoyens ont très peu d’informations sur le déploiement de ces systèmes de scoring : ce qui empêche, pour le moment, tout débat public sur leur utilité et leurs biais. L’autre problème, bien sûr, de ces nouvelles modalités de gouvernance des usagers par les services publics (mais également par des systèmes privés), interroge les indicateurs produits (voir notamment notre article « Peut-on limiter l’extension de la « société de la notation » ?) Qu’est-ce qu’on mesure depuis ces scores ? Quelles caractéristiques sont utilisées pour déterminer des comportements ou des risques ? Et comment ces scores déterminent-ils l’affectation de ressources relative aux risques calculés ? Le problème, bien sûr, c’est que ces scores prennent bien plus en compte des facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales, ils prennent plus facilement en compte l’absentéisme des élèves que les problèmes de désorganisation à l’école…

Ces systèmes portent toujours plus d’attention sur les individus que sur les causes structurelles des problèmes sociaux, dénonce avec justesse le Data Justice Lab. Le risque, bien sûr, c’est de produire une modification profonde des relations des organismes publics avec les citoyens ou des entreprises avec leurs employés en accusant toujours les comportements individuels plutôt que les défaillances structurelles ou organisationnelles !

Scores de données : la responsabilité individuelle plutôt que les défaillances structurelles

Dans un rapport (.pdf) (qui date de décembre 2018) coordonné par Lina Dencik (@LinaDencik), Arne Hintz (@arne_hz), Joanna Redden et Harry Warne, le Data Justice Lab s’est intéressé en profondeur à l’avènement de ces « scores de données » dans les services publics du Royaume-Uni. Le rapport livre plusieurs études de cas (qui portent sur des systèmes liés à la fraude sociale, à la santé, à la protection de l’enfance, aux services sociaux comme à la police), mais souligne surtout la grande carence d’informations sur les déploiements de ces systèmes, que ce soit sur les objectifs des systèmes, les données utilisées, tout comme sur les résultats produits.

Le Data Justice Lab alerte également sur l’étendue de la collecte et du partage de données opérés par ces projets, leur manque criant de transparence, le fait qu’ils soient souvent produits sans consentement des publics cibles, sans garde-fous éthiques, sans garanties ni modalités de contestation, sans association des usagers… et surtout bien sûr, le fait qu’étiqueter quelqu’un à risque consiste essentiellement à cibler et stigmatiser les plus fragiles.

L’analyse de données automatisée est promue dans un contexte économique de baisse budgétaire, de maîtrise des finances publiques et d’amélioration des services publics. Mais, l’introduction de l’analyse de données dans les services publics conduit surtout à réduire les soins, les prestations sociales et les droits, sans que les personnes concernées n’aient la possibilité de comprendre ou contester ces mesures, comme l’ont montré les travaux de Virginia Eubanks. Ces analyses de données reposent sur des pratiques de catégorisation, de segmentation, d’évaluation et de classement des populations en fonction de divers critères dans le but d’allouer les services en conséquence de ces critères et d’identifier des risques ou comportements spécifiques. Le scoring, c’est-à-dire le résultat d’analyse de ces critères, produit des indicateurs qui permettent de rendre les catégorisations effectives. Le scoring est utilisé depuis longtemps dans le secteur financier et le crédit où on utilise non seulement des données « socialement orientées » mais également, de plus en plus, des données comportementales (usages des téléphones mobiles par exemple) ou sociales (analyse des réseaux relationnels par exemple). Ces scores se sont ensuite répandus dans les services publics, notamment dans le secteur éducatif aux États-Unis, dans la mesure de risques juridiques, les outils de contrôle aux frontières, dans la santé et les politiques sociales liées à l’enfance et la famille. Au Royaume-Uni, l’analyse et l’utilisation des scores sont, pour l’instant encore, peu documentées. La Commission de la science et de la technologie de la Chambre des communes dans un rapport (.pdf) recommande au gouvernement de produire, maintenir et publier une liste des algorithmes utilisés par les autorités, notamment là où leur impact social est majeur. Dans les faits, il semble que nous soyons encore assez loin.

Dans leur étude, le Data Justice Lab revient sur plusieurs outils déployés en Grande-Bretagne. À défaut de les observer tous, intéressons-nous à l’un d’entre eux.

À Bristol, le centre d’analyse intégré vise à permettre aux services municipaux de traiter les familles dans leur ensemble, plutôt que chaque service indépendamment. Le programme Troubled Families, lancé en 2011, vise à aider les familles en proie à d’innombrables difficultés… Pour cela, le centre a construit une base de données (Think Family) avec des informations provenant de 35 ensembles de données concernant 54 000 familles. Le but : offrir une compréhension « holistique » des familles confrontées aux problèmes sociaux.

Depuis la création de cet outil d’agrégation de données, la ville a déployé des outils de modélisation prédictive… Parmi les données collectées, il y a des informations de police, des informations scolaires (sur les absences et les exclusions notamment), des informations provenant de l’assistance sociale, de santé… Le centre d’analyse achète également des données de partenaires privés (sur les évolutions socio-démographiques des quartiers notamment). Le centre produit un score de risque pour chaque jeune de sa base de données, basé sur des données d’entraînements provenant de seulement 31 victimes confirmées des années précédentes.

Le rapport souligne que le modèle repose essentiellement sur des données négatives (fréquentation scolaire, violence domestique…) excluant des données contextuelles (par exemple, le fait qu’un enfant soit actif dans des associations, même si sa fréquentation scolaire est plus problématique). Quelque 450 travailleurs sociaux ont accès au système. Il pointe également que les résultats de ce modèle ne dispensent pas de l’avis de professionnels, mais visent surtout à permettre de comprendre les difficultés à venir pour favoriser des interventions en amont.

Le système n’est pourtant pas si optimal qu’il le promet. Par exemple, l’équipe du centre n’a pas la possibilité de corriger les données qui proviennent d’autres services, même quand elles posent problèmes. L’autre enjeu est que le système influe sur les pratiques de travail des travailleurs sociaux, notamment sur le rapport aux enfants que les scores produisent en créant des risques de mauvaise interprétation… Le vrai problème, c’est bien souvent la sur-réaction aux données, comme l’expliquait Ben Green. L’autre difficulté, c’est que le système génère ses propres boucles de rétroactions. Par exemple, un travailleur social peut avoir tendance à prévenir la police du risque élevé affecté à un enfant, mais dans le modèle lui-même, le contact avec la police est lui-même un facteur qui élève le risque ! Exemple typique de boucles de rétroactions où les scores s’alimentent les uns les autres, au risque de produire des indices encore plus problématiques qu’ils ne sont ! Enfin, rappellent les auteurs du rapport, un système de ce type oublie le travail préventif et proactif, pour favoriser des réactions à des seuils et niveaux de risques. Il concentre le travail sur certains cas, au détriment des autres. Dans un contexte d’austérité et de ressources limitées, le risque est de ne travailler qu’à partir de certains scores, qu’à certains niveaux de vulnérabilité, que depuis des alertes… Enfin, bien sûr, si le système peut identifier des besoins, reste à savoir si les structures d’aides à l’enfance peuvent y répondre ! Le risque, bien sûr, c’est qu’à mesure qu’elles perdent en moyens, les seuils d’alertes s’élèvent… Enfin, comme le pointait une étude que nous avions relayée sur les systèmes d’identification automatisés des enfants à risques par les services à l’enfance britanniques, aucun de ces systèmes de prédiction des risques ne donne de résultats probants.

Le rapport consacre également plusieurs pages au rôle que jouent des ensembles de données privées dans ces projets à destination de services publics. Il détaille notamment le cas d’Experian, une agence d’évaluation du crédit à la consommation qui dispose d’un outil de segmentation géodémographique – moteur de la personnalisation publicitaire, comme l’expliquait Tim Wu dans son livre, Les marchands d’attention – lui permettant de trier la population en segments. Mais c’est également le cas d’entreprises comme Xantura, Callcredit et Capita qui fournissent des services de profilage, de vérification d’identité ou d’évaluation des risques. Né dans les années 60, le développement des techniques de géodémographie a été financé par le ministère américain du Logement pour parvenir à mieux cibler les subventions au logement, avant d’être étendu à des usages plus commerciaux. Dans les années 80, ces travaux ont été adaptés au Royaume-Uni par Richard Webber afin de produire une classification des quartiers (Webber a fondé la division micromarketing d’Experian). Pour ses promoteurs, la géodémographie consiste à dire que l’endroit où l’on vit compte pour comprendre les valeurs, choix et comportements des consommateurs. Elle utilise de nombreuses données pour placer chaque citoyen dans une catégorie en fonction du quartier où il vit. Dans le secteur public, les autorités publiques, et surtout locales, intègrent de plus en plus souvent des données géodémographiques pour affiner les leurs. Mosaic, le produit de classement géodémographique d’Experian, classe les individus en 15 grands groupes et 66 types. Reste que si les services utilisent, les chercheurs soulignent qu’on ne sait pas grand-chose des données mobilisées par ces entreprises, ni les méthodes d’analyses qu’elles y appliquent. Experian estime détenir des informations sur 49 millions des 63 millions d’adultes du Royaume-Uni… et sait produire des taux de correspondance à 50 % avec Facebook et 35 % pour Twitter.

Vers des systèmes sans évaluation qui transforment les problèmes sociaux en problèmes individuels

La dernière partie du rapport donne la parole à différents groupes de la société civile que les auteurs ont rencontré, des associations britanniques qui travaillent dans le domaine des droits numériques, des droits sociaux, de l’éducation en les interrogeant sur leur compréhension de ces systèmes (comme Defend Council Housing, Disabled People Against Cuts, Netpol, Big Brother Watch, Open Rights Group, Involve, Liberty,British Association of Social Workers). Pour l’essentiel, celles-ci se montrent inquiètes de ces évolutions, à la fois en ce qui concerne l’étendue de la collecte, du partage, le risque de partialité et de discrimination, la possibilité de ciblage, de stigmatisation, de stéréotypie de groupes, le manque de transparence, de consentement, d’information… L’inquiétude porte notamment sur une forme de « maximisation des données » qui consiste à collecter toujours plus de données et à accroître leur partage sans grandes limites, quel que soit le caractère sensible des données. Or, nombreux rappellent que la minimisation des données est essentielle pour répondre à cette tendance. Les personnes calculées et les associations s’inquiètent de cette fluidification des données : les communautés de migrants par exemple s’inquiètent de voir leurs statuts d’immigration divulgués quand ils se rendent à l’hôpital et que celui-ci puisse être utilisé pour les exclure des soins ou les dénoncer aux services sociaux ou de police… et ont donc tendance à renoncer à se rendre dans certains services publics. Autres constats que dressent les associations, celle de la transformation du travail, notamment des travailleurs sociaux, qui passent de plus en plus de temps à collecter et renseigner les données. Les systèmes transforment la façon dont les problèmes et les solutions sont définis. Or, bien souvent, les systèmes mis en place pensent que les données sont la solution, plutôt que de s’interroger sur pourquoi et comment elles peuvent y contribuer. Beaucoup d’acteurs sont préoccupés par cette collecte extensive et plus encore par la situation de monopole qu’elle crée, renforçant la nature asymétrique du pouvoir entre les autorités et les administrés. Bien sûr, les acteurs de la société civile sont très inquiets des effets de stigmatisation, de ciblage, de stéréotypie et de discrimination que renforcent ces outils. « Les personnes bénéficiant de l’aide sociale ont toujours été particulièrement visées (par le contrôle social) et cela semble s’aggraver », estime Big Brother Watch. De quel droit étiquetons-nous quelqu’un à risque uniquement parce qu’il appartient à une famille pauvre ?, s’inquiète l’Open Rights Group. Sans compter que l’étiquetage a tendance à être durable si ce n’est permanent. Tous s’inquiètent du manque de transparence des systèmes, des critères, des calculs. Quant au consentement, il est bien souvent arraché sans que les familles n’en saisissent les implications ou ne puissent en fait s’y opposer. Tous les groupes de la société civile souhaitent une meilleure réglementation, mais peinent à en formuler les règles qui seraient nécessaires. Pour tous pourtant, ces systèmes sont politiques. L’exploitation des données est profondément liée à l’austérité. Le but n’est pas de les utiliser au service des gens, mais bien de construire une approche très technologique de la politique dans une forme d’hypersurveillance des plus en difficultés.

Dans leurs conclusions, les chercheurs soulignent la difficulté à évaluer les différents systèmes mis en place, du fait qu’aucune procédure standard n’est mise en œuvre et que leurs usages mêmes peuvent être très différents d’un acteur l’autre. Certains s’en servent pour maximiser l’information, d’autres pour calculer de nouvelles informations. Reste que tous ces systèmes se mettent en place dans des contextes d’austérité, c’est-à-dire visent à utiliser les données pour mieux définir les ressources, mais sans que ces enjeux d’affectation des ressources ne soient posés en regard du déploiement de ces systèmes de calcul. Nous entrons dans des services « riches en données, mais pauvres en ressources », comme s’en inquiétait Dan McQuillan pour Open Democracy. Si ces systèmes laissent souvent à ceux qui y accèdent des modalités d’appréciation, la limitation des ressources et la déqualification des personnels font que ces résultats limitent considérablement leur appréciation. Pour les calculés en tout cas, la manière (et les raisons) de mise en œuvre de ces systèmes reste insaisissable. Le manque de transparence demeure un problème majeur. Quand, il y a quelques modalités d’organisation de la transparence, celles-ci sont insuffisantes pour remédier à l’asymétrie de pouvoir entre les institutions et les citoyens… En tout cas, elle ne conduit pas à des possibilités de recours efficaces.

Pour les chercheurs, il est plus que nécessaire d’ouvrir ces systèmes à des audits citoyens et à des formes de participation du public. À nouveau, nombre de ces systèmes visent d’une manière disproportionnée une partie particulière de la population : ceux qui font appel aux services sociaux. Pour les chercheurs, il est nécessaire de mieux équilibrer l’utilisation des données et notamment mieux comprendre les situations où elles ne sont pas nécessaires et quand elles risquent de produire des utilisations qui vont au-delà de leurs objectifs, même ceux qui semblent vertueux, comme une vision plus intégrée des bénéficiaires. Enfin, il y a une hypothèse sous-jacente aux développements de ces systèmes : celle que l’information conduit à agir, mais sans que les actions produites par les scores soient elles-mêmes définies ! Produisent-elles des mesures plus préventives ou plus punitives ? Comment ces actions sont-elles évaluées et décidées ? Quels effets produit l’étiquetage des populations ? Et plus encore, quels effets produisent ces étiquetages de risque dans des chaînes de systèmes ?… Il est aussi nécessaire d’observer le réductionnisme que ces données produisent au détriment de la connaissance sociale et réelle des personnes, permettant à des opérateurs d’agir sans qu’ils aient la connaissance des contextes particuliers des personnes cibles. Enfin, bien sûr, ces systèmes privilégient des calculs et des réponses individuelles sans que soit interrogée la démission des réponses collectives ou structurelles que ces réponses atomisées induisent. Par exemple, nous courons le risque de mesurer l’impact des absences scolaires, mais pas les lacunes d’un accompagnement scolaire défaillant, car non financé. Ces systèmes renforcent finalement les corrélations sur les causalités et transforment les problèmes sociaux en problèmes toujours plus individuels. Les individus ne sont plus vus comme des participants à la société, mais uniquement comme des risques. Pire, bien souvent ces systèmes disqualifient les professionnels qui sont en première ligne avec ces publics… comme si finalement les données pouvaient remplacer leurs évaluations, leurs expériences, leurs compréhensions des contextes réels des familles.

Illustrons ces constats d’un autre exemple pour nous aider à comprendre. De l’autre côté de l’Atlantique, le toujours excellent Data & Society (@datasociety) vient lui de publier un rapport sur la surveillance des personnels de soins à domicile. En effet, l’État fédéral a lancé une application mobile de vérification électronique des visites (EVV) permettant de surveiller à la fois les personnels de soins et ceux qui bénéficient de leurs aides, bien souvent deux populations l’une comme l’autre marginalisées. Pour la chercheuse Alexandra Mateescu (@cariatidaa), ces systèmes de contrôle, très intrusifs, privilégient des formes de normalisation et d’efficacité au détriment des expériences vécues et des réalités de terrain. Ces applications enregistrent les heures et les déplacements des personnels de soin à domicile. L’application de suivi a rendu le travail des travailleurs du soin plus difficile et a tendu les relations entre les travailleurs et les bénéficiaires, par exemple en informant les aidants que les fonds des bénéficiaires étaient insuffisants alors qu’ils ne l’étaient pas. Ces systèmes exigent des validations permanentes et contraignantes, plusieurs fois par jour. Déployés au prétexte de fraudes – sans que leurs niveaux ne soient jamais évalués -, ces systèmes de contrôle produisent des erreurs, au détriment de ceux qui prodiguent le soin comme de leurs patients, expliquaient Virginia Eubanks et Alexandra Mateescu cet été dans une tribune pour The Guardian. Dotée de fonctions de géolocalisation (pour vérifier que les travailleurs à domicile se rendent bien au domicile des bénéficiaires), l’application signale par exemple automatiquement le fait de s’éloigner du domicile des bénéficiaires, comme pour les emmener à un rendez-vous chez le médecin, et demande de le justifier. Au final, nombre de bénéficiaires ne souhaitent plus bouger de chez eux, de peur que ces signalements ne leur fassent perdre les prestations de soins à domicile dont ils bénéficient. Une surveillance qui risque de miner le droit à l’autonomie des personnes dépendantes, rappellent les chercheuses. Le système ne surveille finalement pas seulement le personnel qui dispense des soins, mais également ceux qui en bénéficient, explique une association qui mène campagne contre la généralisation du système. Le système a également produit des retards de paiement généralisés. Rappelons au passage que l’Arkansas, où ont eu lieu les premiers déploiements de ce système, avait déjà été épinglé pour des problèmes relatifs à des systèmes d’évaluation des besoins des personnes handicapées en 2016 (voir notre article « L’État automatisé au risque d’une crise de légitimité »). Pourtant, tous les systèmes de surveillance des personnels qui fournissent des soins à domicile ne sont pas conçus de la même manière. En Californie, le syndicat des travailleurs domestiques et l’organisation pour les droits des personnes handicapées ont collaboré pour produire un système qui ne recueille pas de données de déplacements ni n’enregistre les heures passées en temps réel. En Virginie, la géolocalisation est facultative et exempte les aidants familiaux du système. En étant conçus sans prendre en compte les besoins réels des personnes, en produisant du surcontrôle, ces systèmes produisent surtout du mépris envers les populations qu’ils sont censés adresser.

Le risque, bien sûr, c’est que ces formes d’hypersurveillance se démultiplient. L’association Coworker (@teamcoworker) a récemment publié un rapport (.pdf) (et une base de données des plateformes et applications de surveillance au travail) qui revient sur l’explosion des outils d’analyse et de gestion des travailleurs. Des outils qui sapent et contournent les réglementations en matière de travail et qui ne sont pas transparents sur les données qu’ils collectent et la manière dont ils en tirent profit. Ce secteur des « Little Tech », comme les appelle CoWorker – mais qui relèvent bien plus du « bossware » – qui collecte des données sur les travailleurs, approfondit et accélère une forme d’ubérisation généralisée de l’emploi. Ce secteur met concrètement en œuvre l’infrastructure qui fait tourner l’économie, les lieux de travail et les marchés de l’emploi. Cette Little Tech qui outille notamment l’économie des petits boulots, produit des technologies d’amélioration de la productivité, en exploitant des données sensibles, sans rémunérer davantage les travailleurs, et bien souvent, en portant atteinte à leur sécurité, et sans prévenir des formes de discriminations. « L’industrie technologique n’est pas puissante à cause des produits qu’elle développe, mais parce qu’elle restructure fondamentalement les marchés du travail (…) par une surveillance sans contrôle ».

Hubert Guillaud

MAJ : Eve Zellickson (@zel_eve) pour Points, le magazine de Data & Society revient sur le vol des pourboires par les plateformes de l’économie des petits boulots. Amazon a été condamné à payer 61,7 millions de dollars pour vol de pourboire à ses chauffeurs ! Les chauffeurs ont fini par remarquer que les pourboires étaient à la baisse et s’en sont plaint. Amazon leur a répondu individuellement en soutenant qu’ils recevaient 100 % des pourboires, alors que l’entreprise les utilisait en partie pour améliorer le salaire de base que gère l’application. Zellickson note que les chauffeurs sont habitués à être en relation avec un support peu réactif face aux problèmes qu’ils rencontrent, hormis pour la livraison elle-même. Le problème de l’absence de communication réciproque et de processus clair de résolutions de conflits, dans ces applications, est au cœur de bien des problèmes, souligne la chercheuse. Signalons que ce problème ne touche pas qu’Amazon.