Toxique, sexiste, violent, abusif, harceleur… Le numérique révèle souvent ses pires aspects dans ses relations aux femmes. Le best-seller de la journaliste et activiste britannique, Caroline Criado-Perez (@CCriadoPerez), Femmes invisibles (First, 2020), s’inscrit pleinement dans ces critiques en les élargissant. Pour elle, si les femmes sont rendues aussi invisibles partout et tout le temps, c’est d’abord et avant tout parce qu’elles sont absentes des données qui construisent nos mondes. En dressant un long et éprouvant catalogue des conséquences de l’absence de prise en compte des femmes de la médecine au design, du travail à la vie civique… Criado-Perez déroule, d’une cascade de conséquence à l’autre, combien notre réalité est masculo-normée. « Les hommes confondent leur propre point de vue et la vérité absolue ».

Changer de point de vue !

« Femmes invisibles raconte ce qui se passe quand nous oublions de tenir compte de la moitié de l’humanité », sous la forme d’un long et éprouvant catalogue d’exemples, épuisants à force d’être édifiants.

Évoquons-en quelques-uns. Criado-Perez commence par exemple en racontant le travail réalisé dès 2011 par la ville de Karlskoga en Suède afin de réévaluer toutes leurs politiques publiques en les examinant sous l’angle du genre. Parmi les problèmes soulevés par cet examen, les autorités ont constaté que leur manière de déneiger les routes était sexiste ! Comme dans nombre de localités, Karlskoga déneigeait en commençant par les grandes artères et en terminant par les trottoirs et les pistes cyclables. Or, cette façon de faire n’affecte pas indifféremment les hommes et les femmes, notamment parce qu’ils ne se déplacent pas de la même façon : les femmes réalisent plus de déplacements de proximité pour prendre soin des plus jeunes ou des plus âgés. La ville de Karlskoga modifia donc l’ordre des opérations de déneigement pour donner la priorité aux piétons et aux utilisateurs de transports en commun au prétexte que conduire une voiture dans la neige est souvent plus simple que d’y pousser une poussette. L’un des effets de la mesure a été de diminuer le nombre de blessées suite à des chutes, un problème qui affectait surtout les femmes, remarquant d’ailleurs que le coût des accidents de piétons était deux fois supérieur au coût de l’entretien hivernal des routes. La planification du déneigement n’a jamais été conçue délibérément pour favoriser les hommes au détriment des femmes, souligne très justement Criado-Perez, mais relevait d’une absence de données genrées. Les hommes avaient conçu cette planification par rapport à leurs besoins, à leur vision, sans envisager que les besoins du reste de la population pouvaient être différents. D’ailleurs, trop souvent encore, les déplacements non motorisés ne sont pas considérés comme pertinents dans l’élaboration des politiques en matière d’infrastructures de déplacement, comme le montre très bien la place réduite qui leur est dévolue.

Cette prise en compte des déplacements selon le genre n’est pas propre aux pays socialement évolués du nord de l’Europe. Vienne, en Autriche, a été une municipalité soucieuse d’équité dès les années 90. Aujourd’hui, ce sont les grandes villes espagnoles qui sont à la pointe, à l’image du réseau des Fearless Cities initié par Barcelone dès 2017, qui a participé à renouveler le « municipalisme », visant à raviver la pratique politique locale en démultipliant les expériences de démocratie radicale (voir notamment Le Guide du municipalisme, Charles Léopold Mayer, 2019 qui documente nombre d’expériences de ce réseau). Criado-Perez dresse le même et accablant constat quant à l’utilisation des espaces publics. Quand ceux qui les conçoivent ne prennent pas en compte les questions de genre, ces espaces deviennent des espaces masculins par défaut. Dès les années 90, Vienne a montré que la présence des filles, dès 10 ans, diminuait dans les parcs et terrains de jeu publics du fait de leur conception. Les grands espaces ouverts poussaient les filles à abandonner l’espace aux garçons. Même constat en Suède où les responsables des villes se sont rendu compte que les financements publics allaient majoritairement aux sports dominés par les garçons. Non seulement les villes dépensaient plus pour l’équipement de sports masculins, mais les sports féminins étaient bien moins financés et bien souvent, les filles devaient dépenser plus d’argent que les garçons pour les pratiquer de façon privée – pour celles qui le pouvaient.

Un monde plus genré qu’on ne le pense

Bien sûr, il n’y a pas que l’équipement public qui se révèle plus genré qu’on ne le pense. On connaît les inégalités de genre dans le monde du travail, notamment et avant tout dans le fait que les femmes font l’essentiel du travail non rémunéré, du travail partiel, et bien sûr quand elles ont un travail rémunéré, c’est pour un salaire inférieur à celui des hommes. Trop souvent, les contraintes qui pèsent sur les femmes (maternité, charge d’enfants…) ne sont pas prises en compte par le monde du travail. Criado-Perez en donne un exemple assez simple et parlant. Une cadre et mère célibataire quand elle accepte un diner de travail le soir doit organiser par elle-même la garde de ses enfants et prendre à sa charge le coût afférent. Pour ses collègues masculins, la question ne se pose même pas. Ils peuvent même prendre une chambre d’hôtel et se la faire rembourser facilement, contrairement à la facture de la baby-sitter.

Nous ne voyons pas nos préjugés de genre, explique Criado-Perez… enfin, il faudrait plutôt dire que les hommes ne voient pas les œillères qui couvrent le regard qu’ils portent sur le social. Sans compter que nos préjugés sont bien souvent parfaitement institutionnalisés. C’est avec les auditions à l’aveugle que l’orchestre philharmonique de New York a changé sa composition, passant d’aucune femme à 45 %. Plusieurs études soulignent aussi que les évaluations de performances que pratiquent les entreprises sont plus sévères envers les femmes que les hommes, que les bonus récompensent davantage les hommes. Et c’est pire dans certains secteurs, comme le secteur financier ou les technologies. La méritocratie a bon dos ! « Si la méritocratie est une religion dans la Silicon Valley, son dieu est un étudiant blanc, de sexe masculin, qui a abandonné ses études à Harvard. Et la plupart de ses disciples le sont aussi ». Même constat à l’université : les doctorantes ont moins de chances que les doctorants de recevoir un financement, un poste… ou d’être publiées (sauf quand elles sont évaluées en double aveugle). « Le lieu de travail moderne est criblé de lacunes de genre », à l’image de la température standard des bureaux climatisés, des portes et outils trop lourds… « Le travail moderne, que ce soit en termes de localisation, d’horaires, ou de normes réglementaires, a été conçu en fonction de la vie des hommes, et il n’est plus adapté à ses objectifs », explique la militante en invitant à refondre ses règlements, ses équipements, notre culture. Criado-Perez enfile les études comme autant de preuves, toutes aussi accablantes les unes que les autres. On pourrait certes discuter du poids et de la pertinence de chaque élément, reste qu’au final, la masse qu’elle convoque fait effet et nous accable sous l’accumulation.

Plus inquiétante encore est la masse d’exemples qu’elle convoque sur la santé, comme le fait qu’on en sache assez peu sur les blessures des femmes au travail, comme celles des femmes de ménage ou des aides-soignantes. Trop souvent, les études bio-mécaniques, celles sur les troubles musculo-squelettiques, se basent sur un « homme de référence », un homme blanc entre 25 et 30 ans pesant 70 kilos, alors qu’hommes et femmes ont des métabolismes différents (qui varient également selon l’âge). Les femmes sont largement oubliées de la technologie, même quand elles en sont les clientes. Par exemple, explique la journaliste, les femmes âgées sont plus victimes de chutes que les hommes. Sur un mois de consultation aux services d’urgences américains, 71 % des patients examinés pour ce motif sont des femmes et leur taux de fractures est 2,2 fois plus élevé que les hommes. Une meta-analyse a montré que les appareils de détection de chutes ne précisent pas le sexe des porteurs, et qu’on ne connaît pas vraiment les facteurs de risques sexospécifiques. Sans compter que pour l’instant, les différents objets technologiques proposés n’ont jamais vraiment convaincu leurs porteurs et ne sont pas adaptés aux besoins et encore moins aux besoins féminins.

Ainsi, les femmes ont tendance à être plus petites et à avoir la peau plus fine que les hommes (mais également à avoir des systèmes immunitaires et hormonaux différents, un pourcentage de graisses corporelles plus élevé…) ce qui fait qu’elles sont plus sensibles aux radiations ou aux toxines que les hommes. Alors que les études ont trop tendance à observer les réactions aux produits chimiques pris isolément, les femmes ont tendance à y être exposées de multiples façons, que ce soit les produits de ménage ou cosmétique par exemple. Pour Criado-Perez, nous avons besoin de meilleures données sur l’exposition des femmes aux produits chimiques et à produire des politiques en fonction de ces enseignements. C’est un peu comme les équipements de protection individuelle, réalisés encore trop souvent selon les tailles et caractéristiques des populations masculines. Trop souvent encore, on fournit des équipements de protection de petites tailles aux femmes, plutôt que des protections conçues pour elles. Une forme d’approche unisexe… qui ne l’est pas du tout. C’est ce que dénonce également la cardiologue Nieca Goldberg dans son livre Les femmes ne sont pas de petits hommes (Women are not small men, Ballantine Books, 2002, non traduit), pointant que les maladies cardiaques des femmes sont fondamentalement différentes de celles des hommes et que trop souvent encore, en médecine, la plupart des études sur les pathologies oublient les spécificités de genre, ne considérant les femmes que comme des hommes en plus petits.

Criado-Perez creuse longuement ce problème de conception, c’est-à-dire le constat, répété, qu’on ne consulte pas les utilisateurs (et ici, les utilisatrices) avant de concevoir un produit. Que ce soit encore trop souvent pour concevoir des cuisinières adaptées aux besoins des femmes des pays en développement, à celles de claviers de pianos adaptés aux femmes (dont la taille des mains est en moyenne plus courte que celles des hommes… il existe d’ailleurs un clavier adapté, qui sans surprise reste totalement absent et du monde de la musique et de la fabrication industrielle de pianos).

Même constat par exemple avec les logiciels de reconnaissance vocale qui reconnaissent mieux les voix masculines que féminines alors que des études montrent qu’elles ont une voix nettement plus intelligible, produisent des voyelles plus longues, parlent plus lentement que les hommes, et utilisent moins de prononciations alternatives ou tronquées… Mais là encore, les banques de données d’enregistrements pour entrainer les outils sont majoritairement composées d’enregistrements de voix masculines – elles indiquent d’ailleurs assez peu le sexe des voix. Mêmes constats sur les corpus d’écrits, d’images, de vidéos… qui font tourner l’intelligence artificielle dans tous les domaines. Caroline Criado-Perez en tire un constat plutôt alarmant : « Notre savoir médical étant fortement axé sur le corps masculin, les IA pourraient compliquer les diagnostics qui concernent les femmes, au lieu de les améliorer ».

Même constat sur l’inadaptation des dispositifs de réalité virtuelle aux femmes. Il y a longtemps déjà, danah boyd avait attiré notre attention sur ce problème. En fait, pour déterminer la profondeur de champs, les hommes sont plus susceptibles de se fier à la « parallaxe du mouvement » pour percevoir la profondeur (c’est-à-dire à la façon dont un objet semble plus grand ou plus petit selon notre proximité par rapport à lui), alors que les femmes font plutôt appel à « la forme à partir des ombres » (c’est-à-dire à la façon dont l’ombre d’un point donné change quand on se déplace). Et la réalité virtuelle fait souvent un meilleur travail pour restituer la parallaxe que pour imiter les déplacements de l’ombre. Autre problème qui participe aux différences de perception des univers virtuels, explique le professeur de kinésiologie Tom Stoffregen, il y a des différences sexuelles dans l’oscillation du corps humain (et le balancement postural des femmes change même au cours du cycle menstruel)…

Dans tous les secteurs qu’elle passe en revue, les constats de blocages s’accumulent. Criado-Perez accable également le monde de l’entreprise, en évoquant par exemple les difficultés qu’a rencontrées Janica Alvarez pour lancer sa startup, Naya Health, qui proposait de réinventer le tire-lait, dominé par le monopole de l’entreprise Medela aux Etats-Unis et au Royaume-Uni. Pourtant, les investisseurs ne se sont pas précipités pour soutenir ce tire-lait, censé être plus confortable. Il faut dire que le monde de l’investissement, un secteur exclusivement masculin, n’a pas vraiment tendance à soutenir les entreprises dirigées par les femmes, comme le pointait une étude du Boston Consulting Group qui montrait que les femmes possédant des entreprises reçoivent en moyenne moitié moins d’investissements que leurs homologues masculins alors qu’elles produisent des bénéfices au moins deux fois supérieures. Le tire-lait de Naya Health quant à lui, n’était peut-être pas si révolutionnaire que cela, comme le soulignent des utilisatrices déçues. En tout cas, l’entreprise, par manque d’investissement, a visiblement tiré le rideau depuis.

Pour Caroline Criado-Perez, le grand enjeu, conclut-elle, consiste à nous mettre à produire des données genrées. Il nous faut « comprendre que la neutralité ne conduit pas automatiquement à l’égalité entre les sexes ». Nous avons besoin de plus de données et de meilleures données.

Les innombrables exemples donnés sont accablants, si accablants qu’ils donnent honte jusqu’à la science, dont on perçoit à chaque pas, combien jusqu’à présent elle peine à prendre au sérieux la question du genre. La brûlante actualité des exemples souligne combien les choses ne changent pas vraiment. Rien ne va dans notre océan de mecs, de préjugés à penser que notre point de vue est la norme et qu’il est neutre et objectif, au prétexte que les femmes ne seraient finalement que des hommes en plus petits. En cela, Femmes invisibles est un livre qui fout la honte. L’accumulation à charge produit son effet.

Reste à savoir si améliorer les données, comme le propose Criado-Perez, suffira. Si ce pas semble nécessaire, il ne sera peut-être pas suffisant pour politiser cette question. D’où l’intérêt de prolonger cette lecture d’une autre, qui, elle, justement nous explique que cet enjeu n’est pas seulement une question d’attention, d’amélioration des données, mais bien une question politique.

Une science des données pour l’émancipation !

Avec Data Feminism (MIT Press, 2020, non traduit, disponible en publication ouverte), Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein), tiennent un propos un peu plus complexe et plus politique.

Pour ces deux spécialistes en science des données, la discipline a besoin du féminisme pour se réinventer. Le Féminisme des donnée est « un mode de pensée sur la donnée et sa communication informés par l’expérience directe, par un engagement à l’action et par les idées associées à la pensée féministe intersectionnelle », qui vise à déconstruire les systèmes de pouvoir, de privilège et d’oppression. A l’heure où les données façonnent le monde et notre relation au monde, il est temps de s’intéresser très précisément à celles-ci, soulignent D’Ignazio et Klein. En cela, le féminisme de la donnée n’est pas seulement un livre, il se veut aussi un mouvement, une réflexion politique, un mode d’action sur le monde. C’est un livre sur qui a le pouvoir et qui ne l’a pas, un livre sur les conséquences de ces différentiels de pouvoir pour les mettre en évidence et les changer.

La science des données a besoin du féminisme pour mettre fin à la spirale d’injustices qu’elle participe à bâtir, expliquent D’Ignazio et Klein. Pour les deux chercheuses, les corps manquent dans les données qu’on collecte. La science des données pense qu’elle peut produire le monde sans les convoquer. Que son objectivité et sa neutralité nécessitent d’appliquer une froide raison sur tout calcul. C’est tout le contraire dont nous avons besoin, expliquent les chercheuses : les problèmes structurels ne peuvent être exposés qu’en les regardant sous l’angle spécifique des personnes et des corps. Nous devons compter ce qui ne l’est pas, notamment parce que les données et le pouvoir s’alignent trop souvent. Ramener les corps des gens, des femmes, des personnes de couleurs, des marginalisés dans les discussions et les décisions, suppose bien sûr, comme le disait déjà Sasha Costanza-Chock de savoir quelles données sont collectées, par qui et pourquoi.

L’histoire est ancienne, mais reste fameuse : quand Andrew Pole, data scientist chez Target, a mis au point un algorithme de prévision de la grossesse des clientes pour favoriser des campagnes marketing dédiées, il a montré que les corps peuvent être exploités sans que les personnes visées n’aient leur mot à dire sur cette exploitation. Target a utilisé son capital de données pour consolider son pouvoir sur ses clientes, sans leur consentement. Les décisions prises du point de vue des données sont trop souvent utilisées pour amplifier les inégalités et asymétries d’information que le contraire. En se basant sur une liste de produits que les femmes enceintes achètent, Target était capable de calculer un score de prévisibilité de grossesse, que l’entreprise a utilisé sans tenir compte des impacts et conséquences sur ses clientes. C’est justement sur les conséquences des décisions qui sont prises sur les gens, par-devers eux, qu’une approche des données par l’émancipation est essentielle. Klein et D’Ignazio déploient un propos qui va à l’encontre de la manière dont on valorise les données aujourd’hui. L’enjeu n’est pas leur transparence ou leur ouverture, qui profitent trop souvent à ceux-là mêmes qui profitent également de leur opacité, mais bien à la libération des personnes que les données calculent : libérer les gens plutôt que de seulement libérer les données !

Un point de vue neutre ne l’est jamais

Cet exemple souligne l’asymétrie profonde de la data science aujourd’hui : la collecte et l’analyse de données se déroulent sans avoir à rendre de compte aux personnes et groupes concernés et ce d’autant plus que ces groupes et personnes sont le moins en capacité de se défendre. En data science, les femmes et les groupes les plus marginalisés sont absents des équipes qui décident : et personne ne pense que c’est un problème ! A la suite de Donna Haraway, les chercheuses rappellent qu’un point de vue neutre ne l’est jamais. Si nous voulons parler d’objectivité en data science, alors nous devons porter attention à la perspective par défaut que défend cette prétendue objectivité. Klein et D’Ignazio défendent une co-libération plutôt qu’une responsabilité (qui consiste à libérer les gens plutôt qu’à libérer les données), la justice plus que l’éthique, l’équité plus que la loyauté, la réflexivité plus que la transparence, la compréhension de l’histoire, de la culture et du contexte plus que la compréhension des algorithmes.

Le féminisme des données repose sur 7 principes qui dirige son action :

• Examiner le pouvoir : le féminisme des données commence par l’analyse du fonctionnement du pouvoir.
• Défier le pouvoir : Le data féminisme s’engage à remettre en question les structures de pouvoir inégales et à œuvrer pour la justice.
• Valoriser l’émotion et l’incarnation. Le féminisme des données nous apprend à valoriser de multiples formes de connaissances, y compris celles qui proviennent des personnes en tant que corps vivants et sensibles dans le monde.
• Repenser le binarisme et les hiérarchies. Le féminisme des données nous oblige à remettre en question le binaire du genre, ainsi que d’autres systèmes de comptage et de classification qui perpétuent l’oppression.
• Adopter le pluralisme. Le féminisme des données insiste sur le fait que la connaissance la plus complète provient de la synthèse de perspectives multiples, la priorité étant donnée aux modes de connaissance locaux, autochtones et expérientiels.
• Tenir compte du contexte. Le féminisme des données affirme que les données ne sont pas neutres ou objectives. Elles sont le produit de relations sociales inégales, et ce contexte est essentiel pour mener une analyse précise et éthique.
• Rendre le travail visible. Le travail de la science des données, comme tout travail dans le monde, est le travail de nombreuses mains. Le féminisme des données rend ce travail visible afin qu’il soit reconnu et valorisé.

Data Feminism n’est pas seulement un propos sur les femmes ou le genre. C’est une réflexion sur l’émancipation par la science des données. La force du livre de Klein et D’Ignazio est de bâtir une réflexion politique sur les données et les calculs… de politiser la science des données sans la réduire à une injonction à l’ouverture ou à l’amélioration sans fin des données. Ce n’est pas un petit pas de côté !

Comme Caroline Criado-Perez, les deux chercheuses pointent combien les données sont faillibles, combien elles masquent d’innombrables lacunes de connaissance. Elles reviennent par exemple sur les complications postnatales que connaissent les femmes, et notamment les femmes noires (qui, aux Etats-Unis, ont trois fois plus de risque de mourir d’une complication postnatale que les femmes blanches). Ces différences structurelles sont connues depuis longtemps des associations comme Black Mamas, mais moins au-delà. La presse s’y est certes intéressée (Propublica par exemple), mais ni le détail des complications ni le nombre de femmes noires qui étaient concernées n’étaient détaillés. En 2018, USA Today montrait qu’il n’y avait pas de système national de suivi des complications subies pendant la grossesse et l’accouchement (voir également l’infographie), ni de système de rapport pour s’assurer que les hôpitaux respectaient les normes de sécurité (alors que ces modalités de reporting existent pour d’autres types d’opérations). Ce que nous choisissons de mesurer montre avant tout ce à quoi nous portons de la valeur. Ou pour le dire autrement, « ce que nous tolérons indique ce que nous sommes vraiment« , comme le disait Caterina Fake. Or, bien souvent, les problèmes de pouvoir structurels, systémiques, sont invisibles tant que les gens qui y sont confrontés ne les mettent pas à jour. Pour les deux chercheuses, l’invisibilité est un produit de la science des données et de la « matrice de domination » (un concept que forgea la sociologue Patricia Hill Collins) qui s’imposent à tous et plus encore à ceux qui sont à l’intersection de genre, de race, d’identité, de capacité, d’origine… des systèmes d’oppression.

Il faut prendre conscience de l’éléphant qui se cache dans les data centers. Pas plus les données que ceux qui pratiquent cette science ne sont représentatifs. « Les risques encourus lorsque des personnes issues de groupes dominants créent la plupart de nos produits de données – ne sont pas seulement que les ensembles de données soient biaisés ou non représentatifs, mais d’abord qu’ils ne soient jamais collectés du tout ». Comme le dénonce l’artiste Mimi Onuoha depuis son projet de Bibliothèque de jeux données manquants : qui montre un classeur rempli de dossiers de données vides. Le livre de Criado-Perez comme la fondation Data2X pointent très bien cette « fracture systématique des données de genre ». Pour combler ces lacunes, l’enjeu, bien sûr, consiste à développer et promouvoir un activisme des données, une forme de science des données participative pour collecter justement les données manquantes, à l’image du projet de surveillance communautaire AirBeat du quartier noir de Roxbury à Boston qui souhaitait collecter des données pour dénoncer la piètre qualité de l’air, ou de celui initié dès 1895 par la militante des droits civiques Ida B Wells sur les agressions et lynchages à l’encontre des noirs aux Etats-Unis. Les initiatives de « contre-données » sont nombreuses, à l’image du minutieux travail de Maria Salguero qui compile des informations sur les féminicides au Mexique depuis 2016. Ces initiatives comblent souvent des vides de données, des manques, des lacunes, des négligences statistiques… qui concernent trop souvent les corps minorisés qui ne détiennent pas le pouvoir. Pourtant, bien souvent, le problème n’est pas tant l’absence de données que l’inverse : les bases de données et les systèmes de données des institutions les plus puissantes sont construits sur et pour la surveillance excessive des groupes minoritaires, comme le montrait Virginia Eubanks dans son livre. Ces formes de surveillance excessives reposent souvent sur deux hypothèses erronées : croire que plus de données est toujours mieux et que les données sont neutres. Or, dans le cadre du modèle de prévision du risque de maltraitance des enfants en Pennsylvanie qu’étudiait Eubanks, la disproportion de parents pauvres dans la base de données concentre ses effets sur la pauvreté plus que sur la maltraitance. Pour Klein et D’Ignazio, « les données ne sont jamais neutres ; elles sont toujours le résultat biaisé de conditions et d’inégalités sociales, historiques et économiques ». La science des données masque souvent ses objectifs réels sous un principe d’efficacité qui ne tient pas compte de ses biais. Le système de prévision du risque de maltraitance visait avant tout à produire un mécanisme pour suppléer un personnel limité. La solution technique proposée ne visait pas tant à répondre à la maltraitance des enfants qu’à accélérer la capacité de traitement du donneur d’ordre. Comme le montrait l’exemple de Target, derrière la neutralité des déploiements techniques, les entreprises privilégient toujours leurs objectifs à ceux des personnes qu’elles sont censées servir.

Pour D’ignazio et Klein, la science des données est utilisée presque exclusivement au service du profit, de la surveillance et de l’efficacité. Cela s’explique certainement parce que les données restent coûteuses à produire et que seules les institutions puissantes peuvent les travailler. Les données servent principalement les objectifs des institutions et notamment à consolider leurs contrôles sur leurs clients. L’extractivisme de données engendre une profonde asymétrie entre ceux qui calculent et ceux qui sont calculés. Pour renverser ce paradigme, il est nécessaire d’être attentif à l’impact des données et à qui les assemble. A l’image de l’application IRTH développée par Kimberly Seals Allers, une application à destination des mères de la communauté noire, pour à la fois documenter leurs problèmes spécifiques, les mettre en avant et leur trouver des solutions adaptées. Pour D’Ignazio et Klein, comprendre et examiner qui détient le pouvoir sur les données ne sert pas seulement à comprendre, mais doit d’abord servir à contester ce pouvoir et à le changer, le renverser. Pour le dire autrement, c’est les gens et leurs corps qui doivent nous dire quelles données vont améliorer leur vie et comment. Plus encore, si la donnée ne fait qu’informer, que rendre plus efficace des formes d’extraction et de domination, alors elle rate son objectif principal : libérer celles et ceux qui sont l’objet des données et des calculs.

Co-libérer : libérer les gens plus que les données

Le Féminisme de données vise à remettre en question les structures de pouvoir. Trop souvent, « les données sont déployées pour soutenir les intérêts des personnes et des institutions en position de pouvoir ». Remédier à ce problème nécessite donc de compiler ses propres « contre-données », de cartographier l’oppression et cela ne peut se faire que depuis d’autres points de vue et donc par d’autres personnes. L’identité de ceux qui produisent les données, leur proximité avec le sujet, les conditions de la collaboration et la direction du projet sont essentielles. La science des données est essentielle pour contester le pouvoir, car l’examiner est essentiel. L’enjeu n’est pas tant l’équité que la co-libération, insistent les deux chercheuses. Le travail mené par Julia Angwin et ProPublica en 2016 sur les biais des systèmes d’évaluation de risque de récidive utilisés par le système judiciaire américain a montré combien les 137 questions qui président à ces évaluations encodaient les inégalités structurelles de la société américaine. Ruha Benjamin évoque d’ailleurs le concept de « nouveau code Jim » pour évoquer combien les systèmes techniques encodent le racisme de la société américaine. « Les données sont toujours le produit de relations sociales inégales ». Comme l’explique Ben Green dans son livre, l’apprentissage automatique prédit plus le passé que l’avenir. Le problème est que les résultats de ces calculs sont activement promus comme objectifs ou neutres, alors qu’ils ne le sont pas. Et cela devient bien plus difficile à mesure que les calculs sont barricadés dans des boîtes noires inscrutables, protégées derrière le droit des sociétés, et donc nécessitant de construire ses propres ensembles de données pour contourner leur inaccessibilité.

Pourtant, si l’analyse et la dénonciation de l’oppression des données peuvent obliger les institutions à rendre des comptes, l’efficacité de la production de contre-données ne suffit pas. Les données de Maria Salguero sur les féminicides ont eu besoin d’être complétées par des commissions gouvernementales, des rapports d’ONG et des décisions de tribunaux pour produire des effets concrets. Les contre-données ne suffisent donc pas à produire du changement, d’autant plus que les données et les calculs sont toujours considérés comme moins partiaux que les individus, plus objectifs par nature. Mais ce n’est le cas que parce que les perspectives de ceux qui les produisent passent pour la valeur par défaut. L’objectivité n’est pourtant pas immanente.

L’éthique des données vise à produire de la responsabilité et de la transparence pour remédier à ce manque d’objectivité. Mais pour les chercheuses, les termes posent problème. Il nous faut passer de concepts qui sécurisent (et entérinent le pouvoir) à des concepts qui le défient, expliquent-elles en nous invitant à modifier les concepts que nous utilisons dans les discussions sur l’utilisation des données et des algorithmes. En passant de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu est de sortir de la recherche de solutions technologiques aux problèmes que pose la technologie.

Image : traduction du tableau de synthèse proposé par Klein et D’Ignazio des principes du Féminisme des données.

Pour D’Ignazio et Klein, ce tableau ne signifie pas par exemple que l’éthique n’a pas sa place dans la science des données ou que la question des biais ou de la transparence ne devrait pas être abordée, mais que ces concepts ne suffisent pour rendre compte des causes profondes de l’oppression et limitent finalement l’éventail de réponses pour démanteler l’oppression ! C’est un moyen de remettre de la politique là où certains tentent de l’ôter pour mieux conserver le pouvoir. La capacité à dépolitiser les questions n’est que le privilège de ceux qui ont déjà le pouvoir. D’où la nécessité de parler de justice plutôt que d’éthique, d’équité plus d’égalité comme nous y invitait Sasha Costanza-Chock. Le biais par exemple n’est pas un concept suffisamment fort pour ancrer les idées d’équité et de justice. En effet, pour l’éviter, on a tendance à vouloir enlever les humains de la boucle de décision, au motif que leurs préjugés personnels seraient la principale raison de la continuation des discriminations. Mais ce raisonnement suppose que le racisme par exemple serait plus le fait de mauvais acteurs individuels que de structures ou de systèmes. Alors qu’en fait, remplacer les travailleurs sociaux – qui sont souvent des femmes voire des femmes de couleur, qui font preuve d’empathie et de capacités d’écoute – par des systèmes automatisés qui appliquent un ensemble de critères rigides quelles que soient les circonstances, ne nous prémunit pas des préjugés structurels, au contraire ! « Partir du principe que c’est l’oppression qui est le problème, et non les préjugés, conduit à des décisions fondamentalement différentes sur ce sur quoi il faut travailler, avec qui il faut travailler, et quand il faut se lever et dire qu’un problème ne peut et ne doit pas être résolu par les données et la technologie. »

L’enjeu donc n’est pas tant d’ouvrir ou libérer les données, que de libérer les personnes ! La clé de cette co-libération nécessite un engagement et la croyance dans un bénéfice mutuel, tant pour les groupes dominants que pour les groupes minorisés. La libération des uns et des autres est liée. C’est ce qui motive par exemple le projet Our Data Bodies et son Digital Defense Paybook (dont nous avions déjà parlé). La co-libération nécessite également de nouveaux outils et un autre état d’esprit. « Partir du principe que l’oppression est le problème, que l’équité est la voie à suivre et que la co-libération est l’objectif souhaité conduit à des projets fondamentalement différents qui remettent en cause le pouvoir à sa source. » Cela nécessite aussi de mesurer différemment la réussite d’un projet. La réussite ne repose plus alors sur l’efficacité d’une base de données, la précision d’un algorithme ou la taille de la base de données, mais plutôt du degré de confiance établi, du partage du pouvoir et des ressources, de l’ampleur de l’apprentissage de ceux qui y participent, de la transformation des personnes et des organisations par le processus, de la quantité d’inspiration nouvelle engendrée ! Des objectifs qui sont certes plus flous à mesurer, mais qui peuvent l’être tout de même !

Lorsque Gwendolyn Warren et les chercheurs du Detroit Geographic Expedition and Institute dans les années 70 ont recueilli des données sur les accidents de voiture impliquant les enfants noirs à Détroit, ils l’ont fait pour que les chercheurs rendent à la communauté les connaissances qu’ils exploitaient et permettent à la communauté de créer une stratégie pour combattre les discriminations qu’elle subissait. Pour Warren, l’éducation était un mécanisme d’autonomisation et de transformation.

Pour y parvenir, il faut encore que les femmes comme les personnes de couleurs soient plus nombreuses dans les salles de classe de la science des données, alors que 80 % des professeurs en IA et que 66 % des professeurs d’informatique et de statistiques sont des hommes. Cela nécessite aussi de s’extraire de la croyance que tout cela ne serait qu’une question technique. Pour Laurie Rubel (@Laurie_Rubel), à l’origine du projet Local Lotto (voir également ici), l’enjeu est d’enseigner autrement les mathématiques en tenant compte de l’équité. Laurie Rubel a proposé à des élèves du secondaire de répondre à la question : est-ce que la loterie est bonne pour votre quartier ? Les billets de loterie ont une production sociale. Ils sont bien plus achetés par les travailleurs à bas salaires que par les plus riches. Lors de ces exercices, les élèves devaient parcourir leur quartier pour dresser des cartographies, rencontrer des acheteurs… comprendre les enjeux. Ce travail leur a permis surtout de rétroagir sur leurs communautés, pour leur montrer combien la loterie leur était défavorable. Local Lotto utilise la science des données pour construire une approche concrète et sociale, plutôt qu’abstraite et technique et aider à permettre aux acteurs d’en prendre conscience pour y remédier. Le projet vise à adresser des problématiques d’inégalités de la vie quotidienne. Il valorise l’expérience vécue et le partage. « La justice est un voyage » qui nécessite de travailler aux problèmes que l’injustice cause. Examiner le pouvoir ne suffit pas, rappellent les deux chercheuses. Il faut aussi le remettre en question. Pour cela, il faut prendre l’oppression et l’inégalité comme une hypothèse de base pour créer des systèmes. Cela nécessite d’apprendre des communautés et de concevoir les systèmes avec elles.

Privilégier l’incarnation et l’émotion à la fausse neutralité

Contrairement à ce que l’on pense trop souvent, l’objectivité des données nécessite non pas de promouvoir une forme de neutralité immanente, mais au contraire de mieux les incarner, c’est-à-dire de mieux montrer et valoriser leur subjectivité intrinsèque. C’est ce que propose par exemple Periscopic dans sa formidable infographie sur le nombre de personnes tuées par arme à feu aux Etats-Unis. Contrairement à une présentation traditionnelle du phénomène, l’infographie de Periscopic valorise l’émotion en permettant d’accéder aux informations individuelles sur chaque personne tuée par arme à feu aux Etats-Unis et en totalisant le nombre moyen d’années volées à toutes ces vies !

Cette approche a généré certaines critiques. Alberto Cairo, auteur d’un livre sur la visualisation de données, The Truthful Art (New Riders, 2016, non traduit), estime que l’infographie de Periscopic instrumentalise une cause par l’émotion, alors que la visualisation doit rester neutre ! Dans A Unified Theroy of Information Design (Routledge, 2013, non traduit), Nicole Amare et Alan Manning, expliquent que la visualisation doit rester neutre. La sobriété est nécessaire pour que les lecteurs interprètent les résultats par eux-mêmes. Dans le domaine de la communication de données, l’ornement est souvent considéré comme suspect.

Comme le dit l’historien des sciences Theodore Porter, « la quantification est une technologie de la distance », c’est-à-dire qui met à distance sous principe d’objectivité. La neutralité en est l’idéal. C’est oublier que persuasion est partout, même dans le dépouillement de simples feuilles de calcul ou des plus simples graphiques. Haraway a pourtant été la première à souligner le lien entre l’apparente neutralité et l’objectivité des données. Pour elle, la visualisation de données encourage trop souvent à voir les phénomènes depuis nulle part – voire de loin ou d’en haut. Ce point de vue, cette « ruse », cependant présente comme neutre une perspective partielle, qui est là encore, bien souvent, la perspective du groupe dominant. Pour le grand spécialiste de statistique et de visualisation de l’information, Edward Tufte (@EdwardTufte), le concepteur de visualisation doit s’efforcer d’utiliser l’encre uniquement pour afficher les données… tout embellissement est suspect. Le minimalisme visuel est rationnel. Les éléments décoratifs sont tous suspects d’œuvrer à des formes de persuasion émotionnelle.

La recherche féministe a beaucoup critiqué cette opposition entre raison et émotion, qui vise plus à structurer et imposer des hiérarchies implicites qu’autre chose. Pour D’Ignazio et Klein, le minimalisme visuel n’est pas si neutre qu’il le clame. Trop de théoriciens et de praticiens de la visualisation de données relèvent des disciplines techniques de l’ingénierie et de l’informatique, mais oublient que tout objet, aussi neutre soit-il présenté, est rhétorique. Dans un visuel, un même constat peut être présenté de manière très différente selon sa représentation ou le discours qui l’accompagne, à l’image d’un même graphique factuel sur le chômage proposé par le New York Times, présentant les données selon un point de vue démocrate ou républicain. En fait, soulignent les chercheuses, la visualisation de données dépend toujours d’une interprétation. Les choix éditoriaux qui produisent une visualisation ont des effets de cadrage qui obscurcissent ou mettent en évidence certaines choses plutôt que d’autres. Les conventions autour du minimalisme favorisent une perception de visualisation comme étant neutre et objective. Au final, même les visualisations les plus simples, les plus factuelles, ne sont pas neutres. Par contre, elles sont très persuasives.

Dans une approche féministe des données, expurger toutes traces humaines pour produire une neutralité de façade n’est pas la bonne approche. L’enjeu, au contraire, consiste à affirmer la nature située des connaissances, à affirmer leur partialité. Pour D’Ignazio et Klein, il est nécessaire de rendre les données plus « viscérales » plutôt que neutres. L’émotion n’est pas aussi irrationnelle et illégitime que beaucoup la tiennent. Notre compréhension du monde est une combinaison d’expériences, d’intuitions, de raisons et d’émotions. En 2010, Kelly Dobson a fondé le groupe de recherche Data Visceralization, avec l’objectif de produire des données à ressentir, à expérimenter avec le corps, tant physiquement qu’émotionnellement. Cette viscéralisation n’était pas qu’une expérimentation créative. Pour ceux qui ont animé ce groupe de travail, l’enjeu était de rappeler que nous ne sommes pas des yeux attachés à un cerveau. La viscéralisation des données poursuit également un but d’accessibilité : les données ne peuvent être seulement visuelles. Klein et D’Ignazio évoquent ainsi le travail du Bureau de recherche créative pour le MoMA de New York qui s’est joué (vidéo) du catalogue des 123 951 oeuvres de la collection en faisant lire le nom des artistes masculins par des hommes et ceux des artistes féminins par des femmes pour souligner la nature hautement sexuée des collections… ou encore le travail du collectif Guerrilla Girls qui soulignait que pour entrer au Metropolitan Museum of Art, il fallait assurément être une femme nue arguant que les femmes nues sont le principal sujet des tableaux alors que les artistes femmes, elles, sont inexistantes dans les collections. Faire des données des expériences permet de casser la vue d’ensemble que les visualisations proposent et permettent de faire l’expérience des enjeux peu à peu. L’enjeu est ici de ressentir la différence de genre plutôt que de seulement la voir, comme s’ils s’adressaient à une autre partie du cerveau.

Image : « Moins de 5 % des artistes des sections art moderne du musée sont des femmes, mais 85 % des nus sont des femmes », infographie des Guerilla Girls, 1989.

Un autre enjeu également dans les représentations visuelles, consiste à mieux faire figurer l’incertitude, comme d’arriver à montrer la fourchette d’incertitude de sondages. Lors de l’élection de Trump en 2016, les simulations produites par les sondages étaient plus incertaines dans les intentions de vote que leurs représentations. Pour Klein et D’Ignazio, le fait que nombre de graphiques aient suggéré que Clinton allait gagner tient beaucoup au refus de montrer l’incertitude que les sondages exprimaient. Ajoutez-y les biais de nos propres raccourcis mentaux qui tendent à nous faire croire que l’avance d’une candidate sur l’autre tient d’une probabilité plus forte qu’elle gagne… Et vous comprenez mieux le risque à ne pas s’ouvrir à l’incertitude des données. Pour les deux chercheuses, ces exemples doivent nous rappeler que le contexte est roi en matière de visualisation.

Interroger les classements et les catégories

Le féminisme des données oblige à sortir des dichotomies et donc à repenser les catégories et hiérarchies. De nombreux problèmes d’inégalité structurelle sont des problèmes d’échelles. Trop souvent, seul ce qui est compté compte, et ce qui n’est pas compté ne compte pas, rappellent les chercheuses. Ici, il est nécessaire également de nous défier de l’affichage de grands principes. Ainsi, quand Facebook a élargi les modalités pour indiquer son genre, cette nouveauté a été saluée comme le signe d’une grande ouverture. Pourtant, comme l’ont montré les travaux de Rena Bivens (@renabivens), Facebook a continué de résoudre le genre des utilisateurs de manière binaire pour ses clients payants. Mêmes constats en ce qui concerne la politique des « vrais noms » de Facebook qui est justifiée pour des raisons de sécurité, mais qui met activement en danger les utilisateurs les plus marginaux de la plateforme, comme l’ont montré Oliver Haimson et Anne Lauren Hoffmann, par exemple ceux qui portent des noms Amérindiens où les personnes qui cherchent à masquer leurs identités parce qu’elle peut leur porter préjudice.

Les féministes, comme les militants antiracistes et homosexuels, ont beaucoup réfléchi aux problèmes de classification, notamment parce que cela les affectait directement. La solution pourtant ne consiste pas à refuser le classement, mais à nous interroger sur la manière dont les systèmes de classification sont construits, sur la manière dont ils encodent les valeurs et jugements, sur comment ils sont construits et dans quel but, comme l’expliquent Geoffrey Bowker et Susan Leigh Star dans Sorting Things Out (MIT Press, 2000, non traduit). Le problème consiste toujours à savoir s’il vaut mieux être compté ou pas. C’est le paradoxe de l’exposition ou de la classification. Pour un sans papier par exemple, être dénombré peut-être problématique selon ce qui est fait de ce dénombrement. Du point de vue du féminisme de données, la question est toujours de savoir si ce sont les catégories qui sont inadaptées ou le système de classification. A quoi sert-il par exemple que les scanners corporels des aéroports distinguent les hommes des femmes et s’affolent dès qu’une personne ne correspond pas à cette normativité réductrice ?

L’Association médicale américaine qualifie désormais le genre de spectre, plutôt que sur un mode binaire. L’organisme de santé publique britannique a lui développé un questionnaire inclusif et sensible qui permet d’ouvrir la question des catégories de genre en proposant des modalités de non divulgation. En fait, soulignent les chercheuses, selon les circonstances, l’institution qui collecte, et le but de ces collectes, les décisions éthiques peuvent varier. Pour le dire plus simplement, l’éthique ne peut être bornée : chaque comptage nécessite de reposer les questions de contexte et de pouvoir : faut-il compter selon le genre ? Quand et comment ? Même constat du côté de la couleur de peau… Mais la réponse à ces questions n’est possible qu’en répondant à la question à qui et à quoi servent ces comptages et plus encore en assurant que leur utilité reste circonscrite à l’objectif formulé – ce qui est plus difficile à assurer, notamment dans le monde des données, où un comptage, par nature, peut-être réutilisé à d’autres fins. Enfin, soulignent les chercheuses, la question du consentement à ces différents types de comptages est essentielle, pour les groupes minoritaires et notamment du fait des préjudices potentiels qu’il y a à distinguer les gens selon leurs identités fait peser sur eux. Respecter les gens qui sont derrière les données peut sembler tenir de l’évidence. C’est pourtant si rarement le cas qu’il faut bien le rappeler (signalons d’ailleurs sur ce sujet, le travail stimulant du Manifeste pour des technologies pleinement consenties, qui propose des principes pour des technologies de « plein consentement » : sans pression, réversibles, informées, enthousiastes et spécifiques) !

Historiquement, compter a toujours été utilisé pour dominer, discipliner et exclure. C’est pour cela qu’il est nécessaire d’interroger notre infrastructure de classification. Les chiffres ne sont pas toujours des outils d’oppression, mais ils doivent être travaillés pour rééquilibrer la répartition inégale du pouvoir.

Notre besoin de diversité est impossible à rassasier

Pour le féminisme de données, la connaissance la plus complète provient de la synthèse de perspectives multiples, et notamment les plus locales, les plus expérientielles… Sur le site Anti Eviction Map qui lutte contre les expulsions à San Francisco on trouve une centaine de cartes différentes. Beaucoup ont été produites en collaboration avec des organisations différentes afin de documenter le phénomène de l’expulsion dans sa plus complète diversité. L’une des cartes par exemple, montre que la concentration des expulsions recoupe celle des arrêts des Bus qui viennent chercher les employés des grandes entreprises de la tech. Toutes les cartes ne sont pas aussi lisibles, mais l’objectif reste de documenter ce qu’il se passe de multiples façons. Plutôt que de raconter une seule histoire « vraie » ou consensuelle, l’enjeu est aussi de reconnaître les versions multiples voire contradictoires de la réalité, explique l’architecte Katie Lloyd Thomas (@ktlloydt), fondatrice du collectif féministe Taking Place. Pour le féminisme de données, l’enjeu est d’adopter le pluralisme, de valoriser les voix, les points de vue, de la collecte à la communication… Pour se faire, il faut se défaire de la façon dont les méthodes de la science des données ont tendance à supprimer les voix, au profit de la clarté, de la propriété ou du contrôle.

Trop souvent, l’un des principaux aspects du travail du data scientist consiste à nettoyer les données pour mieux les structurer, un travail d’entretien à la fois patient et minutieux, et également un travail d’organisation glorifiant visant à dompter le chaos des chiffres. Le problème, c’est que ces processus contribuent à faire disparaitre des perspectives et à en imposer d’autres. Nettoyer les données consiste aussi à les contrôler. « Cette croyance selon laquelle les données doivent toujours être propres et contrôlées a des racines historiques douteuses ». Trop souvent, le nettoyage est « une astuce pour réduire la diversité », comme l’ont expliqué Katie Rawson (@katie_rawson) et Trevor Munoz (@trevormunoz) dans leur article « Contre le nettoyage ». Le désordre des données est riche d’informations sur les circonstances de leur collecte. Trop souvent, leur nettoyage permet qu’elles soient plus accessibles à d’autres qu’à ceux qui les ont collectés. En fait, expliquent Klein et D’Ignazio, ce nettoyage des données élargit surtout leur disponibilité et notamment leur disponibilité à un plus large niveau, les coupant du contexte de leur production. Ce nettoyage bénéficie également aux data scientists, à ces génies solitaires, souvent blancs et masculins, dont la maîtrise individuelle et l’expertise technique semblent sans bornes. L’un de ces génies est Matthew Desmond (@just_shelter), directeur de Laboratoire de l’expulsion (@evictionlab) à l’université de Princeton et auteur d’Avis d’expulsion, enquête sur l’exploitation de la pauvreté urbaine (Lux éditeur, 2019). La difficulté pour le laboratoire a longtemps consisté à trouver sur quelles données baser ses recherches. Faut-il privilégier des données plus propres et à grandes échelles, faciles à traiter et à acheter où des données plus précises, à l’échelle locale, comme celles produites par Anti Eviction Map mais qui nécessitent d’établir une relation de confiance afin qu’elles ne soient pas utilisées n’importe comment ? Comme nombre d’acteurs dans le domaine des données, le laboratoire a donné la priorité à la rapidité sur la précision. A l’inverse, si l’Anti Eviction Map a privilégié la diversité, leur décision a aussi contribué, de manière tout à fait intentionnelle, à renforcer les capacités techniques et relationnelles des acteurs locaux. L’enjeu était bien de construire une solidarité entre participants afin qu’ils s’entraident dans la lutte contre les expulsions, qu’ils apprennent les uns des autres. La multiplicité permet d’obtenir une image plus complète d’un problème et en renforce les collectifs. Encore faut-il parvenir à reconnaître la partialité de sa compréhension. Cela suppose, bien souvent, de donner accès aux données utilisées et de décrire les méthodes employées. Mais également de compléter ces informations en précisant qui a travaillé sur ces données, quels étaient les points de tensions…

« La prise en compte de la valeur des perspectives multiples ne doit pas se limiter à la transparence et à la réflexivité. Il s’agit également d’inviter activement et délibérément d’autres points de vue dans le processus d’analyse et de narration des données – plus précisément, ceux des personnes les plus marginalisées dans un contexte donné. » Pour l’Anti Eviction Map cela signifie centrer ses données sur les voix et les expériences de ceux qui ont été expulsés, à l’image de la proposition du réseau de Design Justice qui souhaite centrer son travail sur ceux les plus touchés par les données. Pour Klein et D’Ignazio, l’enjeu est bien ici de concevoir des projets de co-libération plutôt que des « données pour le bien » (ce qu’on appelle le mouvement « Data for good », un réseau de réseaux international qui promeut l’usage de la donnée pour l’intérêt général). Si le mouvement Data for good décrit des projets de science des données socialement engagés, que signifie faire le bien ? De quel bien parlons-nous ? Au profit de qui ? Pour la spécialiste en machine learning chez Google Brain et fondatrice de Delta Analytics, Sara Hooker (@sarahookr), ce concept manque de précision, notamment parce que l’engagement ne suffit pas à qualifier l’objectif – l’ingénieur Ben Green faisait une critique assez proche (.pdf) (dont nous avions rendu compte), soulignant les limites à renforcer le bien social sans interroger l’engagement. A l’inverse, la co-libération repose sur la dénonciation et la résolution des relations de pouvoir asymétriques. La co-libération présuppose une lutte qui qualifie l’enjeu… et augmente l’engagement d’objectifs, que ce soit le transfert de connaissance ou la création d’une infrastructure sociale dédiée, que ce soit pour la prise de conscience ou pour armer la lutte sociale. Elle implique des échanges à double sens pour renforcer les capacités techniques de la communauté et un renforcement de la solidarité, par exemple en allouant des ressources à l’infrastructure communautaire et pas seulement une aide technique. « Dans le modèle de co-libération, les projets de science des données deviennent des projets de science communautaire. Ils se déroulent simultanément dans la base de données et dans l’espace public. » L’enjeu est de construire une compréhension partagée autour d’une question et de mobiliser autour de cette compréhension pour en décliner des actions. Les données sont un moyen de générer une prise de conscience et de l’activer. En cela, la co-libération devient une « technologie de rassemblement », où « les informations sont échangées, la cohésion sociale est renforcée et les actions futures sont co-conspirées », une forme de « feu de camp » pour réactiver la participation politique, expliquent Kein et D’Ignazio – une forme de nouvelle cartographie d’alliances.

L’enjeu n’est pas pourtant de rester petit ou local. Les données peuvent aussi permettre d’atteindre d’autres échelles de co-libération, expliquent les chercheuses en évoquant le projet d’Atlas mondial de la justice environnementale, initié par Leah Temper et Joan Martinez-Alier qui collecte des informations sur les conflits écologiques depuis les luttes mêmes de ces acteurs. Certes, l’approche est plus pluraliste, participative et itérative que les approches extractivistes et quantitatives du Big data traditionnel, mais en fin de compte, même si cela prend plus de temps, les données, les relations et les capacités des communautés produites sont d’une bien meilleure qualité.

Les chiffres ne parlent pas d’eux-mêmes

Le féminisme des données affirme que les données ne sont ni neutres ni objectives. Elles sont le produit des inégalités et, sans contexte, elles ne disent rien : ne sont ni précises ni éthiques.

En 2014, le célèbre blog FiveThirtyEight a publié un article montrant que l’enlèvement de jeunes femmes au Nigeria était un problème qui empirait. Mais l’article a dû rapidement être rétracté. Le site avait utilisé une base de données mondiale spécialisée sur les conflits, le GDELT. Le problème est que cette base collecte des articles de presse en démultipliant les faits depuis les sources. FiveThirtyEight avait compté chaque article comme un événement alors que beaucoup d’articles de presse relayés décrivaient le même événement. L’histoire raconte la difficulté à agréger des données dont on ne sait pas grand-chose, à notre tendance à surestimer l’exhaustivité sur l’exactitude. Certains chercheurs parlent de « Big Dick Data » pour qualifier des projets qui fétichisent la taille, exagèrent leurs capacités scientifiques ou techniques et ignorent le contexte. Nous sommes de plus en plus cernés par des portails de données qui permettent de télécharger ou d’échanger de vastes ensembles de données, dans un modèle d’accès illimité à l’information que nous considérons trop souvent comme un bien inhérent.

L’un des principes centraux de la pensée féministe est que toute connaissance est située, nécessitant de relier les données au contexte de leur production pour mieux comprendre leurs limites fonctionnelles, les obligations éthiques associées et la manière dont le pouvoir a contribué à leur élaboration. Trop souvent, pourtant, rappellent les chercheuses, les jeux de données sont fournis sans contexte ni métadonnées, c’est-à-dire sans informations sur leur provenance et sans dictionnaires pour les décrire. Klein et D’Ignazio donnent l’exemple simple et courant d’un jeu de données sur les dépenses de la ville de Sao Paulo au Brésil. Le jeu de données n’est pas difficile à comprendre en tant que tel, mais le processus qui l’a produit est bien moins clair. Comment la ville gère-t-elle ses appels d’offres ? Comment décide-t-elle de leur attribution ? Les offres publiées correspondent-elles à toutes les offres ou seulement à celles qui ont passé un contrat avec la ville ? Qu’est-ce qui explique les variations de numérotation ?… Or sans réponses, il semble difficile d’explorer, analyser ou traiter ces données. Comme l’explique Christine Borgman (@scitechprof) dans son livre Big Data, Little Data, No Data (MIT Press, 2015, non traduit) : une infrastructure de connaissances est « une écologie de personnes, de pratiques, de technologies, d’institutions, d’objets matériels et de relations ».

Klein et D’Ignazio rappellent rapidement l’histoire du mouvement pour l’ouverture des données publiques, né au milieu des années 2000 d’une conjonction d’acteurs (gouvernements, associations, individus et militants) pour favoriser l’accès aux données, ces nouveaux types de documents publics. Sous prétexte de promouvoir le développement économique par la création de services les utilisant, d’accélérer le partage de connaissance et la science, et d’améliorer la transparence démocratique, nombre d’États, de villes et régions ont peu à peu ouvert des portails de données. Mais, comme elles le rappellent encore, le financement limité a conduit à prioriser l’ouverture de certaines données sur d’autres et surtout a rarement permis de documenter les jeux de données. Pour le spécialiste de l’ouverture des données britannique, Tim Davies (@timdavies), on s’est parfois retrouvé face à des « décharges de données brutes », incapables d’assurer l’engagement ou la responsabilité. Nombre de jeux de données demeurent peu utilisés, attendant que « les utilisateurs entreprennent le travail intensif de déchiffrer les arcanes bureaucratiques qui obscurcissent leur signification ». On parle aussi de données zombies pour désigner des ensembles de données publiés sans objectifs ou cas d’utilisation. Qu’importe ! Finalement, comme l’affirmait Chris Anderson de Wired en 2008, toute théorie devenait inutile, les données parleraient d’elles-mêmes ! Mais la corrélation sans contexte est clairement insuffisante, comme le montrait Safya Umoja Noble (@safiyanoble) dans son livre Algorithms of Oppression (NYU Press, 2018, non traduit), en démontrant que les résultats de Google Search ne sont pas seulement racistes et sexistes à l’image de nos sociétés, mais entretiennent le sexisme et le racisme en renvoyant vers ces contenus sous prétexte de les classer en fonction des liens et de leur audience, encourageant finalement leur audience dans une boucle de circulation perpétuelle.

Depuis 1990, suite au meurtre de Jeanne Clery, une loi visant à améliorer la collecte de données relatives aux crimes commis sur les campus américains a été votée, imposant de mettre à la disposition du public ces statistiques. En 2016, trois étudiants en journalisme de données ont téléchargé ces données collectées par le Clery Center (@CleryCenter) pour comprendre ce qu’il en était de la culture du viol sur les campus. Ils se sont rendu compte qu’un petit établissement rural du Massachusetts semblait connaître bien plus d’agressions sexuelles que la prestigieuse université de Boston. En enquêtant, ils se sont rendu compte que certains établissements publiaient leurs chiffres et que d’autres avaient les ressources institutionnelles nécessaires pour les minimiser, notamment en accompagnant les victimes pour minimiser les plaintes. Les chiffres ne parlent pas d’eux-mêmes à nouveau, les données sont bien souvent « cuites et recuites » que brutes, c’est-à-dire toujours obtenues, toujours travaillées et retravaillées, sensibles à nombre de facteurs externes qui président aux multiples étapes de leur production. Bien souvent, les données tiennent plus d’indicateurs culturels qu’elles ne décrivent une réalité. Pour les chercheuses, nous avons besoin de bien plus de théorie et de bien plus de contexte pour saisir les enjeux de pouvoir des données. Les chercheuses prennent l’exemple des travaux qu’a mené Desmond Patton (@DrDesmondPatton) du SafeLab afin d’utiliser l’IA pour comprendre le rapport à la violence des jeunes de Chicago. Mais pour mieux comprendre un jeu de données de tweets, il a utilisé certains de ces jeunes pour mieux classer les données. Il a ainsi remarqué que des tweets utilisant des termes agressifs, comme le terme « tuer » ne visait pas tant à menacer d’autres personnes qu’à faire souvent référence à des paroles de chansons et donc à partager des symboles culturels. Pour les deux chercheuses, cet exemple souligne combien il ne peut y avoir de sciences des données sans le nécessaire travail social qui en éclaire le sens et l’action.

Communiquer en contexte nécessite non pas de chercher à être neutre, mais à regarder ce que les données produisent effectivement, expliquent les chercheuses en montrant deux graphiques représentant exactement les mêmes données, le plus exact pouvant être taxé de partialité alors que le second, semblant plus neutre se révèle bien plus manipulateur et plus ouvert à une mauvaise interprétation. La justice nécessite aussi de reconnaître et nommer les formes d’oppression que ce soit le racisme, le sexisme, l’homophobie… pas de les neutraliser, expliquent-elles.

Rendre les méthodes plus robustes et conserver le contexte des données, tel est l’enjeu de Cuidando do Meu Bairro (Prendre soin de mon quartier), une initiative à destination des habitants de Sao Paulo qui vise justement à ajouter du contexte et des éclaircissements aux données locales. Heather Krause, fondatrice de Datassist et We all count (@datassist), un projet pour développer l’équité en data science, a développé nombre d’outils pour favoriser l’équité et notamment le concept de biographie des données, consistant à demander à leurs producteurs de répondre à des questions de base : « d’où vient le jeu de données ? Qui l’a collecté ? Quand ? Comment ? Pourquoi ? ». C’est exactement l’enjeu du « datasheets for datasets » développé par Timnit Gebru pour Microsoft (voir notre article Utiliser l’IA pour détecter ses propres biais ? »). Les guides d’utilisation de données sont une piste essentielle, insistent Klein et D’Ignazio ! Les deux chercheuses signalent ainsi l’exemple de Woman Stats initié par le géographe Chad Emmett (@emmett_chad) et la professeure de sciences politiques Valerie Hudson, une vaste base de données sur les violences faites aux femmes qui distingue des variables de pratiques et de droit selon les conditions juridiques des pays d’où proviennent les données. Une façon de souligner l’incomplétude de leurs données. Ainsi les statistiques sur le viol soulignent que les modalités d’enregistrements sont peu comparables d’un pays à l’autre.

Reste à savoir qui doit éclaircir les données. Bien souvent, les journalistes et les ONG font un bon travail de nettoyage et de contextualisation, pour autant qu’ils bénéficient de financements durables, d’expertises et de normes. Le problème, trop souvent, c’est que gérer les données nécessite de l’investissement au risque de garder durablement des ressources de qualité médiocres, voire dangereuses. Sans argent, la production de contexte risque de rester l’exception plus que la norme.

Rendre le travail visible

L’ultime principe du féminisme de données consiste à rendre le travail visible. Une étude sur Github, cette plateforme collaborative de travail sur le code source, montrait que les utilisatrices avaient moins de chances de voir leurs contributions acceptées si elles s’identifiaient comme femmes. Pourtant, en permettant de voir les contributions à chaque projet, Github a participé à changer le regard sur la réalité du travail du code, montrant combien il relève d’abord et avant tout d’une collaboration patiente. Mais contrairement à Github, la production de données et de visualisations s’inscrit dans de longues chaînes de collaborations qui tendent à écraser les contributions plutôt qu’à les mettre en avant. La formidable cartographie des navires qui naviguent à travers le monde est le résultat d’un long travail d’innombrables contributeurs. Comme l’explique Miriam Posner, les chaînes d’approvisionnements elles-mêmes, ont trop souvent intérêt à écraser et transformer les contributions. Et on constate la même chose dans le monde de la production de données.

La dénonciation des formes de travail invisibles est ancienne et s’est cristallisée longtemps sur le travail domestique non rémunéré des femmes. Elle s’est considérablement élargie depuis, notamment à celui des utilisateurs des plateformes. Reste que la science des données prospère largement sur cette invisibilisation en mobilisant largement des plateformes de crowdsourcing que ce soit pour étiqueter des films, des documents, corriger des fautes… comme l’ont montré nombre d’études sur la sous-classe mondiale de la modération, allant de Ghost Work (Mariner Books, 2019, non traduit) de Mary Gray et Siddharth Suri, à Derrière les écrans (La découverte, 2020) de Sarah T. Roberts (@ubiquity75) en passant par En attendant les robots (Seuil, 2019) d’Antonio Casilli (@antoniocasilli). Derrière les hiérarchies actuelles du travail des données se répètent d’anciennes hiérarchies technologiques fondées sur le sexe, la classe sociale et la race, explique Lilly Irani (@gleemie), comme celles de la première génération d’informaticiennes, ces Figures de l’ombre (Harper Collins France, 2017) qu’évoquait Margot Lee Shetterly (@margotshetterly). En 2008, d’ailleurs, Irani avait lancé le Turkopticon pour permettre aux utilisateurs du Mechanical Turk d’Amazon de signaler les conditions de travail que les commanditaires de la plateforme leur imposaient. Mais après 10 ans de service, le service, entièrement bénévole, a fermé sous l’épuisement. L’exploitation d’une main d’œuvre précaire trouve son origine bien sûr dans la longue histoire coloniale et esclavagiste, qui ne cesse de prolonger ce même schéma d’exploitation.

Pour répondre à ces invisibilisations, nous devons améliorer les études sur la production de données, estiment Klein et D’Ignazio, comme le propose Anatomy of an AI System de Kate Crawford (@katecrawford) et Vladlan Joler (@TheCreaturesLab). Montrer le travail invisible est un moyen de résister au storytelling de l’innovation dominante. Documenter qui y participe, comme y invite la Charte des droits des collaborateurs, également. Documenter ce travail permet également de montrer la quantité de travail physique nécessaire à la numérisation, comme l’a pointé la représentation visuelle du catalogage des livres pour la librairie du Congrès imaginé par Ben Schmidt (@benmschmidt). Enfin, bien sûr, c’est un moyen de valoriser également le travail de soin et le travail émotionnel à l’image du projet Atlas of Caregiving, visant à documenter le travail nécessaire autour de malades atteints de maladies chroniques afin d’en souligner sa complexité et sa pluralité.

Les déséquilibres du pouvoir sont partout dans les données… Ce n’est qu’en montrant toute la fragilité de chaque donnée que nous pourrons défier et relever leurs conséquences.

Réinventer notre rapport aux données et aux calculs

La force du livre de Klein et D’Ignazio consiste à nous confronter à nos propres impasses. Elles nous invitent à mettre à jour nos concepts, à renverser nos catégories de pensées et, pour y parvenir, à dépasser, renforcer et politiser plus avant nos exigences. Peut-être est-il plus que jamais nécessaire, comme elles nous y invitent, de modifier notre cadre de réflexion, de changer les concepts avec lesquels nous légitimons les évolutions des calculs… Les limites de l’ouverture et de la transparence dans les systèmes techniques sont dénoncées depuis longtemps. Peut-être que pour les dépasser, faut-il remiser et réinventer les concepts qu’on utilise, en tout cas les mettre à jour ! En nous invitant à passer de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu que Klein et D’Ignazio formulent nous invite à sortir de la recherche de solutions technologiques aux problèmes que pose la technologie. Ce n’est pas un petit pas de côté. En nous invitant notamment à dépasser les limites de l’ouverture des données ou du gouvernement ouvert, pour revenir au sens et à l’impact des données elles-mêmes, les deux chercheuses nous montrent une voie d’appropriation et de libération pour résister à l’impact des calculs et des bases de données.

Dans la conclusion de leur ouvrage, Klein et D’Ignazio nous invitent, à l’image des contestations qu’ont connu l’industrie de la technologie, notamment la grève chez Google de 2018 (le Google Walkout for real change), à « occuper en masse les infrastructures numériques », à ralentir les chaînes numériques, à canaliser les solidarités numériques vers les espaces physiques… De la Tech Workers Coalition (@techworkersco) aux plateformes comme Coworker.org (@teamcoworker) ou aux organisations comme Tech Solidarity (@techsolidarity) en passant par l’essor des coopératives technologiques aux manifestes comme ceux de Design Action Collective et bien sûr aux communautés de pratiques elles aussi revendicatrices comme le réseau Design Justice (@design__justice), Data for Black Lives (@data4blacklives) ou l’Algorithmic Justice League (@ajlunited)… sont autant de formes de mobilisation qui visent à faire des données un outil de changement social profond plutôt qu’une arme d’oppression au service du pouvoir financier (voir notre article « Vers un renouveau militant des questions technologiques ?).

La science des données doit désormais dépasser ses présupposés premiers, à savoir ses méthodes uniquement quantitatives reposant sur la seule puissance des données, la force brute des traitements automatisés, sa fausse neutralité, son ouverture sans enjeu… Le féminisme des données ne vise pas à produire de la technologie pour elle-même, mais au contraire, à en libérer les acteurs. Utiliser les données pour mettre fin à l’oppression est un objectif bien plus stimulant que les utiliser pour la perpétuer.

Hubert Guillaud

Cet été, Algorithm Watch (@algorithmwatch) a publié une analyse sur les applications de suivi de contact. Pour l’ONG, les résultats sont assez contradictoires, notamment parce que les applications et les situations sont peu comparables les unes les autres. Selon le Covid Tracing Tracker de la Technology Review, on en répertorie plus d’une cinquantaine dans le monde. Pour l’ONG cependant, nous ne disposons même pas d’une définition partagée de ce que signifie l’efficacité de ces applications : faut-il compter le nombre de contacts identifiés ou la réduction épidémique que produit ce traçage automatisé ? Pendant plusieurs mois, on a entendu que l’efficacité était liée au volume d’adoption de ces applications (notamment via le fameux seuil des 60 % de téléchargement et d’utilisation !), alors qu’elles peuvent avoir des effets protecteurs à des niveaux bien plus bas. En fait, le haut niveau de téléchargement de certaines d’entre elles ne s’est pas nécessairement traduit par des réponses efficaces en matière de recherche de contact, comme le soulignent les exemples irlandais et finlandais. Pour certains chercheurs, le déploiement de ces applications sans preuve réelle de leur efficacité demeure problématique. Reste qu’il n’aurait pas été possible d’obtenir la preuve de leur inefficacité sans les déployer. Pour autant, la conclusion reste cinglante : l’efficacité des applications de suivi de contact dans leur contribution à la lutte contre le Covid-19 n’est pas concluante !

Le suivi « manuel » des contacts, via des spécialistes humains, s’est révélé toujours plus efficace. Une autre analyse, elle aussi, conclut que les applications ne sont ni une panacée ni une solution miracle, et encore moins dans les pays les moins développés. En France, une étude de perception a montré que les personnes les plus précaires, qui sont aussi les plus exposées au virus, sont également les plus réticentes à utiliser une application. Pour le dire autrement, il ne peut y avoir d’adoption optimale sans réduction des inégalités qui agissent sur les déterminants structurels, notamment ceux qui président à la connectivité ou à l’alphabétisation numérique. Une étude parue dans The Lancet a même montré que les outils de recherche de contacts automatisés déployés entre 2000 et 2020 pour d’autres virus, n’ont, là encore, montré aucune preuve d’efficacité, tant en terme de contacts identifiés que pour réduire les transmissions. Là encore, seule la recherche « manuelle », humaine, se révèle essentielle. Les applications décentralisées de notification d’exposition (celles qui adoptent le protocole GAEN, Google/Apple Exposure Notification, développé par Apple et Google), elles, semblent avoir montré un peu plus d’efficacité que celles déployées par nombres d’États ! En Angleterre, la recherche numérique de contacts estime une étude pour Nature a permis d’atteindre plus de contacts que la recherche manuelle (4,4 contre 1,8), notamment pour identifier les contacts en dehors du foyer. Les auteurs estiment qu’entre 4 et 8000 décès ont été évités grâce à ces outils (pour 32 000 décès durant la période étudiée), ce qui n’est pas un petit effet. Ils ont estimé également qu’une augmentation de 1 % de l’utilisation de l’application se traduit par une réduction de 0,8 à 2,3 % des infections, c’est-à-dire que chaque personne positive au Covid qui a consenti à notifier ses contacts par l’application a évité en moyenne un nouveau cas. Pour Florian Gallwitz cependant, l’étude ne répond pas à une question de fond : quel pourcentage de personnes averties par l’application ont été réellement infectées ? Pour le spécialiste, il n’y a pas de preuve crédible que les avertissements automatisés soient liés à des événements d’infection réels… En Suisse, où les débats ont été vifs, notamment du fait de la présence de chercheurs qui ont poussé à l’adoption d’applications décentralisées et très protectrices de la vie privée, une étude a pointé le fait que les contacts notifiés par l’application SwissCovid entraient en moyenne en quarantaine un jour plus tôt que ceux qui n’étaient pas notifiés par l’application, mais cela tient peut-être plus du fait d’alertes pairs à pairs ou du fait que ceux qui utilisent l’application sont moins susceptibles de subir un préjudice lié à leur quarantaine, comme l’explique, critique, le chercheur Paul-Olivier Dehaye, qui parle d’un biais d’utilisation, car l’usage de ces applications n’est pas distribué uniformément dans la population. Leur utilisation privilégie des personnes en moyenne plus riches, qui ont tendance à faire confiance aux autorités, plus conscientes et engagées dans la pandémie.

Pour Lucie White et Philippe van Basshuysen, la promesse des applications de recherche de contact semble aujourd’hui largement abandonnée. Pour nombre de gouvernements, leur rôle est vu désormais comme limité. Pour les deux chercheurs, cet échec est lié à la généralisation de solutions décentralisées où les données de proximités sont calculées par les téléphones de chacun plutôt que d’être collectés et analysés dans une base de données centrale gérée par les autorités sanitaires qui aurait permis de mieux signaler le risque de contamination avant que les tests ne confirment ou non la contamination. Une étude préliminaire sur l’efficacité de l’application centralisée norvégienne souligne que l’application a permis de découvrir 11 % de contacts que la recherche manuelle de contacts n’avait pas identifiés. L’application norvégienne a cependant été suspendue en juin 2020 du fait des problèmes de confidentialité qu’elle portait. Amnesty International l’a qualifiée de profondément intrusive, tout autant que celles du Bahreïn et du Koweït, en permettant un suivi quasi direct des déplacements des utilisateurs. Reste que selon l’étude préliminaire sur l’application norvégienne, malgré ses résultats, rien ne prouve que les applications centralisées fonctionnent mieux que les applications décentralisées, au contraire.

La littérature fournit une image très mitigée en termes d’efficacité des applications. L’application israélienne HaMagen, elle, a été considérée comme un échec colossal. Le Japon a vu son programme d’application s’effondrer sous le poids des problèmes techniques. Même constat de défaillance pour l’application italienne Immuni. Aux États-Unis seuls 13 États ont atteint le seuil d’adoption de 15 % que les études de modélisation considèrent comme le premier palier de protection. Mais là encore, difficile de répondre à la question centrale : combien d’infections ont été évitées grâce aux notifications d’exposition ? Pour la journaliste de la Technology Review Betsy Ladyzhets : notre incapacité à répondre à cette question est due à la nature fracturée du système et au fait que mesurer l’efficacité de ces technologies n’était finalement pas une priorité. Pour de nombreux décideurs – en tout cas comme beaucoup s’en justifiaient à l’origine de ces déploiements applicatifs -, ne trouver ne serait-ce qu’un cas supplémentaire grâce à une application est utile – même si cette affirmation un peu rapide évacue la prise en compte du rapport coût/efficacité qui est pourtant mobilisé partout ailleurs, comme si finalement la technologie bénéficiait toujours d’un régime d’exception par rapport aux contraintes qui s’imposent partout ailleurs.

Bref, la question de l’efficacité demeure non tranchée, estime un peu facilement, Algorithm Watch. Au mieux, de nombreux déploiements indiquent un impact modéré sur la dynamique de l’infection. Les résultats obtenus restent peu comparables les uns les autres parce que les politiques de santé publique sont restées hautement contextuelles. Le problème qui demeure, pointe l’ONG, est que, dans l’urgence, ces systèmes ont été déployés sans justification, en tout cas sans apporter de preuves et de justifications d’efficacité… et souvent au déni des discussions démocratiques (notamment quand des données de santé ont pu finir dans les mains de la police). Pour Algorithm Watch, nous devons mieux comprendre quand et pourquoi la recherche de contact numérique a un sens et donc quand elle n’en a pas, c’est-à-dire « comment, quand et pourquoi elle doit cesser ». Il n’est pas certain que le déploiement de ces applications nous y ait aidés !

La confidentialité est toujours critique

Un avis qui sera certainement partagé par la mathématicienne et spécialiste en sécurité informatique de l’université de Tufts, Susan Landau, qui a publié avant l’été un petit livre People Count : contact-tracing apps and public health (MIT Press, 2021, non traduit). La spécialiste y rappelle qu’il n’y a ni santé publique ni suivi épidémiologique sans un profond et réel respect de la vie privée, ni sans s’assurer de l’équité des mesures mises en place par les politiques de santé publique, car les épidémies touchent d’une manière très différenciée les gens, selon leur niveau social, leurs professions, leurs origines, leurs statuts. L’histoire du suivi de contact que dresse en quelques pages la spécialiste souligne que « la confidentialité est toujours critique ». Or, explique-t-elle, la technologie peine à assurer de la confidentialité qu’elle déploie. Pour elle, la technologie apporte plus de biais que d’avantages, notamment parce qu’elle permet de multiplier les objectifs, provenant de multiples parties, sans les rendre nécessairement ou facilement compatibles entre eux. L’intérêt des épidémiologistes n’est pas nécessairement compatible avec celui de la médecine ou des politiques publiques. C’est l’autre aspect du problème. Enfin, sur l’efficacité globale des dispositifs, la spécialiste reste, elle aussi, circonspecte.

Dans son livre, la spécialiste fait l’histoire du suivi de contact, montrant que son efficacité fluctue selon les maladies, leurs modalités de transmission et leur contagiosité. Le caractère asymptomatique de certains malades rend le « tester, tracer, isoler » plus difficile, rappelle la chercheuse. Le travail de suivi de contact est un travail de travailleur social particulièrement intensif et très invasif en terme de vie privée. Quand il fonctionne, c’est un outil très efficace. Imaginée dès 1934 par Thomas Parran, ministre de la santé américain qui a étudié le contrôle de la syphilis, la pratique est devenue un outil essentiel pour lutter contre les maladies infectieuses ou les maladies sexuellement transmissibles. Reste que dans le cas de la syphilis, dès l’origine donc, la question de la confidentialité et de la confiance ont été primordiales. Les responsables du suivi de contact étaient chargés à la fois d’éduquer les patients sur la maladie et d’établir un lien de confiance pour qu’ils leur confient des informations on ne peut plus personnelles, puisque liées à leur sexualité. Cela nécessitait beaucoup de tact, d’écoute et d’empathie. Mais également d’établir une confiance infaillible, d’abord et avant tout en garantissant une confidentialité totale. Comme elle l’explique, « la confidentialité a toujours été critique », et notamment pour lutter contre les maladies où les questions posées par les traceurs nécessitaient d’être les plus invasives possible. Dans la lutte contre le Sida, le fait de savoir que quelqu’un était infecté pouvait avoir des conséquences dramatiques. Si la personne chargée du suivi de contact est responsable de la santé publique, son premier devoir est de respecter la confidentialité et l’autonomie des patients. Face au virus Ebola par exemple, les responsables du suivi de contact se sont heurtés à la rigueur des interdictions mises en place face du fait de la forte létalité et contagiosité du virus rendant leur travail auprès des populations touchées très difficile à réaliser.

Chaque maladie nécessite des enquêtes différentes selon ses caractéristiques infectieuses propres. Effectivement, aux questions où étiez-vous les jours précédents votre positivité et qui était avec vous, il est probable que votre téléphone le sache mieux que vous, en tout cas, c’est une information qu’il peut collecter de multiples manières. Mais pas si simplement qu’automatiquement. Détecter la proximité des personnes par Bluetooth, GPS ou via les antennes de téléphonie mobile près desquelles ils se connectent est « peut-être utile pour tracer les communications de voleurs ou de terroristes, mais est certainement bien moins efficace pour tracer des infections respiratoires ». Ces modalités sont insuffisamment précises, ne voient pas les parois de verre qui peuvent séparer deux personnes à proximité ou peuvent décider d’une proximité qui n’est pas exacte. Tracer une maladie consiste aussi à la définir même avec des approximations, comme le fait de borner la période infectieuse de la maladie ou la distance de contamination. Reste que même face à ces décisions, les technologies ne sont pas suffisamment précises. Dans son livre, Landau détaille les limites de fonctionnement de plusieurs applications, notamment celles déployées par Singapour ou l’application du gouvernement indien Aarogya Setu.

Inégalités et dérives fonctionnelles

L’une des difficultés que pointe Landau, c’est que le coût de leur utilisation n’est pas le même pour tous. Le fait d’être cas contact et contraint à l’isolement n’a pas les mêmes conséquences pour chacun. Mais surtout, constate la chercheuse, l’un des grands problèmes de ces outils numériques est leur « dérive fonctionnelle », c’est-à-dire l’élargissement de leur utilisation à d’autres modalités explique-t-elle, en prenant l’exemple des écoutes téléphoniques qui à l’origine, aux États-Unis, étaient limitées à 25 types de crimes graves, alors qu’aujourd’hui, la liste des cas qui permet leur utilisation s’est élargie à plus de 100 types d’infractions. Pour Susan Landau, nombre de ces applications, par leur très grande intrusivité, adresse de sérieuses menaces aux libertés civiles, menaces que leurs promoteurs devraient prendre plus au sérieux, et ce d’autant que la confidentialité est justement critique en santé publique. Or, les données collectées, tout anonymisées qu’elles puissent être, collectent des informations sur les déplacements et les contacts qui peuvent divulguer bien d’autres informations, comme des déplacements indus en temps de couvre-feu, ou des craintes légitimes sur l’activité de ceux qui sont dans des situations irrégulières. Répondre à ces défis nécessite de mettre la protection de la vie privée en premier, estime Carmela Troncoso (@carmelatroncoso), spécialiste de la sécurité à l’École polytechnique fédérale de Lausanne, très investi dans le développement d’applications de suivi de contact décentralisées et respectueuses de la vie privée. Nombre de chercheurs ont exploré ces idées, pour imaginer des applications qui signalent l’exposition au virus, mais pas les contacts, c’est-à-dire non pas des systèmes de suivis de contact, mais bien des systèmes de notification d’exposition, comme GAEN. Des modèles plus respectueux de la vie privée, mais qui désavantagent les autorités de santé qui cherchent, dans les logiques qui sont les leurs, à démultiplier leurs connaissances sur le suivi épidémiologique. Dans les modèles les plus respectueux, les épidémiologistes ne peuvent même pas savoir où la contamination a lieu, excluant finalement le suivi médical tel qu’ils le pratiquent.

Dans la grande galerie des applications, d’innombrables ajustements et spécificités ont pris place, chacune se démarquant des autres par les orientations locales choisies. Le respect de la vie privée a été la force de certaines applications… Mais pour la protéger, il est essentiel de savoir « Qui veut savoir des choses sur moi ? Que veulent-ils savoir ? Que veulent-ils faire de ces informations ? »… Quand les questions de santé publique impactent la société, comme dans le cas d’une pandémie, plusieurs types d’autorité souhaitent accéder aux informations de santé. La santé publique et la recherche bien sûr, mais également, trop souvent, les autorités chargées de l’application des lois, notamment pour veiller à l’application des mesures de police, comme l’isolement ou le couvre-feu. Bien sûr, il faut aussi veiller à la sécurité des dispositifs, explique longuement la spécialiste, ce qui n’est pas toujours si simple. Au final, « les applications de recherche de contacts reposent sur l’idée que la technologie peut contribuer à résoudre un problème insoluble », notamment parce que ce problème est trop souvent multiple et qu’on pense que la technologie peut tous les adresser dans une seule solution.

Dans son livre, Susan Landau pose elle aussi, la question de l’efficacité, et comme le soulignait Algorithm Watch, explique que cette efficacité est difficile à établir. La promesse des applications de suivi de contact est de notifier les gens potentiellement infectés plus vite que ne saurait le faire le traçage manuel et ainsi de diminuer la propagation de l’infection. Les applications déterminent des distances et des durées d’exposition, sans parvenir à les déterminer correctement à 100 %. La force des signaux, la fréquence de connectivité varient d’un modèle de téléphone à l’autre et sont sensibles à de multiples éléments, comme la présence de murs, la position du téléphone (selon la poche où vous le tenez par exemple), la forme des pièces, les matériaux de construction, etc. Ainsi, deux personnes détectées à proximité peuvent être dans deux appartements différents. Les applications ne savent pas détecter si les gens portent des masques ou pas, si l’une chante ou si elles sont silencieuses, ne connaissent pas les conditions de ventilation des lieux… Les applications au final, peuvent faire remonter des cas que les humains qui s’occupent de suivi de contact n’auraient pas considérés, ce qui peut-être un bénéfice comme un désavantage. Elles produisent à la fois des faux positifs et des faux négatifs. L’application britannique, lors de sa phase de test, a produit 45 % de faux positifs et 31 % de faux négatifs. Ces inexactitudes sont des défis en soi, non seulement pour la santé publique, mais peut-être plus encore pour les individus, notamment du fait des inégalités des conditions leur permettant de s’isoler facilement ou pas. En fait, souligne Landau, l’efficacité des applications reste conditionnée aux réalités et inégalités socio-économiques de la société… « 23 % des habitants de Chicago sont noirs, mais en avril 2020, 58 % des habitants de la ville décédés du Covid étaient Noirs ». Or, explique-t-elle, fort à propos : « ces applications n’ont pas été construites pour adresser les besoins spécifiques des communautés marginalisées. Elles apparaissent comme basées sur un modèle d’utilisateur de la classe moyenne ou supérieure, doté d’un travail qui peut être effectué à la maison. Elles n’ont pas été conçues pour tenir compte des craintes ou de la défiance de communautés qui sont trop souvent sur-surveillées et qui ne peuvent pas tirer parti des recommandations à rester chez soi ». Où comment les préconceptions que les concepteurs ont sur les usagers inscrivent des limites aux objets eux-mêmes, oubliant que les archétypes, que le modèle moyen de l’usager comme le citoyen modèle n’existent pas. Comme elle le dit très bien : « une application qui échoue à fonctionner pour une communauté donnée est une application qui échoue pour nous tous ».

Bien souvent, rappelle-t-elle, le suivi de contact manuel, humain, lui, doit s’adapter aux conditions, explique-t-elle en pointant le succès de celui-ci dans les réserves indiennes de l’Arizona. Là-bas, beaucoup de gens ont été infectés, mais peu en sont décédés, notamment parce que les équipes médicales locales ont adapté leur pratique aux modalités d’existences locales. Dans les communautés indigènes, les grandes distances limitent en théorie la diffusion de la maladie, mais la plupart des familles vivent dans des foyers multigénérationnels. Les enquêteurs ont concentré leurs efforts sur les aînés en demandant à ceux qui avaient des symptômes, qui sont vos grands-parents et en faisant vérifier très vite leur taux d’oxygénation du sang. Au final, les réserves ont eu un taux de mortalité moindre que le reste de l’Arizona. Comment une application générique aurait-elle pu fonctionner aussi bien que l’adaptabilité dont ont su faire preuve les personnes chargées du suivi de contact sur les réserves indiennes d’Arizona ?, questionne Landau.

Tracer les contacts n’est pas facile. Les résultats ont d’ailleurs été différents d’un pays à l’autre, d’une communauté à l’autre. À Taïwan, une personne contaminée fournit en moyenne 15 noms, en Espagne c’est seulement 3, à Philadelphie, un tiers des personnes contactées ont affirmé n’avoir été en contact avec personne. Même la réponse à cette question est éminemment sociale et culturelle. Il n’y a pas que la recherche de contact qui est difficile, l’isolement l’est tout autant. Entre mars et août 2020, en Angleterre, seuls 18 % de ceux qui ont eu des symptômes se sont pleinement isolés, pointait une enquête. L’absence de services sociaux dédiés explique largement ces lacunes : aller chercher à manger, travailler et gagner de l’argent, avoir un endroit où s’isoler, s’occuper de proches isolés sont restés des facteurs pesants sur l’inégalité des possibilités d’isolement. L’efficacité d’une application devrait surtout être testée sur différentes communautés avec différents besoins. Pour Susan Landau, assurément, les solutions qui restent sous le contrôle de l’utilisateur sont toujours celles à privilégier.

L’une des alternatives aux applications pour la population a consisté à construire de meilleurs outils pour assurer le suivi de contact « manuel », humain – même si, dans son livre, Susan Landau reste hélas, complètement silencieuse sur les déficiences des outils qui ont armé les enquêteurs : des scripts d’enquêtes robotiques et peu adaptés, en passant par des systèmes d’alerte produits pour passer à l’échelle plus que pour être précis ou pratiques, la difficulté du suivi de contact « manuel » ne semble pas toujours avoir été mieux loti que sa version applicative. Évaluer la portée des formes d’automatisation qui ont été produites spécifiquement pour les systèmes de santé et pour accompagner les efforts de suivis dans le cadre de la pandémie est encore à faire. Maurice Ronai (@mauriceronai) – qui a d’ailleurs produit une veille spécifique sur le sujet sur un blog dédié – tente d’en dresser pour la France dans un très intéressant numéro de la revue Enjeux numériques consacré aux réponses numériques à la crise sanitaire. Il souligne notamment dans un article consacré à « La construction accélérée d’un système d’information épidémiologique » (.pdf) combien le suivi de contact a nécessité d’organiser et de déployer des outils dédiés pour identifier les clusters. Mais, comme il le souligne dans un second article sur « La numérisation à marche forcée du système de santé face à la Covid-19 » (.pdf), en reprenant les constats accablants de la commission d’enquête du Sénat, « le constat global du traçage reste celui d’un échec ». Traçage lacunaire, défaut d’interconnexion des outils, défaut d’implication, éviction des médecins… L’enjeu de construction d’un millefeuille de surveillance épidémiologique pour armer le suivi et la décision médicale s’est fait dans l’urgence, négligeant l’interopérabilité, favorisant une forme d’industrialisation des réponses pour passer à l’échelle des besoins au détriment de leur qualité. Comme le pointaient les chercheurs en sociologie des organisations dans Covid-19 : une crise organisationnelle (Presses de SciencesPo, 2020), la coopération et la coordination sont restés le maillon faible, et les dispositifs techniques mis en place n’ont pas créé l’organisation nécessaire – pour autant qu’ils puissent suffire à le faire (voir notre article, « Dégouverner »).

Dans l’urgence, nous n’avons pas eu de discussion publique quant à savoir si le déploiement d’applications était une mesure de politique publique appropriée, regrette la chercheuse. Les autorités de santé utilisent les termes « surveiller et confiner » pour décrire les plus puissants outils qu’ils mobilisent à l’encontre des maladies. Avec la pandémie, les modalités de surveillance et de confinement ont été multiples et souvent sévères. Google et Apple ont été les premiers à proposer des solutions techniques dès avril 2020. En juin, SwissCovid a été la première application disponible. Durant l’été, nombre d’autres applications ont été lancées en Europe. Google et Apple, qui ne sont ni l’un ni l’autre des autorités de santé bien sûr, ont posé les bases des briques techniques et imposé à tous, par leurs spécifications, de nombreuses limites aux autres outils. S’ils ont promu des garanties comme la protection des données des utilisateurs, ils ont minimisé d’autres éléments, comme la protection des utilisateurs par exemple en optant pour une solution qui favorise de hauts niveaux de faux positifs et de faux négatifs. Pour Landau, si les applications sont des outils de santé publique, alors il faut pouvoir savoir si leur usage améliore l’équité de santé ou la dégrade.

Les applications de suivi de contact ont été une expérimentation sociale dans le monde réel. Le problème, estime Landau, c’est le risque de dérapage, de glissement qu’introduisent ces outils… Ils introduisent l’idée que la collecte de données de ce type peut devenir finalement une nouvelle normalité. Même si nous pensons aux outils les plus respectueux de la vie privée parmi ceux déployés, ils restent conçus pour révéler par qui, quand et où, notre exposition à eu lieu. Cette idée seule finalement pourrait être utilisée à d’autres objectifs, comme pour nous mettre à l’abri de la criminalité. La police utilise déjà les données de proximité des antennes de téléphones mobiles pour retrouver des criminels. Des autorités plus répressives pourraient vouloir user d’informations de ce type pour analyser les relations politiques d’opposants, de migrants, d’activistes… ou de lanceurs d’alertes ! L’usage de ces outils nous conditionne à accepter qu’il soit normal que nos outils tracent nos contacts, comme le font déjà nombre d’applications commerciales et sociales que nous utilisons tous les jours, même si nous vendre de la publicité n’a pas les mêmes conséquences que nous dénoncer aux autorités.

Les épidémies sont à la fois un phénomène médical et social. La technologie ne suffit pas à nous protéger. Sans infrastructures de santé, sans lois qui empêchent les autorités chargées du maintien de l’ordre ou de l’immigration d’accéder à ces informations, sans infrastructures de santé pour soutenir financièrement les gens en difficulté quand on les isole, la technologie seule a une valeur limitée. Oui, les épidémies tuent des gens. Reste que décider comment prioriser les interventions sociales et médicales nécessaires pour mener une lutte la plus efficace possible n’est pas immanent. Nos efforts techniques n’ont pas été des plus probants dans la lutte contre l’épidémie, comme s’en désolaient de nombreux acteurs il y a quelques mois. Comme souvent, semble-t-il, plus il y a d’impacts sociaux, moins la technologie est une bonne réponse au problème.

Enfin, toutes ces difficultés évoluent également dans le temps et c’est également un problème. Les autorités de Singapour par exemple ont d’abord affirmé que l’application de suivi de contact ne servirait qu’au suivi de contact, avant de l’utiliser pour faire surveiller l’application de la loi par les autorités chargées du maintien de l’ordre. De volontaire, l’application est devenue obligatoire pour accéder aux bureaux et locaux, passant d’une application de suivi de contact à une prémisse de passe sanitaire… Nombre d’applications ont ainsi changé d’objectifs et de fonctions au fil du temps, sans qu’on sache toujours très bien l’étendue de leurs fonctions d’ailleurs. Mais il n’y a pas que les applications qui ont évolué, le contexte sanitaire et le rapport des gens à la maladie a évolué également. Un récent article du Monde rapportait par exemple que le traçage des cas contacts avait ralenti avec l’extension de la vaccination. Alors que les agents chargés du suivi de contacts recueillaient environ 2,3 noms de personnes exposées en mars 2021, elle ne serait plus que de 1,4 contact désormais. Comme le rappellent les spécialistes du traçage, le nombre moyen de contacts déclaré a tendance à baisser lorsque la circulation du virus est forte. En fait, trop souvent, les outils se vident de leur sens à mesure qu’on les utilise, comme si, finalement, les données qu’ils produisent n’avaient une utilité que le temps qu’elles produisent la confirmation qu’on en attend. Comme s’il fallait toujours que la solution technique déroule ses impasses pour se rendre compte qu’elle ne les résout pas. La publication d’information sur les foyers de contagion a été arrêtée en novembre 2020 en France au prétexte qu’elles restaient fortement sous-estimées et qu’ils ne représentaient qu’une très faible part de l’ensemble des personnes positives. Au final, c’est comme si chaque outil, derrière ses promesses, ne faisait que révéler surtout et partout ses limites.

La pandémie interroge le sens même et la portée des infrastructures de surveillance que nous sommes capables de produire pour nous protéger. Nous n’avons pas attendu la pandémie pour construire des réseaux de vidéosurveillance disproportionnés à leurs efficacités. C’est un peu finalement comme si la pandémie avait favorisé nos pires travers, comme si la sécurité pouvait être notre seule liberté, alors qu’elle n’en est qu’une composante parmi d’autres, qui semble d’ailleurs bien plus dépendre de l’égalité et de la fraternité que de la seule surveillance.

Hubert Guillaud

En 2018, McKinsey a publié un épais rapport sur la révolution de l’automatisation, prédisant que les robots et l’IA allaient rendre obsolètes la plupart des travailleurs. Mais ce n’est pas la tendance qu’on lisait dans les statistiques publiées par le ministère américain du Travail, explique l’historien Jason Resnikoff, dans les bonnes feuilles d’un livre à paraître La fin du travail : comment la promesse de l’automatisation a dégradé le travail (Labor’s End : How the Promise of Automation Degraded Work, University of Illinois Press, 2021) publiées par le magazine en ligne Zocalo. Les statistiques montraient qu’entre 2005 et 2018, alors que nous étions « à l’aube d’une nouvelle ère d’automatisation », les États-Unis ont connu une chute remarquable de la productivité du travail, avec une croissance moyenne inférieure de 60 % à la période précédente, 1998-2004. Alors que la promesse de notre remplacement par les machines aurait du faire augmenter la productivité du travail, on constatait l’inverse ! Pour les chercheurs, cet effondrement de la productivité était un phénomène économique majeur, apportant un démenti cinglant à la perspective d’un progrès technologique inédit. Très concrètement, nombre de personnes expérimentent cette dichotomie en étant soit sous-employées ou inemployées, soit en travaillant plus que jamais. Alors que les ordinateurs étaient supposés réduire le temps de travail, ils nous ont surtout fait travailler plus que jamais !

L’automatisation : travailler plus et moins cher

Pour Jason Resnikoff, les promesses infinies de l’automatisation de l’industrie automobile ou de l’informatique étaient un cadre de discussion permettant de tirer profit de l’enthousiasme technologique d’une époque. Mais pour lui, le terme même d’automatisation relève bien plus d’une invention idéologique que technique qui n’a jamais vraiment profité aux travailleurs, puisque son sens même signifiait « l’écrasement mécanique des travailleurs », plus que leur remplacement. En fait, si on la lit depuis ce sens, l’automatisation n’a cessé de rendre la vie des travailleurs plus dure et ingrate. Les outils de l’automatisation ont surtout été utilisés pour dégrader, intensifier et accélérer le travail humain et plus encore pour l’invisibiliser derrière les machines.

« Tout ce que l’automatisation a signifié pour nous, c’est le chômage et le surmenage », déclarait un ouvrier de l’automobile dans les années 1950 ; un autre faisait remarquer que « l’automatisation n’a pas réduit la pénibilité du travail… pour le travailleur de la production, cela signifie un retour aux conditions de l’atelier clandestin, une accélération de la vitesse et une adaptation de l’homme à la machine, au lieu de la machine à l’homme ».

L’ordinateur est certainement le meilleur symbole de cette menace et promesse de l’automatisation, explique Jason Resnikoff. En 1952, l’entrepreneur américain John Diebold publie Automation (qui fut traduit en 1957 chez Dunod sous le titre Automatisme, vers l’usine automatique). Il fait de l’automatisation un terme familier et surtout introduit l’idée que l’ordinateur pourrait traiter l’information, tâche qui était jusqu’alors dévolue aux employés de bureau, en permettant d’échapper aux limites humaines de ces traitements, d’une manière plus rapide et plus fiable. Les employeurs ont été séduits par ce message, non pas tant par l’attrait de puissance ou le fantasme de machines qui écriraient toutes seules… mais parce qu’au sortir de la Seconde Guerre mondiale, les entreprises s’inquiétaient de la syndicalisation, et ce alors qu’elles s’étaient dotées d’un nombre sans précédent d’employés de bureau à bas salaire, essentiellement des femmes. « Entre 1947 et 1956, l’emploi de bureau a augmenté de 50 %, passant de 4,5 à 9 millions de personnes. En 1954, une femme salariée sur quatre aux États-Unis était employée de bureau. » Le boom d’une main d’œuvre de bureau à bas salaire était en train de transformer les bureaux en usine. Les ordinateurs ont été installés, pas tant pour accélérer le traitement que pour réduire le nombre d’employés de bureau nécessaires… sans y parvenir.

En effet, le nombre d’employés de bureau aux États-Unis a continué à augmenter jusque dans les années 80… tout comme l’information. Si les ordinateurs étaient capables de traiter l’information rapidement, la saisie de données, elle, restait une tâche humaine. « Incapables d’éliminer la main-d’œuvre humaine du travail de bureau, les gestionnaires sont revenus à ce qu’ils faisaient depuis l’aube de la révolution industrielle : ils ont utilisé des machines pour dégrader les emplois et économiser de l’argent. » Ils se sont inspirés du Taylorisme et des manuels de « gestion scientifique du travail » du début du XXe siècle et ont rebaptisé cette pratique l’automatisation… Dans une grande compagnie d’assurance des années 50, il y avait 20 employées de bureau pour chaque directeur. Bien moins de secrétariat qualifié et bien rémunéré qu’on le pense. 3 personnes sur 5 qui travaillaient avec des ordinateurs dans l’industrie de l’informatique dans les années 50 et 60 étaient des employés de bureau mal rémunérés. Cette réalité pourtant a été masquée par une rhétorique vantant l’automatisation…

« L’automatisation » dans les bureaux américains signifiait que davantage de personnes étaient contraintes de travailler comme des machines. Parfois, cela permettait aux employeurs d’engager moins de travailleurs, comme dans les industries de l’automobile, des mines de charbon et de l’emballage de la viande, où un employé faisait désormais le travail de deux. Parfois, il a fallu embaucher davantage de personnes, comme dans le cas du travail de bureau. »

Pour Jason Resnikoff, c’est encore l’histoire de l’automatisation aujourd’hui, explique-t-il en évoquant Slack, cet outil qui permet de partager un espace de discussion dans les organisations. Sur son site web, Slack présente son application comme un outil de flexibilité, quand il permet surtout d’insinuer l’idée d’un travail sans fin, où que vous vous trouviez et à n’importe quelle heure. Il y a 70 ans, les employeurs ont utilisé les technologies pour faire travailler plus et moins cher. On y est encore !

C’est visiblement le propos du livre de Resnikoff : nous aider à voir l’automatisation comme une idéologie plutôt que comme une technologie, permettant de masquer l’intensification du travail humain, de nous faire croire que la liberté consiste en l’absence de travail, et de minimiser le rôle politique de nos lieux de travail. Comme nous l’expliquait déjà Jerry Muller dans son livre, le taylorisme a permis d’éclipser ce qui était important au profit de ce qui pouvait être mesuré. À croire que nous sommes toujours englués dans ces difficultés.

Coincés dans le paradoxe de la productivité de la technologie : l’accélération plus que l’efficacité

Voilà longtemps que le paradoxe de la productivité des nouvelles technologies est mis sur la sellette, à l’image des travaux de l’économiste Robert Gordon qui montrent que les technologies de l’information et de la communication n’ont pas eu un fort impact sur la productivité. Pour certains, cela s’expliquerait par le fait que les développements technologiques seraient finalement toujours insuffisants. D’autres estiment que c’est la proposition de valeur même de nos outils technologiques qui est inadaptée.

C’est le propos notamment de l’éditorialiste et professeur d’informatique Cal Newport (blog) dans son dernier livre : Un monde sans e-mail : réimaginer le travail à l’ère de la surcharge de communication (A World Without E-mail : reimagining work in an age of communication overload, Penguin Random House, 2021, non traduit). Comme on peut le lire sur Wired ou le New Yorker, la technologie ne nous a pas aidés à travailler plus efficacement. En 1997 déjà, l’historien des technologies Edward Tenner (@edward_tenner) dans Why Things Bite Back : Technology and Revenge of Unintended Consequences (Vintage, 1997, non traduit) interrogeait le paradoxe de la productivité malgré l’introduction de l’ordinateur de bureau et soulignait déjà que la facilité n’était pas l’efficacité. « L’ordinateur a rendu certaines activités courantes plus efficaces, mais il a aussi créé davantage de travail global à effectuer », explique Newport à la suite de Tenner. En 1992, l’économiste Peter Sassone, étudiant l’impact des nouvelles technologies dans de grandes entreprises, avait montré que celles-ci avaient licencié du personnel avec l’arrivée des ordinateurs, concentrant le travail en moins de mains. Les petits employés de bureau ont alors disparu, mais, pour maintenir le niveau de production, les entreprises ont embauché plus d’employés de niveau supérieur. Pour Sassone, l’introduction des ordinateurs pour améliorer la productivité a surtout coûté plus cher aux entreprises.

Dans son livre, Newport pointe les limites de nos modes de communication actuels, que ce soit par e-mail ou via des outils comme Slack. En 2005, nous envoyions et recevions en moyenne 50 mails par jours. En moyenne, nous en sommes à 126 aujourd’hui, se désole-t-il. En 2017, l’économiste Dan Nixon soulignait que la productivité dans les économies avancées était restée faible à l’époque de l’arrivée massive des smartphones. Pour Newport, les innovations technologiques visant à rendre la communication plus rapide et omniprésente n’ont pas réussi à changer les choses. En fait, nos outils n’ont cessé d’accélérer la communication, à l’image de Gmail, qui complète nos réponses avant qu’on les écrive et qui classe et hiérarchise nos messages avant qu’on les lise. Mais accélérer les tâches ne garantit pas de nous rendre plus productifs ! S’il est facile d’envoyer un rapport à ses collègues, il est certainement plus difficile qu’avant de trouver le temps de le lire voir de le rédiger. Pour Newport, nous ne pouvons pas nous contenter de multiplier les outils, comme le font trop d’entreprises en disant aux gens débrouillez-vous. Ce qui nous manque souvent, c’est de la structure, de l’organisation. Pour le dire plus simplement, l’accélération technique ne produit ni méthode ni productivité.

Dans un autre article de Wired, la journaliste Anne Helen Petersen (@annehelen, blog), qui a publié Je ne peux même pas : comment les Millennials sont devenus la génération Burnout (Can’t Even : How Millennials Became the Burnout Generation, Mariner Books, 2020, non traduit), fait le même constat. Au lieu d’optimiser le travail, la technologie a surtout créé un barrage ininterrompu de notifications et d’interactions… Avec les réseaux sociaux de travail, la dépendance au travail (le Workaholisme) a cessé d’être un problème personnel. Comme si le numérique avait aboli toute limite au travail et renforcé l’anxiété générale. Nous travaillons tout le temps pour compenser la « sous-évaluation générale de notre propre travail », constate de dépit la journaliste. « Plutôt que de briser le système », nous nous fondons dans ses spécificités. Le Burnout n’est pas une affliction temporaire, c’est la condition de travail moderne.

« Internet n’est pas la cause première de notre épuisement. Mais sa promesse de « nous faciliter la vie » est profondément brisée, car elle est responsable de l’illusion que « tout faire » n’est pas seulement possible, mais obligatoire. Lorsque nous n’y parvenons pas, nous ne blâmons pas les outils défectueux : nous nous en prenons à nous-mêmes. Au fond de nous, nous savons que ce qui exacerbe l’épuisement professionnel n’est pas vraiment l’e-mail, ou Instagram, ou un flux constant d’alertes. C’est l’échec continu à atteindre les attentes impossibles que nous nous sommes fixées. »

Même constat de Newport dans le New Yorker : le stress est devenu la mesure par défaut pour juger si nous sommes suffisamment occupés ! Et les systèmes de travail sont devenus suffisamment autonomes pour évoluer indépendamment de tout plan rationnel. Pour Newport, le problème repose surtout sur l’autonomie accordée aux individus par nos systèmes techniques pour décider de leur travail ! Pour redevenir plus productif, il faudrait que nous en fassions moins.

Reste à savoir si ces descriptions de l’enfer des travailleurs intellectuels dépassent le cadre des Bullshit Jobs. La désorganisation de nos outils numériques favorise-t-elle l’autonomie, comme s’en désole Newport, alors que ceux-ci produisent une surveillance sans précédent de nos pratiques ? Certes, ils aident peu à démêler les priorités, comme le soulignaient les chercheurs en économie Sheila Dodge, Don Kieffer et Nelson Repenning, et malgré leurs aspects symbiotiques, produisent surtout de l’individualisation des collectifs de travail, chacun déchargeant son travail sur d’autres, au détriment de son organisation.

Pourtant, renvoyer la culpabilité à l’utilisateur final, au dernier maillon de la chaîne, est trop commode pour convaincre. Certes, ils désorganisent bien plus qu’on le pense. Mais est-ce suffisant pour expliquer la stagnation endémique de la productivité ?

L’automatisation n’annonce pas la fin du travail : le problème est bien plus économique que technologique

Alors, prenons un peu de hauteur. On peut également regarder cette question, non pas à un niveau individuel ou organisationnel, mais à un niveau macro-économique.

Cet été, le journaliste économique de Médiapart, Romaric Godin (@RomaricGodin) – qui a signé en 2019 l’excellent La guerre sociale en France (La Découverte) -, revenait sur le récent livre de l’historien de l’économie Aaron Benanav (@abenanav) : L’automatisation et l’avenir du travail (Automation and the Future of Work, Verso, 2020, non traduit).

Pour Benanav, comme pour nombre d’autres analystes que nous avons évoqué ici, « l’idée que la désindustrialisation et le sous-emploi endémique s’expliquent par une accélération de l’automatisation et de la technologie ne résistent pas aux faits ». Comme l’explique Juan Sebastian Carbonell dans un compte-rendu du même livre pour Grand Continent : « la source du chômage et du sous-emploi chroniques n’est pas technologique, mais économique ». La crainte d’une automatisation totale qui se débarrassait des travailleurs ne résiste pas aux perspectives. Depuis 4 décennies, la croissance de la productivité n’a cessé de ralentir, alors que les théoriciens de l’automatisation n’ont cessé de prédire le contraire. Pour Benanav, la désindustrialisation de l’emploi n’est pas tant le produit de l’automatisation que du ralentissement de la croissance de la production. Pour l’économiste, ce n’est pas tant la technologie qui détruit l’emploi que la surproduction. La demande ne suit pas l’évolution de nos capacités industrielles que la concurrence internationale a rendue trop redondante. Au final, dans l’industrie automobile par exemple, l’innovation technologique autour d’une quatrième révolution industrielle propose des gains de productivité trop faibles par rapport à l’investissement nécessaire pour faire advenir ce nouvel âge technologique. Il y a des secteurs où la technologie a bien supprimé le travail, l’agriculture industrielle par exemple, mais dans nombre de secteurs, l’investissement technologique n’est pas assez profitable pour se faire. Cela n’empêche pas les gourous de l’automatisation du travail de continuer à être très écoutés : leur capacité à dépeindre un futur meilleur qu’il ne se profile y est certainement pour beaucoup.

Plus qu’un chômage de masse provoqué par la technologie, la perspective à venir tient surtout d’un futur sans emploi de qualité, fait d’emplois précaires, notamment pour les plus défavorisés. Quant à la productivité, selon Kim Moody, elle serait plus le fait de l’innovation organisationnelle et du lean management que de l’automatisation technologique.

Pour dépasser cette impasse, il faudrait réorganiser la production autour d’une logique de dépassement de la rareté (post scarcity) c’est-à-dire partir des besoins collectifs pour répartir le travail, estime Benanav. « Ce n’est plus alors la logique du profit qui décide de l’attribution de l’emploi, mais celle du bien commun, prenant en compte les besoins, mais aussi les limites écologiques et sociales. »

On semble en être encore très loin.

Reste que toutes ces critiques semblent s’accorder sur un point : l’automatisation pour elle-même ne nous conduit nulle part.

Hubert Guillaud

Il est temps de refermer cette 15e saison d’InternetActu.net (@internetactu) ! Merci à tous de votre fidélité !

Cette année, nos articles (une petite quarantaine) ont réalisé en moyenne 25 000 vues (tout support confondus). InternetActu.net repose essentiellement sur 4000 à 5000 lecteurs très fidèles, qui lisent quasiment chacun de nos articles, que ce soit par e-mail, RSS ou sur le site. Une audience plus resserrée qu’il y a quelques années, notamment parce que nous avons arrêté les partenariats extérieurs et les republications. En retour, l’audience se révèle assurément moins volatile et plus fidèle – pour ce que nous en mesurons, à savoir très peu, puisque depuis 2016 nous avons supprimé tout traceurs d’audience autre qu’un simple compteur de vue par article, préférant l’autonomie et la liberté de nos lecteurs à leur contrôle, en accord avec nos convictions.

Nous espérons en tout cas que cette saison vous a nourri de sujets, de concepts, d’idées, de leviers et d’exemples pour mieux comprendre les évolutions du numérique. C’est en saisissant ses effets en profondeur que nous nous armerons collectivement pour le réorienter.

Nous avons consacré beaucoup d’articles à évoquer les risques que fait peser le numérique sur la société et notamment les dérives de l’aide sociale automatisée relatives à l’enfance, aux prestations sociales, en passant par l’extension des boites noires aux dangers de l’exécutabilité des règles, de la mal-mesure, que cela concerne la santé et la médecine comme la modération automatisée…

Nous avons plongé en profondeur dans quelques livres, toujours critiques, qui permettent de renouveler nos compréhension du numérique et de ses effets, comme Race after technology, La nouvelle guerre des étoiles, Dictature 2.0, L’âge du capitalisme de surveillance, Design Justice, Atlas of AI et Contrôler les assités…

Nous avons profondément interrogé le sens du développement informatique, sa prétendue robustesse, ses enjeux de société, les limites des méthodes prédictives, l’addiction algorithmique, les limites de l’audit algorithmique, celles de la critique, les causes de ses échecs et pannes, ses limites à auto-corriger ses propres errements, et son idéologie même.

Nous avons également instruits des questions pour retrouver des modalités d’action : l’algovernance, l’enjeu du renouveau des licences libres et celui de libérer les modes de gouvernance, interroger la question des modalités de la dé-surveillance (et ses enjeux), le levier du définancement, l’enjeu à créer une diversité de services numériques publics… et nous avons cherché à interroger les modalités possibles d’une politique numérique de gauche.

Nous avons pointé le besoin d’une mobilisation plus forte pour défaire les développements toxiques du numérique reposant sur la transparence ou son exact contraire, le risque d’une opacité sans limite ou encore l’enjeu à réparer l’ingénierie du social…

Enfin, nous avons également tenté d’instruire des questions plus difficiles liées aux transformations qu’à introduit la crise pandémique : sur la difficulté à saisir l’incertitude, sur le constat que la démultiplication des données ne fait advenir aucune vérité, sur les enjeux de la visioconférence dans laquelle nous avons tous basculés, sur la désorganisation ou encore l’avènement d’une ville de la souscription…

Nous espérons que tous ces sujets vous ont apporté de la matière pour comprendre et ré-orienter le développement technique.

Nous vous invitons à continuer à nous lire bien sûr et surtout à nous partager, à nous aider à nous faire découvrir à de nouveaux lecteurs encore et toujours, à nous référencer… Nous espérons surtout que nos propos génèrent plus de discussions demain qu’aujourd’hui, parce que plus que jamais le numérique nécessite d’être débattu, mis en question, critiqué.

Bonnes vacances à tous et à très vite !

Hubert Guillaud

La revue Terrain (@RevueTerrain, blog, index) publie un hors-série sur le « sublime bureaucratique », coordonné par les ethnologues et sociologues Emmanuel Grimaud (qui vient de faire paraître par ailleurs Dieu point zéro, PUF, 2021), Anthony Stavrianakis et Camille Noûs (@NousCamille, un pseudonyme collectif émanant du groupe RogueESR –@rogueesr – personnalisation d’une communauté académique critique issue du laboratoire délocalisé et interdisciplinaire Cogitamus – @CogitamusLab).

Un hors série qui plonge dans les formulaires et les techniques de production de la rationalité administrative, entre admiration et terreur. Dans ces exercices d’exorcisme (magnifiés de contributions graphiques provenant d’une belle diversité d’artistes pour mieux les subjuguer), les chercheurs soulignent, via nombre d’exemples, envoûtants, combien la technicité ne pourra jamais embrasser le monde. L’ensemble livre de belles épaisseurs sur l’absurdie à laquelle nous participons, que ce soit sur des objets convenus, comme Parcoursup – « Numéritocratie », une synthèse parfaite du sujet par la toujours remarquable Isabelle Bruno – , le Crédit impôt recherche – « L’équation managementale » par Nicolas Bataille qui s’intéresse aux contorsions à produire des justificatifs – , le FMI – « Dessine-moi un FMI » d’Horacio Ortiz qui s’interroge sur la difficulté à saisir une organisation par ses productions… Ou des objets qui le sont bien moins comme la formule du taux de mortalité journalier des usines à poulet en Europe – « La formule de la chimère » de Gil Bartholeyns – qui vient de publier Le hantement du monde (éditions du Dehors, 2021) qui interroge l’origine même de la production de normes. Ou encore l’incroyable article d’Etienne Bourel, « (Dé)rég(u)ler la forêt » qui s’intéresse aux diamètres minimum d’autorisation de coupe d’arbres dans l’exploitation forestière au Gabon. Les formulaires de comités d’éthique pour produire de l’éthique de Christos Panagiotopoulos dans « Déformuler » qui souligne combien la variabilité des protocoles de recherche produit d’inconsistance. Les calculs complexes du taux d’incapacité qui souligne les limites de la reconnaissance du handicap, comme si l’administration était incapable finalement de produire la sensibilité nécessaire à mesurer le sensible – « 50 nuances d’incapacité » par le groupe d’intervention Usher-Socio. Ou encore une plongée glaçante dans le formulaire de calcul du niveau de coma (le « Coma recovery scale revised ») par Sélima Chibout qui nous rappelle que plus la réalité est insaisissable, plus nous produisons des dispositifs inopérants… Ou encore ce puissant retour sur la naissance d’Excel, « La feuille qui calcule le réel » par le Recursion Lab, qui met en abîme le réductionnisme de la mise en cellule du calcul…

Nous sommes cernés par des catégorisations qui segmentent le réel sans jamais parvenir à le réduire, nous explique ce numéro. A mesure que nous recherchons plus d’efficacité, nous démultiplions les procédures certes, mais surtout les confusions… Nous éloignant toujours plus du vivant qu’on voudrait saisir. Cette « descente » dans le cœur des normes, des formulaires, des calculs, des procédures montre assurément que c’est là désormais que la politique se produit. Comme l’expliquent dans leur introduction Emmanuel Grimaud et Anthony Stavrianakis, l’envoutement se referme sur nous. « Nous ne pouvons imaginer d’autre solution » à la rationalité et à la technicité que nous mettons en œuvre, alors qu’elle ne cesse de produire ses propres limites. Nous sommes pris dans le cercle infernal de notre propre désir de règles « claires, édictées, matérialisées, formulées »… « Peut-on contrer la pulsion organisationnelle par autre chose que de l’organisation ? » Passionnant !

Hubert Guillaud

PS : nous ajouterons les liens vers les publications en ligne lorsqu’elles seront disponibles.

Pour les ingénieurs, bien souvent, la question des biais algorithmiques n’est qu’un problème technique à corriger. Le fait qu’une IA ne soit ni neutre, ni loyale, ni équitable n’est finalement qu’une question de modélisation à ajuster, de données à corriger, de calculs à améliorer…

Pour remédier aux discriminations, il suffirait finalement de calculer des mesures correctrices proportionnelles au niveau de discrimination, une discrimination positive en quelque sorte. Ce n’est peut-être pas si simple…

Kate Crawford (@katecrawford) le disait très bien : quelle correction appliquée ? La question est bien plus compliquée qu’une correction relative à des problèmes de physique, comme de corriger les turbulences d’un avion ou le freinage d’une voiture. Modéliser la société n’est pas la même chose que modéliser des problèmes de physique, disait déjà le physicien Pablo Jensen…

Reste que la question de la correction des biais des systèmes fait de plus en plus l’objet d’une attention forte des autorités. Et trouver les préjugés de l’IA est devenue une activité en plein essor pour les startups et les grands noms de la technologie, rapporte le journaliste Cade Metz (@cademetz, qui vient de publier Genius Makers, Penguin, 2021) dans le New York Times.

Le National Institute of Standards and Technology a publié récemment une proposition détaillant la manière dont les entreprises peuvent lutter contre les préjugés de leurs systèmes. Fin 2019, les régulateurs de l’État de New York ont ouvert une enquête contre United Health Group accusé d’avoir utilisé un algorithme dans des hôpitaux qui donnait la priorité aux patients blancs sur les patients noirs (et ce n’est pas le seul exemple des problèmes que l’usage de l’IA en médecine pose, cf. notre article « En médecine, l’IA est en plein essor, mais pas sa crédibilité »). Plus de 100 millions de dollars ont été investis au cours des 6 derniers mois dans des entreprises explorant les questions éthiques liées à l’intelligence artificielle, estime PitchBook, un cabinet de recherche qui suit les activités financières des entreprises. Software Alliance (@BSAnews) a proposé récemment un cadre détaillé (.pdf) pour lutter contre les préjugés de l’IA en pointant le fait que certaines technologies automatisées nécessitaient une surveillance humaine régulière. Les grandes entreprises du numérique travaillent toutes sur ces sujets et déploient des outils dédiés.

Le problème, c’est qu’il n’y a pas de solution simple pour lutter contre les biais. Pour nombre d’entreprises, construire une technologie équitable consiste surtout à ignorer les problèmes de discrimination qu’elle crée (ce qu’on appelle, d’une manière assez paradoxale, « l’équité par inconscience »). L’idée est simple : plus on apporte de données – et notamment des données les plus diverses possibles -, plus l’équité viendra. Pour la Software Alliance cependant, tout comme pour nombre de spécialistes du sujet, cet argument ne tient pas la route. Le problème n’est pas la masse de données, mais bien leur qualité, leur diversité bien sûr, qui n’est pas nécessairement assurée, mais aussi leur validité.

Le problème du problème, c’est que nous ne savons pas à quel point le problème des biais est grave, estime Jack Clark (@jackclarksf), cofondateur d’Anthropic, membre du laboratoire Human-Centered Artificial Intelligence de Stanford (StanfordHAI) et auteur de l’AI Index (@indexingai). C’est-à-dire que si nous constatons que le problème est profond, nous avons du mal à mesurer son impact et ses conséquences.

Des outils pour débiaiser ou des outils pour accélérer et réduire les coûts de la mise en conformité ?

Liz O’Sullivan (@lizjosullivan, blog), conseillère pour Arthur.ai, un système de surveillance de la performance et de détection de biais pour les outils d’IA, membre de l’American Civil Liberties Union et directrice technologique du programme Surveillance Technology Oversight Project, a construit avec Rumman Chowdhury (@ruchowdh), Parity, une technologie qui analyse les données, les technologies et les méthodes utilisées par les entreprises pour créer leurs services et identifier les « zones » à risque. Parity examine les biais, la conformité à la loi et fournit des recommandations dédiées. Mais plus que la responsabilité, Parity travaille sur le risque, une notion bien plus préhensile pour les entreprises. Parity dispose d’une bibliothèque de questions qu’elle adresse aux concepteurs des systèmes selon leurs fonctions et connaissances, des juristes aux scientifiques. Les réponses, souvent en texte libre, sont elles-mêmes analysées par des outils de traitement du langage naturel et traduit en risques, permettant souvent de montrer que les risques des uns ne correspondent pas aux risques des autres. Ensuite, la plateforme recommande un ensemble d’actions pour atténuer les risques, comme de créer un tableau de bord pour surveiller en permanence la précision d’un modèle ou mettre en place des procédures de documentation sur la manière dont il est formé et affiné. Il intègre plusieurs outils de contrôles comme AI Fairness 360 d’IBM ou les Model Cards de Google (voir notre article : « Auditer les algorithmes »). L’enjeu estime Chowdhury consiste à réduire le temps nécessaire à l’audit des systèmes pour le faire plus régulièrement et souvent, soulignant là encore, combien l’automatisation des questions de conformité (et toutes les formes d’évaluations qui les accompagne, à savoir les mesures de qualité, d’impact social et environnemental…), qui nécessitent des évaluations chronophages et coûteuses, doivent être réduites dans le but de produire des économies d’échelles et des gains de productivité. La question de l’automatisation de l’atténuation des biais relève surtout d’une automatisation de l’intégration des formes régulations. Pour Chowdhury pourtant, l’enjeu est de pousser un cran plus loin : il est de faire passer les entreprises du calcul du risque à l’analyse de leurs impacts.

Reste qu’il est finalement troublant que le « débiaisage » de l’IA utilise des technologies d’IA qui peuvent elles-mêmes être biaisées. Si ces outils sont aussi imparfaits que l’IA, ils permettent au moins de souligner certains problèmes, veulent croire les chercheuses. L’enjeu, estime Liz O’Sullivan, c’est surtout de créer du dialogue. Trop souvent le problème vient du fait qu’il demeure ignoré ou que les personnes qui en discutent ont le même point de vue. Ce qui manque, bien souvent, c’est une diversité d’approche de ces questions.

Sur son blog, Liz O’Sullivan revient par exemple sur le besoin d’équité des moteurs de recommandation. Les moteurs de recommandation aident les entreprises à prédire ce qu’elles pensent que vous aimeriez voir. Pour Netflix ou YouTube, cela se traduit par le choix de la vidéo suivante qui vous sera proposé en lecture automatique. Pour Amazon par le choix d’articles à vous suggérer dans un courriel promotionnel. Les systèmes de recommandations doivent donc prendre en compte 2 aspects d’un problème : ce qu’ils recommandent et à qui ils le recommandent.

Pour recommander des contenus, cela nécessite bien souvent d’apprendre d’une combinaison à détecter les articles similaires et les utilisateurs similaires. Les moteurs de recommandation recommandent des articles sur la base de « préjugés inductifs », selon le modèle courant que les utilisateurs qui semblent similaires dans le passé continueront à l’être dans le futur. Le problème de ce biais inductif est multiple. Tout d’abord, il favorise la popularité : quel que soit le contenu que vous recommandez à un utilisateur, tous les chemins de la recommandation mènent à la vidéo la plus populaire du jour. Grosso modo, YouTube va vous recommander la vidéo que tout le monde regarde, comme a pu l’être Gangnam Style à une époque. Le biais inductif implique de ne pas prendre de risque et de montrer ce qui a le plus plu aux autres utilisateurs. À l’inverse, bien sûr, « moins YouTube sait comment les utilisateurs vont interagir avec votre type de contenu, plus il est risqué de le promouvoir », d’où la difficulté à promouvoir des contenus très peu consultés. Bien sûr des correctifs existent. On peut favoriser les contenus récents et émergents et réduire la recommandation vers la vidéo la plus populaire. Si cela permet de favoriser les petits producteurs de contenus, le risque est de donner un avantage disproportionné à des contenus qui ne le méritent pas beaucoup, comme les contenus complotistes ou radicaux. L’IA fait un mauvais travail de prédiction dès qu’elle n’a pas beaucoup de données sur lesquelles s’appuyer. C’est hélas bien souvent le cas.

Un autre parti pris très documenté est la partialité politique, le fait que les moteurs favorisent certains types de contenus politiques ou ne distribuent pas équitablement dans la population les mêmes types de contenus. Le problème ici consiste à mesurer l’impact positif ou négatif d’une recommandation. Une publicité financière peut-être bénéfique si elle recommande le refinancement d’un prêt étudiant (à son avantage) mais nuisible dans le cadre d’un prêt sur salaire par exemple. D’où la nécessité d’évaluations qualitatives, qu’il est pourtant difficile de réaliser à grande échelle sur une multitude d’annonces.

Pour O’Sullivan, il n’y a pas de solution miracle pour atténuer ces biais, mais l’industrie devrait tout de même travailler à mieux le mesurer. Mieux évaluer la discrimination induite d’abord, comme celle produite par les choix et biais des utilisateurs eux-mêmes : « la discrimination involontaire [c’est-à-dire l’équité par inconscience] n’est plus une stratégie viable », met en garde la chercheuse.

En fait, il va peut-être falloir envisager de créer des catégories sur les contenus ou publicités en fonction de leur utilité ou nocivité, explique-t-elle. On peut par exemple distinguer des publicités proposant un enseignement supérieur selon qu’il est dispensé par des universités ou qu’il propose seulement des certifications à but lucratif… Distinguer les contenus selon ce qu’ils proposent serait effectivement une méthode de tri pertinente, mais elle implique des décisions morales et subjectives qui sont bien loin de la neutralité affichée par les plateformes. Pas sûr que grand monde sache ou souhaite de cette solution. Ensuite, il va s’agir de mesurer les recommandations selon les catégories protégées et la qualité de ce qui est recommandé – aux États-Unis, les groupes protégés sont des catégories de personnes qui disposent d’une protection spéciale pour limiter leur discrimination. Pour Liz O’Sullivan, l’atténuation des biais et préjugés est une quête sans fin nécessitant de tester ad nauseam les systèmes. C’est-à-dire « veiller, en tant que praticiens, à apporter une éthique d’amélioration continue à ces enjeux, sans jamais considérer que ce qui a été fait est « suffisamment bon » ».

Retenons pourtant de cette démonstration une précision importante : évaluer la nocivité nécessite de la catégoriser. Une proposition assez iconoclaste dans un monde où le relativisme règne en maître sous prétexte de sa neutralité, ou une publicité en vaut une autre quel que soit le produit proposé, ou l’efficacité d’un calcul est toujours évaluée par rapport aux gains financiers qu’il génère avant tout autre critère.

D’autres outils que Parity existent également pour surveiller les services d’IA, comme le rapporte la Technology Review dans un article sur les « startups de l’éthique ». Celles-ci proposent différents types de produits : des outils d’atténuation des biais à des modalités d’explicabilité des traitements. Fiddler (@fiddlerlabs), dirigé par Krishna Gade (@krishnagade), ancien responsable du News Feed de Facebook où il a développé une première base de son travail qui a donné la fonctionnalité « Pourquoi est-ce que je vois ça ? », travaille principalement sur l’explicabilité. Mais Fiddler permet également de suivre les performances des modèles en fonction de leurs résultats.

Il a même récemment introduit un détecteur de biais, qui produit des alertes si par exemple vous utilisez le code postal pour calculer un prêt immobilier ou des taux de faux positifs par catégories d’utilisateurs. Pour cela, Fiddler a développé des « métriques d’équité », basées sur les catégories légales des groupes protégés que nous évoquions ci-dessus. Par exemple, il calcule un « impact différencié » qui mesure la discrimination indirecte qui affecte de manière disproportionnée les membres d’un groupe protégé par rapport aux autres. Il calcule également la « parité démographique » : c’est-à-dire compare si les différents segments d’une classe protégée reçoivent des résultats à taux égaux. Il calcule « l’égalité des chances », c’est-à-dire évalue si toutes les personnes sont traitées de manière égale ou similaire et ne sont pas désavantagées sur la base de résultats différents. Enfin, il calcule un « avantage de groupe », c’est-à-dire détermine le taux auquel un événement particulier est prédit au sein d’un sous-groupe par rapport au taux auquel il se produit réellement.

Dans un autre billet de blog, le PDG de Fiddler explique sa collaboration avec FinRegLab, une équipe de chercheurs de l’École d’affaires de Stanford qui travaille à un système d’évaluation et d’explicabilité des outils de crédits (et notamment le fameux score Fico qui détermine les possibilités d’emprunt). Les banques et assureurs sont confrontés à plusieurs problématiques avec leurs outils : le manque de transparence quant aux raisons pour lesquelles le modèle a pris une décision, qui impacte tant ces entreprises et leurs clients que les autorités de régulation. Le manque de visibilité sur les performances des modèles en production, le risque de dérives sur les données et leur difficulté à prendre en charge les changements. Par exemple, avec la pandémie, la distribution des demandeurs de prêts s’est radicalement transformée ce qui a rendu l’évaluation du risque bien plus difficile. Les banques doivent également apprendre à gérer les biais qui peuvent se produire à l’encontre des utilisateurs finaux, pour ne pas connaître d’incidents comme celui de l’Apple Card, la carte de crédit d’Apple qui était censée désavantager les femmes par rapport aux hommes (soulignons pourtant qu’une enquête du département des services financiers de l’État de New York n’a trouvé aucune preuve concrète de ces accusations en analysant le système, rapporte Bloomberg). Enfin, dans la finance, le besoin de conformité réglementaire est assez fort… Dans son utilisation par les banques, Fiddler par exemple produit une surveillance permanente des modèles et permet de produire des alertes lorsque les modèles dérivent.

Arthur AI et Weights & Biaises proposent également des plateformes de surveillance. Le premier met l’accent sur l’explicabilité et l’atténuation des biais, tandis que le second suit les expériences d’apprentissage automatique pour améliorer la reproductibilité.

Pour O’Sullivan et Chowdury de Parity, toutes ces solutions plus ou moins concurrentes sont une bonne chose, car il n’y a pas une seule méthode pour créer de la responsabilité. On l’avait déjà constaté avec les innombrables méthodes, matrices et checks-lists existantes qui sont autant de tentatives à trouver des modalités de dialogues pour intégrer des considérations sociales aux systèmes techniques. Pour elles, soulignent-elles, l’enjeu consiste surtout à produire un écosystème qui permette d’interroger les systèmes et de montrer les implications de ces questions pour dépasser les correctifs techniques, les questions de conformité ou la mesure de risque. Comme pour mieux prendre en compte l’impact social des enjeux techniques.

Jusqu’où débiaiser ?

L’un des premiers articles (.pdf) (signé par une cohorte de jeunes chercheurs dont Tolga Boukbasi de l’université de Boston) sur le débiaisage/débruitage de systèmes par d’autres systèmes date de 2016 et portait bien sûr sur une analyse du langage pour détecter les mots genrés et leur appliquer des correctifs (plus précisément, il s’agit de comprendre les « plongements lexicaux », c’est-à-dire les associations implicites entre mots et préjugés). Sur son blog, la data scientist Mitra Mirshafiee, de la communauté de data scientist Analytics Vidhya (@analyticsvidhya, blog) revenait d’ailleurs sur cet article pour nous en expliquer la portée et les limites.

Pour elle, les systèmes d’apprentissage automatique sont en train de s’emparer du monde que nous utilisons quotidiennement et non seulement « ils reproduisent nos anciennes pensées et nos anciens schémas de pensée, mais ils les amplifient en rendant les biais plus répandus encore qu’ils n’étaient ». « Si nous ne prenons pas soin de nos algorithmes, ils continueront à étiqueter les personnes à la peau foncée comme des gorilles, à montrer aux femmes programmeurs informatiques et mathématiciennes des offres d’emploi de nettoyage et de ménage, à penser que tous les musulmans soutiennent le terrorisme, etc. »

En 2013, l’informaticien Tomas Mikolov et son équipe chez Google travaillaient à ce que les algorithmes de recherche répondent mieux aux questions des gens. Ils ont ainsi inventé word2vec, un algorithme non supervisé auto-encodeur. Ainsi, lorsqu’on lui donne une phrase, il produit pour chaque mot de cette phrase une série de nombres représentant les aspects les plus importants de ces mots. Ainsi mesurés, encastrés, on peut calculer des relations entre les mots, trouver des liens cachés. Les informaticiens ont travaillé à trouver des analogies entre les mots pour mieux mesurer leurs différences… par exemple pour calculer si l’analogie entre homme et femme était différente de celle entre femme et fille ou entre homme et fille. En produisant des analogies, ils ont ainsi remarqué que homme était lié à « informaticien »… et demandé si femme était lié à un terme comparable. Mais plutôt que de produire le terme informaticienne, la machine a répondu « femme au foyer ». En fait, ils ont ainsi montré que certains termes étaient genrés dans leur utilisation même : « libraire » s’associe plus au pronom « she » (elle) que « maestro » qui ne qualifie que des « he » (il) ! En observant comment des mots pourtant neutres en terme de genre sont associés à des genres, les chercheurs peuvent alors produire un système pour neutraliser leur connotation cachée. La démonstration de Mitra Mirshafiee est bien sûr un peu complexe, mais elle souligne comment ces calculs permettent de réduire les stéréotypes. Pas totalement pourtant : c’est toute la limite de la correction ! Elle reste limitée et incomplète. Les résultats d’atténuation sont notables, mais pas total… et restent limités à des dictionnaires terminologiques eux-mêmes élémentaires ou critiquables, qui concernent certains types de relations entre certains types de mots… Calculer et rectifier les biais de tous nos lexiques semble bien compliqué et produira peut-être des corrections… Le risque est que ce soit là un travail toujours inachevé !

D’où le fait qu’on parle bien plus de « réduction » ou « d’atténuation » de biais que de suppression… en employant via des techniques de « contraintes d’équité », de « régularisations de préjugés » ou de « débruitage contradictoire ». C’est ce que montre très bien (même si c’est là encore assez technique) les publications de la data scientist Haniyeh Mahmoudian sur les techniques d’atténuation des biais pour Towards Data Science.

L’article de Tolga Boukbasi et ses collègues a certes donné des ailes à l’automatisation du débiaisage… Pourtant, malgré quelques succès – que les techniques des startups qu’on a évoqués ici représentent parfaitement -, le débruitage demeure toujours imparfait. Le journaliste Kyle Wiggers (@Kyle_L_Wiggers) pour Venture Beat soulignait d’ailleurs que si nombre de plateformes utilisent des systèmes de détection de la toxicité du langage (notamment Jigsaw d’Alphabet/Google), ils demeurent souvent bien peu performant. Les chercheurs du Allen Institute ont étudié (.pdf) des techniques pour remédier aux déséquilibres lexicaux (le fait que des mots ou ensembles de mots soient toxiques) et dialectaux (le fait que des variantes linguistiques soient marquées comme toxiques) dans les données. Là encore, si les techniques de filtrage réduisent les biais, ils ne les éliminent jamais. Les modèles de filtrage établis continuent de marquer de manière disproportionnée certains textes comme toxiques. En fait pointent les auteurs, l’atténuation des biais dialectaux ne semble pas modifier la propension d’un modèle à étiqueter les textes d’auteurs noirs comme plus toxiques que ceux d’auteurs blancs ! Pour eux, GPT-3 (qui est pourtant l’un des modèles d’analyse linguistique le plus développé) manque certainement d’entraînement sur des variétés d’anglais afro-américains. Dans le gouffre des données, le risque est qu’il n’y en ait jamais assez sans être assuré que plus de données permettent vraiment de réparer les biais que nous ne cessons de produire.

Pour les chercheurs, le débiaisage ne suffira pas… C’est le constat récurrent que font les chercheurs de ces domaines, que ce soit les travaux de Joy Buolamwini (@jovialjoy) et Timnit Gebru (@timnitGebru) sur la reconnaissance faciale, ceux de Guillaume Chaslot (@gchaslot) et l’association Algotransparency sur les recommandations de YouTube, ceux d’Angèle Christin (@angelechristin) sur la justice prédictive… et tant d’autres, dont nous nous sommes régulièrement fait l’écho…

Même constat des chercheurs du Allen Institute. Au final, ils recommandent de mieux identifier le locuteur pour produire de meilleures corrections. Pour produire une meilleure correction des éléments lexicaux et dialectaux, il faudrait donc mieux étiqueter les textes, notamment en les catégorisant selon l’origine de leurs auteurs ! Mais cette perspective se révèle finalement plus inquiétante que les biais actuels des systèmes… puisqu’elle consiste à étiqueter sans fin les personnes sans saisir la notion culturelle des biais. Si on prolonge l’exemple d’une catégorisation de l’origine des textes, il faudrait catégoriser selon les origines de leurs auteurs… au risque de descendre dans des spécifications encore plus problématiques qu’elles ne sont ! À quelles « variétés » (sic) rattacher les textes de Ta-Nehisi Coates, Toni Morrisson, Richard Wright, James Baldwin… ?

À croire que la surproduction identitaire de l’analyse de données répond et amplifie nos névroses identitaires ! En tout cas, c’est typiquement le risque que pointait Kate Crawford dans son livre, Atlas of AI, celle d’une réduction identitaire qui risque d’encourager une mal-mesure sans fin… C’est-à-dire qu’au prétexte de vouloir corriger des biais en ajouter d’innombrables !

Pas étonnant que certains chercheurs souhaitent donc s’éloigner du concept même de biais. La chercheuse à Data & Society, Kinjal Dave (@kinjaldave7), par exemple, estime que le terme, issu de la psychologie sociale, renvoie à l’imperfection des individus, que ce soient les producteurs de systèmes comme tout un chacun, en invisibilisant le fait que les systèmes produisent non pas des biais, mais renforcent des rapports de pouvoir. Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein) dans leur livre Data Feminism, estiment que parler de biais laisse croire qu’on pourrait les corriger : elles préfèrent donc parler d’oppression. Même constat chez d’autres auteurs dont nous avons parlé comme Sasha Constanza-Chock ou Ruha Benjamin… qui parlent elles plutôt de justice, pour pointer également l’importance des rapports de pouvoir masqués par les traitements.

Ultime défiance face à ces technologies d’atténuation. Le risque que les correctifs proposés se démultiplient dans la plus grande opacité, sans qu’on soit assuré de leur efficacité comme du fait qu’ils aient été utilisés ou utilisés correctement. Qui nous assurera que les correctifs techniques ont bien été produits et appliqués ? La perspective d’une automatisation de l’éthique ne lève donc pas tous les défis du sujet !

Vers une éthique automatique ?

Un épais rapport du Pew Research Center auprès d’experts de l’IA se montre plutôt sombre… sur les perspectives à rendre l’IA éthique. Pour la majorité d’entre eux, la conception éthique de l’IA ne devrait pas être la norme avant une bonne dizaine d’années. L’optimisation des profits et le contrôle social devraient continuer à être au cœur de l’IA. Aux États-Unis, un rapport de l’agence de la responsabilité gouvernementale américaine reconnaissait que les technologies de reconnaissances faciales par exemple étaient déjà largement déployées et utilisées par nombre de services du gouvernement, s’alarmait Rachel Metz pour CNN.

Dans ce contexte plutôt sombre, l’Ada Lovelace Institute britannique (@AdaLovelaceInst) se veut plus positif. Il a organisé fin juin une série d’ateliers et de discussions pour prototyper l’avenir de l’éthique de l’IA. Pour les chercheuses Sarah Chander (@sarahchander), Erinma Ochu (@erinmaochu) et Caroline Ward (@noveltyshoe), l’enjeu, expliquent-elles en interview, n’est pas tant de rendre les systèmes moins problématiques qu’ils ne sont… n’est pas de documenter les dommages qu’ils causent, ou de débiaiser les technologies… mais d’imaginer : « si nous devions démanteler les technologies de surveillance, la domination, l’extraction, qu’y aurait-il à la place ? Qui a le droit d’écrire ce futur ? »

On se souvient, il n’y a pas si longtemps, de l’éviction de Timnit Gebru de Google pour avoir tenté de mettre un peu de responsabilité et d’éthique chez Google, lié à la publication d’un article critique des développements de GPT-3. Le licenciement de Timnit Gebru, pour emblématique qu’il soit, rappelle d’autres tensions, pointe le journaliste Tom Simonite (@tsimonite) dans un remarquable et détaillé article pour Wired sur son parcours et son éviction. Dans l’industrie minière ou chimique, les chercheurs qui étudiaient la toxicité ou la pollution pour le compte des entreprises exploitantes, n’ont jamais été très bien considérés. Pour l’instant, dans le jeune domaine de l’IA, les chercheurs qui étudient ses méfaits occupent encore bien souvent une place centrale dans les entreprises. Il est possible que le bruyant licenciement de Timnit Gebru de Google en signe la fin, explique le journaliste.

En 2016, Google avait publié un premier article de recherche sur l’équité de l’IA, un article qui tentait d’apporter des réponses pour corriger les réponses afin que l’évaluation du risque à ne pas rembourser un prêt offre un traitement égal aux individus, indépendamment de leur sexe, de leur race ou de leur religion. Dans son article, Simonite souligne les hésitations internes de Google à s’aventurer sur ces sujets, ainsi que le fait que le travail de Timnit Gebru et Margaret Mitchell (@mmitchell_ai, qui a également été remerciée) sur les questions de responsabilité avaient du mal à être intégrées à la culture Google.

Après la fronde contre Maven, le contrat controversé passé avec le Pentagone, Google a publié de grands principes pour guider ses travaux sur l’IA. En octobre 2019, Google a lancé BERT, un système d’apprentissage automatique permettant de mieux comprendre les requêtes longues et complexes et leur contexte, en travaillant depuis des volumes de textes plus grands. En mai 2020, OpenAI (@openai) a lancé GPT-3 qui avait ingéré plus de données que Bert et pouvait générer des textes d’une plus grande fluidité (nous somme là assurément dans une course à la puissance : Bert avait avalé quelques 3,3 milliards de mots, quand GPT-3 en digère près de 500 milliards – que les ingénieurs ont récupérées sur le Web, la source la plus facilement disponible à l’échelle nécessaire). Mais les ensembles de données étaient si volumineux que les assainir, ou même savoir ce qu’ils contenaient était une tâche trop ardue. Il s’agissait d’un exemple extrême du problème contre lequel Timnit Gebru avait mis en garde la communauté dans une de ses recherches, à savoir la nécessité de produire, pour chaque ensemble de données, une fiche technique les documentant (qui a visiblement contribué activement à la naissance des Google Model Cards). Alors que Google travaillait à la construction de successeurs encore plus puissants à Bert ou GPT-3, l’équipe chargée de l’éthique de l’IA chez Google a commencé à étudier les inconvénients de ces technologies. En septembre 2020, en interne, des responsables de Google se sont réunis pour discuter de l’IA responsable sans que des représentants de son équipe éthique soient conviés. Au même moment, les chercheurs de l’équipe éthique mettaient un point final à un article critique sur « Les dangers des perroquets stochastiques : les modèles linguistiques peuvent-ils être trop grands ? » qui soulignait les limites des modèles statistiques utilisés et le risque à répéter du « mauvais » langage, c’est-à-dire, des biais, des erreurs et des fautes en les amplifiant. L’article soulignait les difficultés à documenter les biais d’ensembles de données de plus en plus vastes, mais surtout, estime Gebru, critiquait ouvertement une technologie au fort potentiel commercial. Comme l’explique très bien le chercheur Olivier Ertzscheid (@affordanceinfo2) sur son blog où il revenait également sur les enjeux de ces travaux : « le danger est que nous devenions autant de « perroquets stochastiques » à force de mal manipuler des modélisations de la langue trop denses, massives et étendues ».

Depuis l’éviction de son équipe dédiée à l’éthique (qui a entraîné aussi quelques démissions par rebond), si l’on en croit Tom Simonite, le département de recherche de Google est déchiré par la méfiance et les rumeurs. Pour le journaliste, les perspectives de recherche « ouvertes d’esprit » sur la question de l’éthique de l’IA se sont assombries. Pour Luke Stark (@luke_stark), « les grandes entreprises technologiques ont essayé de prendre le dessus sur les régulateurs et les critiques du public en adoptant l’idée de l’éthique de l’IA ». Mais à mesure que la recherche a mûri, elle a soulevé des questions plus importantes. « Les entreprises sont devenues moins aptes à coexister avec la recherche critique interne », estime-t-il.

Depuis le drame, des chercheurs qui ont fondé une revue sur l’éthique de l’IA ont lancé un appel pour que les publications des chercheurs en IA travaillant pour des industries du secteur soient plus transparentes sur leurs travaux. Mais la suspicion sur les travaux menés par les entreprises du secteur pourrait s’installer, un peu comme la recherche industrielle sur la pollution est peu considérée par les spécialistes de l’environnement, notamment pour ses collusions, voire surtout ses dissimulations éhontées… À la dernière conférence annuelle des développeurs de Google, l’entreprise a annoncé que les grands modèles de langage qu’elle développe joueraient à l’avenir un rôle central. Une annonce balayant les critiques. Pour Meredith Whittaker (@mer__edith), directrice de l’AI Now Institute, le message de Google est clair pour ceux qui veulent mener des recherches sur la responsabilité : « nous ne les tolérons pas ». Des menaces inquiétantes, d’autant que les emplois en dehors des grandes industries du secteur sont rares.

Pour Inioluwa Deborah Raji (@rajiinio) de la Fondation Mozilla, l’échec de Google à se réformer rend désormais tout le monde conscient que la responsabilité doit venir de l’extérieur. Timnit Gebru, quant à elle, collecte désormais des fonds pour tenter de lancer un institut de recherche indépendant.

Si Google n’est plus « the place to be », peut-être que la question de l’éthique de l’IA sera récupérée par d’autres ? En ce moment, souligne la journaliste Anna Kramer (@anna_c_kramer) pour Protocol (@protocol), les regards se tournent vers Twitter qui vient de créer Meta.

En 2020, Ariadna Font Llitjos (@quicola), responsable des équipes d’apprentissage automatisé de Twitter – qui relève de Twitter Cortex, qui gère toute l’IA de l’entreprise – estime que la recherche sur l’éthique pourrait transformer l’entreprise. Elle propose donc de construire une équipe dédiée, Meta (pour Machine learning, Ethics, Transparency and Accountability) et convainc Jack Dorsey, le PDG de Twitter de faire de la responsabilité la priorité de Twitter. Rumman Chowdury a quitté Parity pour devenir la responsable de Meta. Kristian Lum (@kldivergence) et Sarah Roberts (@ubiquity75) ont rejoint l’équipe. L’enjeu : travailler depuis les propositions des chercheurs pour réellement agir sur la promesse de Twitter !

Depuis la création de Meta, Twitter a pris des premiers engagements, via son initiative pour un apprentissage automatisé responsable, où l’entreprise s’est engagé à partager publiquement la façon dont elle prendra des décisions sur ses algorithmes (ce que l’entreprise a fait par exemple sur son algorithme de recadrage d’image qui a été supprimé en donnant un plus grand contrôle aux utilisateurs sur la façon dont les images apparaissent avant publication tout en permettant de « réduire la dépendance à l’égard du Machine Learning pour une fonction, qui, nous en convenons, est mieux réalisée par les personnes utilisant nos produits », expliquait Rumman Chowdury). L’enjeu pour l’instant consiste à mieux définir les problèmes que rencontrent les utilisateurs. Pour Chowdury, l’enjeu, au-delà de la transparence publique sur les travaux engagés, est de créer un système de règles et d’évaluations qui soit une sorte de « gouvernement » sur les modèles et permette d’empêcher les préjudices aux utilisateurs de se produire, plutôt que de tenter de les corriger a posteriori. Meta se veut une équipe de création de connaissances plus qu’une force de police des algorithmes, conclut Anna Kramer. On espère que l’équipe saura relever le défi qui l’attend !

Ce que racontent ces histoires, c’est certainement que l’automatisation de l’éthique n’est pas si assurée, en tout cas, elle ne se fera pas sans éthique personnelle, sans engagements des équipes et des responsables des systèmes techniques. L’éthique de l’IA tient assurément d’un dialogue, d’une discussion entre la technologie et la société. Reste à savoir quelle direction ces recherches vont prendre… Entre l’hystérisation des calculs dans des systèmes toujours plus vastes, spéculant en boucle sur eux-mêmes ou leur réduction sous forme d’une première « dénumérisation », comme le propose pragmatiquement Rumman Chowdury pour Twitter, la gamme d’évolution est ouverte. Plus qu’une perspective d’automatisation de l’éthique (qui ne semble pas très éthique), et si l’avenir était plutôt de trouver les moyens pour dire que le recours à l’IA n’est pas – et ne devrait pas être – automatique ! C’est en tout cas là une perspective bien plus stimulante que la première, vous ne trouvez pas ?

Hubert Guillaud