« Les gens ne prennent pas de meilleures décisions lorsqu’ils disposent de plus de données, alors pourquoi supposer que l’Intelligence artificielle, elle, le fera ? », interroge l’ingénieure et anthropologue Marianne Bellotti (blog, @bellmar) dans un article pour OneZero. Bellotti, longtemps responsable technique des Services numériques des États-Unis (@USDS), est désormais responsable du Humanitarian Data Exchange (HDX), la plus grande plateforme de données ouvertes de l’ONU sous l’égide du Centre pour les données humanitaires (@humdata).

Elle est également l’auteure d’un récent livre sur la gestion de projets informatiques : Tuez-les par le feu, comment gérer les systèmes informatiques vieillissants (et assurer l’avenir des systèmes modernes) (No Starch Press, non traduit, 2021) – un livre, qui, contrairement à ce que laisse croire son titre, ne propose pas de mettre à la poubelle les systèmes obsolètes – Bellotti est plutôt réputée pour avoir remis en état de fonctionnement des systèmes informatiques anciens et désordonnés -, mais au contraire, comme l’explique Jennifer Pahlka (@pahlkadot, blog), la directrice de Code for America dans un passionnant compte-rendu, faire table rase d’un système pour un nouveau permet surtout à la désorganisation qui a conduit à créer un mauvais système de se reproduire.

Dans l’introduction de son article pour OneZero, Bellotti revient sur un événement qu’on dit souvent fondateur de l’internet moderne (événement qu’avait raconté Tamsin Shaw dans la New York Review, traduit par Books), à savoir cette fameuse journée de 2008, où plusieurs Moghuls de la Silicon Valley avaient découverts l’économie comportementale sous les explications de Daniel Kahneman lui-même, prix Nobel et auteur de Système 1 / Système 2 (Flammarion, 2012). En comprenant comment les êtres humains prennent des décisions, l’histoire voudrait que les grands patrons de la Silicon Valley présents se soient alors mis à appliquer ces connaissances aux outils qu’ils développaient. Comme le souligne Bellotti, visiblement, lors de cette journée, personne n’a pourtant parlé d’intelligence artificielle ou de Big Data… Ce qui était au cœur de la conférence de Kahneman consistait à décortiquer la croyance qu’un agent (humain plus que machine) soit capable de prendre des décisions rationnelles. En tout cas, estime Bellotti, peut-être que certains entrepreneurs de la Silicon Valley présents à cette conférence ont compris que l’enjeu n’était pas tant d’obtenir des données ou des machines parfaites, mais bien de prendre en compte les préjugés qui nous façonnent. « Au lieu d’éliminer les préjugés humains, (l’enjeu était) d’organiser la technologie autour de ces préjugés ».

Le rêve que d’innombrables flux de données produisent une meilleure connaissance est aussi vieux que les ordinateurs eux-mêmes. Mais, quelle que soit la quantité de données que nous recueillons, la vitesse ou la puissance des machines, ce rêve semble toujours hors de portée, explique Bellotti. Les experts estiment que les spécialistes des données passent 80 % de leur temps à les nettoyer. Le ministère de la Défense américain dépense entre 11 et 15 milliards par an pour le personnel qui gère ses données. Pourtant, malgré des décennies d’investissements, de surveillance, de normes… « nous ne sommes pas plus près d’une connaissance totale grâce à un cerveau informatisé que nous ne l’étions dans les années 70 », malgré l’accroissement continu des données. Le retour sur investissement de l’IA semble aussi difficile à atteindre, pour le ministère de la Défense que pour les grandes plateformes de la Silicon Valley qui pataugent dans les imperfections de leurs outils de modération automatisés.

Image : l’article de Marianne Bellotti original pour One Zero : l’IA résout le mauvais problème.

La compréhension totale d’une situation est moins désirable que des outils permettant de prendre une décision plus rapide

Pour Bellotti, nous attendons de l’IA qu’elle produise une meilleure prise de décision par une connaissance « totale » d’une situation. Pourtant, comme le rappellent les travaux de Kahneman lui-même, en savoir plus ne signifie pas prendre une meilleure décision. « Dans la vie réelle, les décideurs cherchent surtout à économiser leurs efforts », rappelle l’ingénieure en pointant vers les travaux de Todd et Benbasat. « Une connaissance totale de la situation est moins souhaitable que des outils qui facilitent le travail d’équipe menant à une décision. Après tout, les décisions sont souvent jugées en fonction des résultats, ce qui inclut un peu de chance ainsi qu’une analyse correcte. Avant que ces résultats ne se concrétisent, même la stratégie la plus prudente et la plus minutieuse, étayée par les meilleures données, ne peut offrir de garantie, et toutes les personnes concernées le savent. C’est pourquoi le processus de prise de décision consiste moins en une analyse objective des données qu’en une négociation active entre des parties prenantes ayant des tolérances différentes en matière de risques et de priorités », explique-t-elle en faisant référence aux travaux de Lucia Matinez Ordonez. « Les données sont utilisées non pas pour les informations qu’elles pourraient offrir, mais comme un bouclier pour protéger les parties prenantes des retombées possibles », rappelle-t-elle en faisant référence au livre de Christopher Hood, spécialiste des politiques publiques, The Blame Game (Princeton University Press, non traduit, 2011, extrait.pdf). Une information parfaite – si tant est qu’elle soit réalisable – soit n’apporte aucun avantage, soit réduit la qualité des décisions en augmentant le niveau de bruit.

Cela semble invraisemblable, et pourtant ! « Une information parfaite devrait automatiquement améliorer le processus de décision. Mais ce n’est pas le cas, car un supplément d’informations modifie rarement la politique organisationnelle qui sous-tend une décision », explique Bellotti.
« Tant que les décisions devront être prises en équipe, en tenant compte des différentes parties prenantes et de leurs incitations, la meilleure façon d’améliorer la prise de décision ne consistera pas simplement à ajouter des capteurs pour obtenir plus de données. Il faut améliorer la communication entre les parties prenantes. »

Pour Marianne Bellotti, l’enjeu n’est peut-être pas d’investir des milliards de dollars pour nettoyer les données et affûter les capteurs, mais de nous intéresser plus avant à l’organisation de la communication et aux règles de décisions entre les parties !

Pour une IA antifragile

Améliorer la qualité des données n’est pas si simple. « La façon dont nous parlons de la qualité des données est trompeuse. Nous parlons de données « propres » comme s’il existait un état unique où les données sont à la fois exactes (et sans biais) et réutilisables. Or, propre n’est pas synonyme d’exact, et exact n’est pas synonyme d’exploitable. Des problèmes sur l’un ou l’autre de ces vecteurs peuvent entraver le développement d’un modèle d’IA ou nuire à la qualité de ses résultats. Il existe de nombreuses raisons pour lesquelles les données qui entrent dans un modèle peuvent être problématiques. Certaines sont évidentes : les données sont factuellement incorrectes, corrompues ou dans un format inattendu. D’autres problèmes sont plus nuancés : les données ont été capturées dans un contexte particulier et sont réutilisées de manière inappropriée ; les données n’ont pas le bon niveau de granularité pour l’objectif du modèle ; ou les données ne sont pas normalisées, et les mêmes faits sont représentés ou décrits de différentes manières. »

S’il est déjà difficile de résoudre un de ces problèmes, il est pratiquement impossible de les résoudre tous dans une grande organisation ou dans un environnement complexe. Depuis l’IA, nous avons souvent tendance à croire que l’innovation crée des opportunités, oubliant de souligner qu’elle crée aussi des vulnérabilités. « L’intelligence artificielle inventera de nouvelles façons d’attaquer les problèmes, mais aussi de nouvelles façons d’être attaqué. Tout comme la numérisation des centrales électriques, des transports publics et des systèmes de communication a donné naissance à la cybercriminalité », l’IA risque de créer de nouvelles formes de défaillances. « Les systèmes d’IA actuels sont complètement dépendants de la qualité de leurs données, non pas parce que la technologie est immature ou cassée, mais parce que nous les avons conçus pour qu’ils soient vulnérables de cette manière. »

Nous devons les rendre plus résistants aux mauvaises données, « antifragiles », pour reprendre le concept forgé par Nassim Nicolas Taleb (@nntaleb) dans son livre éponyme. Antifragile désigne une conception qui non seulement sait se remettre d’un échec, mais surtout qui devient plus forte et plus efficace lorsqu’elle est exposée à l’échec. Les sciences cognitives nous apprennent que les bonnes décisions sont « le produit de l’articulation proactive des hypothèses, de la structuration des tests d’hypothèse pour vérifier ces hypothèses et de l’établissement de canaux de communication clairs entre les parties prenantes ». À l’inverse, les mauvaises décisions, les erreurs humaines, sont le résultat d’un blocage, d’un biais, sur l’une de ces trois conditions. « Lorsque les gens ne formulent pas clairement leurs hypothèses, ils appliquent des solutions qui sont inappropriées compte tenu des conditions du terrain. Lorsque les gens ne testent pas leurs hypothèses, ils ne parviennent pas à adapter leurs bonnes décisions aux conditions changeantes. Lorsque les opérateurs de première ligne ne sont pas en mesure de partager efficacement les informations en amont de la chaîne de commandement et entre eux, les occasions de repérer les conditions changeantes et de remettre en question les hypothèses sont perdues, au détriment de tous. »

Pour des IA qui élargissent les choix plutôt que de les réduire !

Si l’IA est si vulnérable aux mauvaises données c’est parce que « nous accordons trop d’importance à ses applications de classification et de reconnaissance et pas assez à ses applications de suggestion et de contextualisation ». En d’autres termes, explique Bellotti, une IA qui prend des décisions à la place des gens est une IA qui peut être sabotée facilement et à peu de frais.

La conception d’une IA antifragile est difficile, car la ligne de démarcation entre l’acceptation du résultat de l’analyse d’un algorithme comme une conclusion et son traitement comme une suggestion ou une incitation est un défi de conception – c’est la question sur laquelle Ben Green attirait notre attention récemment, nous invitant à évaluer les outils d’aide à la décision, mais également les décisions prises depuis eux. Pour Bellotti, le piège repose dans le risque de considérer les résultats des IA comme des conclusions. Cela ne conduit qu’à des erreurs catastrophiques, comme l’a montré l’usage de l’IA à la justice pénale ou au maintien de l’ordre. « Le modèle a été construit pour contextualiser, mais l’interface utilisateur a été construite pour rapporter une conclusion », soutient Bellotti qui réduit peut-être un peu rapidement le problème à une question d’interface, de design, oubliant un peu rapidement l’idéologie politique et financière qui soutient le déploiement de ces solutions.

Dans le même temps, bien souvent, l’IA médicale, elle, a permis d’améliorer la qualité de la prise de décision – enfin, pas toujours, nombre de systèmes d’IA en santé sont avant tout défaillants -, d’abord parce que de nombreux défis diagnostiques n’ont pas de réponse correcte unique (tout comme les résultats de l’IA, largement statistique, probabiliste et inductive, comme l’expliquait, très clairement David Weinberger). En matière de diagnostic, tout un ensemble de symptômes a une série de causes possibles avec des probabilités différentes. Un clinicien construit un arbre de décision dans sa tête avec toutes les possibilités auxquelles il peut penser et les tests qui excluent certaines possibilités. Le processus de diagnostic d’un patient consiste à créer un cycle consistant à définir des hypothèses, à prescrire des tests et à réduire de plus en plus l’ensemble des réponses possibles jusqu’à ce qu’une solution soit trouvée.

Ainsi, les produits conçus pour aider les médecins en leur proposant d’autres possibilités à ajouter à leurs modèles mentaux et en identifiant les tests susceptibles d’accélérer le temps nécessaire à l’établissement d’un bon diagnostic ont permis d’améliorer les résultats de diagnostic des patients en dépit de mauvaises données. Dans ces cas, l’IA a été utilisée pour améliorer la communication et le partage des connaissances entre les professionnels de la santé ou pour obtenir du patient des informations nouvelles et pertinentes à des moments critiques. À l’inverse, les produits d’IA qui tentent de surpasser les médecins en classant les éléments à leur place, comme en tentant de déterminer si une tumeur est cancéreuse ou pas ou si des tâches pulmonaires sur une radio sont relatives au Covid ou pas, ont surtout été confrontés aux mauvaises données qui les alimentaient.

Pour Bellotti, « si l’objectif de l’IA est d’améliorer la prise de décision, alors elle devrait orienter les décideurs vers des tests d’hypothèses, et non essayer de surpasser les experts. Lorsque l’IA tente de surpasser les experts, elle devient entièrement dépendante de la qualité des données qu’elle reçoit, ce qui crée un ensemble de vulnérabilités » difficilement surmontables. Une IA antifragile ne doit pas prendre de décision, mais aider à élargir les choix. Elle devrait plutôt aider « les gens à formuler les hypothèses qui sous-tendent la décision, à communiquer ces hypothèses à d’autres parties prenantes et à alerter les décideurs en cas de changements importants dans les conditions du terrain en rapport avec ces hypothèses ».

Ralentir l’IA ?

Dans un billet de blog précédent Marianne Bellotti proposait d’améliorer l’IA en la rendant plus lente ! Si, très concrètement et trop souvent, l’IA accélère le processus de décision, son but devrait plutôt être de le ralentir explique-t-elle. En 2020, Marianne Bellotti a rejoint une entreprise qui travaille dans le secteur de la défense. Une décision difficile, parce que les technologies de Défense sont un environnement riche en dilemmes éthiques et qu’il est pour beaucoup plus préférable de garder les mains propres en évitant toute implication ou compromission avec ce secteur. Une occasion pour Marianne Bellotti d’interroger concrètement ce sujet de l’éthique. « Tout le monde dans la communauté technologique parle de construire des produits « éthiques » et personne ne peut vraiment définir en quoi un processus de développement de logiciels qui produit des produits éthiques est différent d’un processus qui produit des produits normaux ». Et Bellotti de préciser : « Je ne suis pas le genre de personne qui croit que les résultats sont déterminés par la qualité des personnes. Les meilleurs ingénieurs construisent parfois ensemble des technologies de merde. Les équipes ne sont pas la somme de leurs parties. Il ne suffit pas de réunir une collection de personnes réfléchies pour qu’elles construisent une technologie éthique ». Par contre, les équipes sont toujours la somme de leurs interactions. Or, explique-t-elle, elle aime concevoir des processus efficaces, et c’est dans ces processus formels et informels qu’on doit pouvoir construire des réponses éthiques.

Image : capture d’écran de l’article de blog original de Marianne Bellotti, pour faire un meilleure IA il faut une IA plus lente.

Cette entreprise spécialisée dans l’IA et la Défense organise chaque mois une réunion permanente à l’échelle de l’organisation pour discuter éthique. Plutôt que de distinguer outils offensifs et défensifs, ces discussions se sont concentrées sur l’idée de distinguer l’escalade et la désescalade d’un conflit. « Une technologie responsable dans le domaine de la défense est une technologie qui aide les gens à réfléchir de manière plus approfondie et plus critique aux choix qui s’offrent à eux. Une technologie irresponsable les encourage à tirer des conclusions hâtives ou les laisse si loin de la réalité sur le terrain qu’elle déshumanise les personnes qui sont affectées par le déploiement de cette technologie. » Mais comment concevoir une IA qui désamorce les situations ?

Des IA pour désamorcer les situations

Les spécialistes de l’IA éthique insistent souvent sur l’importance à garder « l’humain dans la boucle », c’est-à-dire à la fois faire que les décisions prises par les systèmes soient toujours contrôlées par des humains. Ce principe d’humains dans la boucle – qui édulcore et dépolitise le « Pas pour nous sans nous » des revendications militantes, à mon sens – est un principe efficace lorsqu’il s’agit de conception politique, estime Bellotti, mais il est plus difficile à mettre en œuvre dans la conception de technologies, notamment parce par nature, elles redistribuent la manière dont le travail humain est appliqué dans un processus. Ainsi, lorsqu’une technologie est introduite dans une tâche existante, certaines étapes sont automatisées et le travail humain est redistribué… Mais il est souvent difficile de savoir si le fait de déplacer le contrôle humain dans le processus met le contrôle humain hors circuit ou non.

Pour sortir de la contradiction, il est nécessaire de revenir aux différences entre la pensée humaine et la pensée informatique, explique-t-elle en revenant justement à Daniel Kahneman. Dans Système 1 / Système 2, Kahneman distingue la pensée intuitive (le type 1), rapide, qui se base principalement sur la correspondance des modèles et la pensée analytique (le type 2), lente, souvent de nature statistique qui vise à corriger les erreurs de la première. Contrairement aux humains, pour les ordinateurs, la pensée analytique leur est facile alors que la pensée intuitive ne leur est pas facilement accessible. Or, trop de produits d’IA visent à accélérer la pensée de type 1 pour les opérateurs humains, alors qu’elle n’est pas adaptée à cela. Pour Bellotti, la ligne de démarcation entre les produits d’IA bénéfiques et ceux qui créent des problèmes repose certainement dans une forme d’accélération. Or, accélérer les décisions intuitives n’apporte souvent aucun avantage supplémentaire à l’utilisateur, mais augmente considérablement les risques d’erreur critique. « Si les êtres humains ont du mal avec la pensée de type 2 et excellent dans la pensée de type 1, si les ordinateurs ont du mal avec la pensée de type 1 et excellent dans la pensée de type 2, et si une bonne prise de décision implique l’utilisation de la pensée de type 2 pour vérifier les erreurs de la pensée de type 1, pourquoi construisons-nous des machines pour faire la pensée de type 1 à notre place ? N’est-il pas beaucoup plus utile d’utiliser les ordinateurs pour rendre la réflexion lente plus efficace en termes de ressources plutôt que de rendre la réflexion rapide plus rapide ? »

Pour une IA qui complexifie plutôt qu’une IA qui simplifie !

« Plus j’explore la question de l’IA et de l’éthique, plus je comprends l’importance de la sélection des problèmes », explique Bellotti. Et la chercheuse de donner un exemple concret en comparant deux systèmes de calcul automatisé du risque de récidive : Compas, cette machine à biais, très légitimement décrié et très utilisé par la justice américaine (voir notamment notre dossier sur la justice analytique) et un autre outil, ESAS (pour Equity in sentencing analysis system, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnation proche). Les deux technologies semblent adresser le même problème : faire des recommandations sur les peines depuis des historiques. D’un côté, Compas analyse de nombreuses données, notamment personnelles, pour en tirer des conclusions simples que le juge peut ignorer, mais ne peut pas approfondir ou contester. ESAS en revanche, se concentre uniquement sur les informations relatives et permet d’accéder à des affaires similaires pour explorer le contexte des peines qui ont été produites, permettant de comprendre ce qui dans un cas explique ce qui a valu une longue peine ou une peine plus clémente. Compas fait un raisonnement de type 1 pour le juge, et parce que les données et systèmes de calculs utilisés sont cachés, le raisonnement de type 2 qui permettrait de vérifier les biais et erreurs d’appréciations est lui totalement bloqué. Pire, souligne Bellotti, Compas attribue une valeur numérique à ses recommandations. Un repris de justice n’est pas seulement à haut risque, il est à haut risque sur une échelle qui produit un biais d’ancrage sur l’utilisateur qui y est par nature sensible (donnez à quelqu’un un chiffre élevé, et même s’il pense que ce chiffre élevé est faux, le chiffre par lequel il le remplace sera plus élevé que celui qu’il aurait estimé autrement). Compas « automatise la pensée de type 1, sujette aux erreurs, empoisonne le jugement de l’utilisateur avec une valeur d’ancrage arbitraire et empêche la pensée de type 2 de détecter les problèmes. » Dans la définition du problème par Compas, se trouve également le monstre d’une hypothèse très problématique : une personne à haut risque de récidive sera rendue moins susceptible de récidiver en lui donnant une peine de prison plus longue ! Compas ne considère pas que la relation pourrait être inverse : les personnes qui passent plus de temps en prison se déconnectent des réseaux de soutien sociaux et sont plus susceptibles de récidiver pour survivre… « C’est le danger de remplacer la pensée de type 1 faite par des humains par une pensée de type 1 faite par des ordinateurs. Les ordinateurs peuvent calculer une corrélation, mais ils ne peuvent pas construire une narration autour d’elle pour transformer cette corrélation en informations exploitables. Par conséquent, même les meilleurs algorithmes ont besoin d’êtres humains pour prendre en compte le contexte de leurs résultats. L’IA qui supprime ce contexte vit ou meurt en fonction de la précision de son modèle. »

À l’inverse, les premiers de l’ESAS en Floride ont montré qu’en associant un cas à une série de cas comparables et en permettant aux utilisateurs d’explorer les contextes, ont plutôt conduit à réduire les peines qu’à les renforcer.

Les récits sur l’IA et sur les technologies insistent beaucoup sur ce qui est remplacé par la technologie et l’IA plutôt que ce qu’elle redistribue. « L’impact et l’efficacité finale de tout produit qui utilise l’IA ne sont donc pas déterminés par les algorithmes qu’il utilise, mais par la manière dont il redistribue l’effort humain. Crée-t-il plus d’opportunités pour la pensée critique ou encourage-t-il plus d’action avec moins de réflexion et de discussion ? » Les ingénieurs qui construisent des outils d’IA doivent porter attention à l’interaction homme-machine, insiste-t-elle. « L’IA qui fait de la pensée de type 1 pour l’utilisateur et bloque la pensée de type 2 conduit généralement à des résultats désastreux. L’IA qui augmente les possibilités de réflexion de type 1 et encourage l’utilisateur à ajouter la vérification des erreurs de type 2 à la réflexion de type 1 de la machine, tend à augmenter l’utilité. »

Pour le dire très simplement, si l’IA ne nous aide pas à réfléchir, elle ne nous sera d’aucune utilité.

Hubert Guillaud

Et merci à Matthieu Belbèze (@lemarsographe, newsletter) pour m’avoir conduit jusqu’aux articles de Marianne Bellotti, grâce à son article pour Le Vent se lève (@lvslmedia), que je vous recommande vivement : « La révolution numérique est profondément conservatrice ».

331 449 281, telle est la population totale des États-Unis au 1er avril 2020 selon le bureau du recensement américain. Le recensement de la population produit depuis longtemps un chiffre, toujours précis. Précis, mais par nature inexact. C’est pour la chercheuse danah boyd (@zephoria), chercheuse associée chez Microsoft et fondatrice de Data & Society (@datasociety) un symbole du grand « théâtre des données » qui se joue chaque jour sous nos yeux, expliquait-elle lors du dernier Microsoft Research Summit (voir la vidéo de sa présentation et la transcription de son intervention dans sa newsletter).

Les statistiques sont la grande science de l’État, rappelle boyd (on parlait même d’arithmétique politique). L’État produit des statistiques « données » au public qui deviennent ainsi des évidences, des faits (littéralement des « statistiques officielles »). Et lorsque les statistiques sont comprises comme des faits, le public s’attend alors à une forme d’exactitude, de précision. D’où les chiffres précis que produit le Bureau du recensement par exemple, alors qu’il sait très bien qu’un tel chiffre n’est qu’une approximation d’une réalité mouvante, tout en étant le meilleur que l’on puisse produire compte tenu des procédures utilisées. Le Bureau du recensement pourrait pourtant dire, très légitimement, que la population américaine est d’environ 331,5 millions de personnes. L’arrondi communiquerait d’ailleurs une forme d’incertitude. Ou ils pourraient produire un nombre avec des chiffres après la virgule, indiquant par là que des modèles sous-tendent les données. Mais les statisticiens ne le font pas. « Ils produisent la précision parce que la précision signale l’autorité. Parce que la précision est une norme et une attente. Parce qu’il y a une pression à la précision. »

La précision en ses limites

Le recensement est l’épine dorsale d’innombrables pratiques de création de données. Toute donnée représentative au niveau national est liée au recensement d’un pays. Le PIB, le taux d’emploi, de logement… intègrent les données de recensement. Les taux d’infection au Covid ou vaccination sont également reliés au dénombrement de la population.

Les agences statistiques sont chargées de produire des statistiques officielles destinées à être utilisées dans les décisions de politique publique et la recherche. Aux États-Unis, les données de recensement sont utilisées pour répartir les représentants politiques sur le territoire et distribuer les financements fédéraux. En d’autres termes, les données de recensement constituent « explicitement et constitutionnellement l’infrastructure de données de la démocratie ». Mais même lorsque la représentation politique n’est pas directement liée aux données de recensement, ces données sont hautement politiques et profondément contestées. C’est le cas dans de nombreux pays où la connaissance des informations sur la population relève autant de la politique que de la comptabilité. C’est ce qui a poussé les Nations Unies à créer une commission statistique en 1947 pour formaliser les normes internationales en matière de statistiques officielles, pour promouvoir la professionnalisation des statistiques nationales afin d’aider les agences statistiques à résister aux interférences politiques.

Mais la professionnalisation des statistiques nationales a également suscité une question importante : que sont les statistiques lorsqu’elles ne sont plus de l’arithmétique politique ? Qu’est-ce que tous ceux qui sont investis dans les données imaginent que les statistiques sont ?

Dans la plupart des communautés techniques, explique boyd, il est facile de considérer les statistiques comme un travail objectif, scientifique et mathématique. L’idéal de l’information objective existe parce que les décideurs apprécient de pouvoir rejeter la responsabilité sur les données. Cela permet d’éviter de questionner la politique ou la prise de décision. Cela permet de prétendre que l’utilisation des données rend les choses neutres. « C’est un raisonnement dangereux. C’est ainsi que les données deviennent des armes ».

Ce cadrage objectif masque également les origines profondément politiques de nombreuses techniques que nous considérons aujourd’hui comme acquises… La régression statistique a été inventée par Francis Galton, le père de l’eugénisme, et son intérêt pour cette technique n’était pas anodin, rappelle la chercheuse. Malgré les racines douteuses de nombreuses méthodes et pratiques statistiques, le développement de la statistique mathématique a également permis de mieux comprendre les limites et les biais des analyses. Par exemple, dans les années 1910, un groupe d’employés noirs du Bureau du recensement des États-Unis a commencé à calculer le sous-dénombrement des Noirs dans les recensements précédents. Cela a ouvert de nouvelles possibilités pour corriger les données. Au fur et à mesure que les techniques statistiques se perfectionnaient, les scientifiques ont également commencé à imaginer comment les interventions mathématiques pouvaient réparer les faiblesses intrinsèques des données.

Mais améliorer la qualité des données en les corrigeant n’allait pas de soi. Aux États-Unis, ces travaux se sont souvent heurtés à des résistances politiques. En 1957, le Congrès américain a interdit au Bureau du recensement d’utiliser l’échantillonnage dans ses principaux produits de données, alors que celui-ci permettait notamment de réduire la charge du recensement. Conscient de l’importance des personnes manquantes dans le recensement, le Bureau du recensement a tenté d’exploiter des données provenant d’autres sources et d’élaborer des modèles pour combler les lacunes dans ses propres données à l’aide d’une technique connue sous le nom d’imputation. Cette technique a également été contestée devant les tribunaux lorsque l’État de l’Utah a fait valoir que le Census Bureau n’avait pas le droit d’imputer des données, à la fois parce que l’échantillonnage était interdit par la loi et parce que l’imputation violerait l’exigence constitutionnelle d’un « dénombrement réel ». La Cour suprême a rejeté ces revendications, arguant que l’imputation n’était pas une méthode statistique, mais une technique permettant d’améliorer le comptage… elle est devenue par cette décision un arbitre des méthodes statistiques.

La donnée est politique

Les organismes statistiques sont tenus de produire des connaissances statistiques de haute qualité, mais qui décide de ce qui constitue des connaissances statistiques ? Ceux qui sont investis dans les statistiques modernes et l’avancement de la science présument que le but d’un organisme statistique est de créer des connaissances statistiques mathématiquement valides et que le résultat d’un recensement doit être la meilleure représentation quantitative possible. Mais tout le monde ne voit pas le concept de statistique sous cet angle, rappelle boyd. Pour ceux qui considèrent un recensement comme un dénombrement de toutes les personnes, alors le travail du Bureau du recensement consiste à se concentrer sur l’acte de compter et de rapporter ce qui est compté. On le voit, il y a une distinction nécessaire entre le meilleur comptage et les meilleures données.

Dès qu’on donne de l’importance aux données, elles ne peuvent jamais être neutres. « Plus les enjeux sont importants, moins ces données peuvent être objectives. Le choix même des données à collecter, la manière de les catégoriser et de les présenter révèlent des engagements idéologiques, sociaux et politiques », rappelle boyd en évoquant notamment la collecte de données sur l’origine ethnique dans le recensement américain. Si cette collecte a toujours lieu, c’est parce que les lois adoptées pendant les années 60 pour lutter contre les discriminations ont utilisé ces données pour asseoir leurs revendications et montrer les inégalités raciales qui fracturaient la société américaine. À l’inverse, la France ne collecte pas de données sur l’origine ethnique ni sur la religion. Les partisans de cette interdiction considèrent qu’elle est essentielle à la mise en place d’une société laïque sans distinction de race, mais ses détracteurs affirment que le fait de ne pas collecter ces données signifie que la France est mal équipée pour lutter contre les inégalités et le racisme. Le Liban, quant à lui, a effectué son dernier recensement en 1932. À l’époque, on a constaté qu’environ la moitié de la population était chrétienne et l’autre moitié musulmane, répartie équitablement entre sunnites et chiites. Les politiciens libanais ont rejeté à plusieurs reprises les propositions visant à effectuer un nouveau recensement. Un exemple qui illustre très bien combien la connaissance statistique est politique.

Les statistiques nous aident à connaître différents aspects de nos nations, mais ce que nous sommes en mesure de demander dépend d’une série d’engagements politiques, idéologiques et économiques, rappelle danah boyd.

Or, les recensements ne sont jamais parfaits. Les recensements oublient des gens. Il manque des gens parce qu’ils sont ailleurs et il manque des gens parce que tout le monde ne veut pas être compté. Et il manque des personnes parce que toutes les personnes ne sont pas considérées comme suffisamment légitimes pour être comptées par l’État. En d’autres termes, ils omettent des personnes pour des raisons opérationnelles, sociales et politiques.

Pour des données qui révèlent leurs défauts et leurs limites !

Lorsque les statistiques officielles sont considérées comme des données objectives fournies par l’État, on suppose qu’elles sont capables de parler d’elles-mêmes, de raconter leur propre histoire. « Mais les données ne parlent pas d’elles-mêmes. Elles ne le peuvent pas. Elles parlent au nom d’autres personnes. Et ce qu’elles disent dépend des objectifs et des intérêts de ceux qui essaient de les convaincre de parler. »

De nombreuses personnes puissantes utilisent les données pour justifier leurs décisions. Pourtant, lorsque les décideurs et les dirigeants s’appuient sur des données pour justifier leurs actions, ils veulent que les données restent conformes au message. « Pour que les données restent conformes au message, elles doivent communiquer avec précision et en toute confiance. Ces données ne peuvent pas révéler leurs propres défauts et limites, soulever des questions ou proposer des interprétations alternatives. Les données ne doivent pas être considérées comme faibles, car les données considérées comme faibles menacent la légitimité du travail statistique. » Personne ne veut de données entachées d’incertitudes, explique boyd en rapportant le travail d’une démographe qui avait tenté de communiquer des intervalles de confiance dans les données qu’elle présentait à une municipalité. La municipalité lui a demandé de revoir son travail pour revenir avec des faits !

« Tous ceux qui ont travaillé avec des données ont, à un moment ou à un autre, demandé aux données de parler pour elles-mêmes ». « Regardez les données ! » est la déclaration d’exaspération – ou d’assurance – la plus commune.

Le problème, estime boyd, est qu’il n’y a pas vraiment de place pour communiquer sur les limites des données. Trop souvent, les praticiens préfèrent ignorer l’incertitude et l’erreur, sachant que ces informations-là sèment surtout de la confusion si ce n’est de la colère. Pourtant, ceux qui sont dans les méandres de la technique et des chiffres ne peuvent pas comprendre comment quelqu’un peut éthiquement travailler avec des données et ignorer de tels signaux. Bien sûr, il y a aussi un art de présenter l’incertitude en sachant que la personne qui reçoit les données peut soit ignorer l’incertitude, soit la déformer pour simplifier le message. C’est le cas des sondages politiques notamment. Les sondeurs peuvent souligner consciencieusement que leurs résultats sont dans une marge d’erreur lorsque leurs prédictions se révèlent fausses, même s’ils savent pertinemment que leurs données ont été présentées pour suggérer un résultat définitif. À l’inverse, les climatologues tentent de communiquer de manière responsable l’incertitude de leurs modèles complexes, quand bien même leur travail risque d’être miné par l’absence de certitude qu’ils présentent.

Le Census Bureau est censé produire des faits et faire preuve de précision à la fois pour faire autorité et parce que toute communication scientifique responsable impliquant une incertitude peut être politisée. Les scientifiques et les statisticiens savent que les données ont des limites et communiquent dessus entre eux. Mais, dans l’ensemble, ceux qui s’appuient sur l’infrastructure de données de la démocratie ont tendance à ignorer les signaux d’incertitude, d’erreur ou de bruit lorsqu’ils utilisent les données. « Certains les ignorent parce qu’ils ne savent pas comment travailler avec de telles informations. D’autres les ignorent parce que leurs clients veulent entendre des faits et de la précision. D’autres encore considèrent que la discussion même de l’incertitude crée un risque de délégitimation des données. »

Pourtant, souligne danah boyd, l’illusion de données de recensement parfaites est devenue plus coûteuse que les gens ne le pensent. S’il n’est pas capable de faire face aux limites des données, le Census Bureau ne peut pas obtenir le soutien social et politique nécessaire pour introduire de nouvelles techniques susceptibles d’améliorer systématiquement les statistiques fédérales. Cela est particulièrement coûteux dans un contexte social où il est de plus en plus difficile d’inciter les gens à répondre eux-mêmes ou à partager des informations avec les représentants du gouvernement. La communauté scientifique a mis au point une série de techniques permettant d’améliorer la qualité des données malgré les limites de leur collecte, mais pour les adopter, il faut que les parties prenantes comprennent les limites et les vulnérabilités des données.

La confidentialité des données est toujours essentielle

L’une des raisons pour lesquelles les données de recensement sont imparfaites est que le public ne fait pas toujours confiance au gouvernement pour prendre soin des données. Depuis 1840, les personnes chargées du recensement aux États-Unis savent que la confidentialité est essentielle pour inciter les gens à participer au recensement. Pour le Census Bureau, la confidentialité des statistiques est une condition essentielle pour des raisons procédurales, juridiques et morales. L’impératif procédural n’a fait que croître depuis 1840, de nombreuses études ayant montré à plusieurs reprises que les gens sont réticents à répondre, notamment quand les données permettent de les identifier. Depuis plus d’un siècle, il existe des exigences légales qui empêchent l’accès aux données de recensement à des fins non statistiques. Plus récemment, lorsque des chercheurs ont découvert comment les données de recensement étaient utilisées aux États-Unis et en Europe pendant la Seconde Guerre mondiale, la communauté des statisticiens s’est engagée plus généralement à assurer une meilleure confidentialité des données.

Pour assurer la confidentialité des statistiques, le Census Bureau a fait évoluer ses procédures. Longtemps, il a choisi de ne pas publier certaines statistiques, mais, dans les années 1980, le Census Bureau a été soumis à une forte pression pour publier des données plus détaillées. Ainsi, lors du recensement de 1990, le Census Bureau a commencé à injecter du bruit dans les données publiées afin de lui permettre de publier des données sur de petites zones géographiques. Le bruit qui a été injecté n’était pas systématique, mais consistait en des modifications destinées à atténuer la visibilité des valeurs aberrantes.

Les informaticiens ont montré que ces modifications n’offraient que peu de protection et ils ont commencé à développer la « confidentialité différentielle » comme une intervention possible (voire les très bonnes explications de David Larousserie dans un article du Monde sur les avantages et limites de ces techniques). Le but est de maximiser la confidentialité et la qualité des résultats statistiques en introduisant du bruit dans les données pour éviter qu’elles ne permettent de réidentifier des personnes.

Il existe de nombreuses façons de mettre en œuvre la confidentialité différentielle, explique pédagogiquement danah boyd, mais toutes impliquent des lettres grecques servant de variables qui régissent des aspects clés du système. L’une de ces lettres – epsilon – représente le risque de perte de confidentialité dans un système de confidentialité différentielle. « Pensez-y comme à un bouton. Tournez le bouton dans un sens et les données sont plus bruyantes, mais bénéficient d’une meilleure protection de la vie privée. Si vous le tournez dans l’autre sens, le bruit diminue », mais les données deviennent plus vulnérables à la réidentification.

« La confidentialité différentielle tient 4 choses pour acquises. Premièrement, elle présume qu’il est impératif de publier des statistiques utilisables tout en protégeant la confidentialité des données sous-jacentes. Deuxièmement, elle suppose que les statistiques utilisables peuvent être comprises en termes mathématiques. Troisièmement, elle suppose que les utilisateurs de données trouvent un intérêt à connaître, comprendre et mesurer le bruit, l’erreur et l’incertitude. Quatrièmement, la confidentialité différentielle suppose que la transparence est souhaitable. »

Le Census Bureau a commencé à intégrer la confidentialité différentielle dans ses produits scientifiques en 2006, rendant ainsi disponibles pour la première fois des données auparavant inaccessibles. La communauté scientifique a applaudi. Mais le recensement décennal est différent des autres produits de données produits par le Census Bureau. Aussi, lorsque le bureau a décidé de moderniser le système de divulgation statistique utilisé pour son produit canonique, il n’a pas mesuré l’ampleur de la réaction négative qu’il recevrait. Le bureau a apprécié la possibilité d’être franc au sujet de ses procédures. Les scientifiques imaginaient que cela permettrait une meilleure gouvernance du système statistique et une meilleure prise en compte de l’incertitude. Ils pensaient que les utilisateurs seraient satisfaits. Ils ont eu tort.

Les poursuites judiciaires ont commencé avant même la publication des données du recensement. D’autres sont encore attendus. Une fois de plus, nous pouvons nous attendre à ce que la Cour suprême doive s’interroger prochainement sur ce que sont les statistiques, explique boyd. Certains opposants à la protection différentielle de la vie privée ont des préoccupations d’ordre scientifique, mais bon nombre de ceux qui contestent le droit du bureau de moderniser son système de prévention de la divulgation ne voient pas les données du recensement à travers le prisme des mathématiques. « Ils veulent que les données soient des faits, qu’elles parlent d’elles-mêmes ». Et ils considèrent que la protection de la vie privée via la confidentialité différentielle est une abomination pour avoir osé modifier les données en premier lieu. Pour compliquer encore les choses, il y a aussi des gens qui voient des opportunités politiques à combattre le bureau, quelles que soient les ramifications pour le travail statistique.

La transparence est un idéal courant en informatique, en particulier dans les domaines issus de la cryptographie, qui ont un profond engagement moral envers la transparence. De même, les mathématiciens et les informaticiens ne considèrent pas l’incertitude comme une chose à éviter, mais comme une chose à embrasser activement. Dans le cadre de cette façon de voir le monde, les progrès de la méthode scientifique visant à améliorer la qualité des données et à négocier la confidentialité des statistiques sont une aubaine pour les statistiques. Mais elles sont aussi un cauchemar politique.

Nous n’échapperons pas à la politisation des données !

L’épistémologie est l’étude de la connaissance, elle consiste à comprendre « comment nous savons ce que nous savons ». La science est la poursuite de la connaissance par le biais de méthodes et de pratiques rigoureusement définies. Historiquement, les scientifiques ont été condamnés pour hérésie et brûlés sur le bûcher, mais au 20e siècle, les scientifiques ont acquis une grande importance dans de nombreuses sociétés. Malheureusement, leur ascension n’est pas toujours bien accueillie, surtout lorsque les découvertes scientifiques sont considérées comme une menace économique ou idéologique. Dans les années 1980 et 1990, les scientifiques n’ont pas été physiquement torturés, mais leurs pratiques ont été régulièrement détournées, souvent sous le couvert d’une « science solide ».

L’abus le plus flagrant du processus scientifique s’est produit dans les domaines de la science du climat et de la santé publique, alors que l’industrie pétrolière et l’industrie du tabac s’efforçaient de semer le doute sur le consensus scientifique concernant le changement climatique et le cancer lié au tabagisme. Plus que tout, ces efforts ont perverti l’incertitude scientifique encourageant sa paralysie. Dans les années 1990, un groupe d’universitaires s’est réuni pour donner un sens à ce phénomène. Ils ont inventé le terme « agnotologie » pour décrire l’étude de l’ignorance. L’ignorance n’est pas simplement ce que nous ne savons pas encore ; elle fait également référence à la connaissance qui a été perdue et à celle qui a été volontairement polluée.

L’incertitude est au cœur du processus scientifique. Mais dans un contexte de politique publique, l’incertitude est considérée comme toxique et dangereuse. La politisation de l’incertitude pour saper le consensus scientifique au cours de cette période explique en partie pourquoi ceux qui cherchent à garantir la légitimité des statistiques fédérales rejettent souvent par défaut toute information susceptible d’ébranler la confiance dans les données. Aujourd’hui, les personnes qui s’intéressent aux données rechignent à parler d’incertitude parce que, pendant 20 ans, elles ont vu comment l’incertitude était utilisée pour saper les connaissances scientifiques et l’élaboration de politiques fondées sur des preuves.

Les données de recensement sont le produit d’un travail scientifique. Elles sont également l’infrastructure de notre société, au cœur d’innombrables politiques et pratiques. « Des vies dépendent de ces données. Des économies dépendent de ces données. La santé publique dépend de ces données. » Ceux qui utilisent les données de recensement veulent savoir qu’ils peuvent avoir confiance en ces données, qu’ils peuvent s’appuyer sur ces données dans leurs calculs. Les scientifiques qui travaillent sur ces données sont obsédés par la qualité, mais ils n’ont jamais été en mesure de produire des données parfaites. « Pourtant, plus ces données sont politisées, plus on attend d’elles qu’elles soient parfaites. Et plus on s’attend à ce qu’elles soient parfaites, plus les personnes investies dans la légitimité des données sont censées supprimer toute discussion sur l’incertitude, le bruit et l’erreur. » Ce faisant, une illusion est née.

L’illusion de la perfection, cet imaginaire statistique

« En m’appuyant sur les travaux d’autres chercheurs, je ne peux m’empêcher de considérer cette illusion comme un type d’imaginaire statistique. Dans mon esprit, un imaginaire statistique se forme lorsque des personnes construisent collectivement une vision de ce que sont les données et de ce qu’elles pourraient être. Par exemple, lorsque les auteurs de la Constitution ont imaginé de procéder à un recensement pour ancrer une démocratie et sa représentation, ils ont créé un imaginaire statistique. Les entreprises produisent également des imaginaires statistiques. Par exemple, lorsque les entreprises créent des discours parlant de tous les avantages du « big data » et de l’IA, elles produisent un imaginaire. »

Les imaginaires statistiques n’ont pourtant pas besoin d’être des fantasmes farfelus. Ils ne doivent même pas être des illusions ; ils peuvent être profondément ancrés dans la pratique, enracinés dans des objectifs pragmatiques et réalisés par des systèmes techniques. Mais ils peuvent aussi se détacher de la pratique lorsque l’illusion de ce que les statistiques devraient être est plus attrayante que la réalité de ce qu’elles sont. L’apprentissage automatique est un outil puissant, mais le fantasme selon lequel l’apprentissage automatique peut résoudre tous les problèmes de société est déconnecté de la réalité.

« La clé d’une science des données responsable est de garder l’imaginaire statistique sous contrôle ». De nombreuses personnes célèbres ont parlé des dangers de mentir à travers les statistiques, de contorsionner les statistiques pour dire des choses inappropriées. Il existe également un danger de produire un imaginaire statistique qui ne peut être réalisé. Une science des données responsable nous oblige à fonder ces conversations. Oui, les données doivent être solides. Mais les logiques techniques, culturelles et politiques qui entourent l’analyse et l’utilisation des données doivent l’être tout autant.

« Toutes les données sont fabriquées ». Elles ne sont ni immanentes, ni trouvées. L’idée que les données puissent être le produit d’un acte de comptage apolitique est chaleureuse et floue. Mais il s’agit d’une illusion. Et cette illusion masque la manière dont les catégories de données sont politiquement contestées, dont les choix en matière de collecte et de traitement nécessitent des décisions humaines. « ,Mais le plus grand problème de cette illusion est qu’elle encourage les personnes impliquées dans le travail sur les données à ignorer les limites des données afin d’apaiser un idéal de faits objectifs. Les données ne peuvent pas être traitées comme des acquis. Leurs imperfections et leur contexte doivent être pris en compte ».

Pour des données incertaines et des usages responsables !

S’engager dans l’incertitude est une entreprise risquée. Les gens ont peur de s’engager dans l’incertitude. Ils ne savent pas comment s’y prendre. Et ils s’inquiètent de la politisation de l’incertitude. Mais nous atteignons un point de bascule. En ne s’engageant pas dans l’incertitude, les imaginaires statistiques sont de plus en plus déconnectés de la pratique statistique, ce qui sape de plus en plus la pratique statistique. Et cela menace la capacité de faire du travail statistique en premier lieu. Si nous voulons que les données aient de l’importance, la communauté scientifique doit contribuer à dépasser la politisation des données et de l’incertitude pour créer un imaginaire statistique capable de prendre en compte les limites des données.

« En tant que chercheurs techniques et scientifiques du monde entier, vous avez tous un rôle à jouer », exhorte danah boyd. « Nous devons tous à nos communautés respectives de garantir un avenir plus responsable en matière de données ». « Beaucoup d’entre vous se sont déjà engagés à produire des métadonnées sur des ensembles de données afin de rendre visibles les caractéristiques de ces données. Cela devrait être une pratique courante. Mais allez un peu plus loin… Comment faites-vous pour comprendre comment les données sont utilisées ? Et que faites-vous pour vous assurer que les données sont utilisées de manière responsable ? »

La politisation des données climatiques et des données sur le cancer il y a 20 ans aurait dû être un avertissement, rappelle boyd. La politisation des données est désormais omniprésente. Elle menace la légitimité de l’infrastructure de données de la démocratie. Elle menace la capacité à comprendre les crises de santé publique. Elle menace la capacité des individus, des entreprises et des gouvernements à prendre des décisions éclairées.

Beaucoup d’entre vous ici aujourd’hui sont des constructeurs d’outils qui aident les gens à travailler avec des données. « Plutôt que de présumer que ceux qui utilisent vos outils ont une vision claire de leurs données, comment pouvez-vous créer des fonctionnalités et des méthodes qui garantissent que les gens connaissent les limites de leurs données et les utilisent de manière responsable ? Vos outils ne sont pas neutres. Les données que vos outils aident à analyser ne le sont pas non plus. Comment pouvez-vous créer des outils qui invitent à une utilisation responsable des données et qui permettent de voir quand les données sont manipulées ? Comment pouvez-vous contribuer à la création d’outils de gouvernance responsable ? »

« Certains d’entre vous ici aujourd’hui sont des chercheurs critiques, qui regardent tout cela se dérouler. Nous avons tous vu des technologies être utilisées pour mettre en œuvre des abus et réifier des inégalités structurelles. Mais soyons également prudents. Dans certains contextes, nos critiques sont détournées pour saper les infrastructures de données qui défendent la démocratie et les droits civils. Le contexte est important. Oui, nous devons examiner d’un œil critique la façon dont la technologie soutient les systèmes de pouvoir. Mais nous devons également être conscients de ceux qui profitent du doute et de l’affaiblissement de la science et des statistiques. »

Les données de recensement sont un canari dans la mine de charbon. Les controverses entourant le recensement de 2020 ne vont pas disparaître à court terme. L’imaginaire statistique des données précises, parfaites et neutres a été rompu. Et il n’y a aucun moyen de remettre le proverbial génie dans la bouteille. Rien de bon ne sortira de la tentative de trouver une nouvelle façon d’ignorer l’incertitude, le bruit et l’erreur. La réponse à l’utilisation responsable des données ne consiste pas à réparer une illusion. Il s’agit d’envisager et de projeter de manière constructive un nouvel imaginaire statistique, les yeux grands ouverts. Cela signifie que tous ceux qui s’intéressent à l’avenir des données doivent contribuer à ancrer notre imaginaire statistique dans la pratique, dans les outils et dans les connaissances. « La science responsable des données ne concerne pas seulement ce que vous faites, mais aussi ce que vous faites faire à tous ceux qui travaillent avec des données ».

Les données sont des artefacts politiques comme les autres

Derrière cette invitation puissante à interroger notre conception des données, danah boyd pointe d’autres. Dans l’édition précédente de sa newsletter, danah boyd interrogeait plus avant les limites de la visualisation des données par exemple. Elle expliquait notamment que la visualisation est profondément une question de communication. « Les choix que vous faites pour produire une visualisation déterminent la façon dont elles seront perçues. Le spécialiste en visualisation de données a le pouvoir de façonner nos perceptions. Ce qui signifie qu’il n’y a pas de visualisation neutre, pas plus qu’il n’y a de données neutres. La question pour le spécialiste en visualisation de données consiste donc à savoir ce qu’il souhaite transmettre. » Le journalisme aimerait lui aussi s’imaginer en reporter neutre, alors qu’il ne cesse de devoir prendre des décisions sur les priorités qu’il donne à certaines informations sur d’autres et sur la manière dont il va communiquer ces informations. Shannon dans sa théorie de l’information le disait d’une autre manière. L’enjeu n’est pas tant ce que le communicateur essaie de dire que ce que le destinataire est capable d’entendre. « La perte de paquets est inévitable. Le communicateur doit donc organiser l’information de manière à ce que, même avec du bruit dans le système, le destinataire puisse recevoir le message voulu. » Pour danah boyd, se concentrer sur la parole ou l’écoute forme les deux extrémités d’un spectre. Si la presse a toujours été attentive au contexte, c’est-à-dire à la manière dont les gens peuvent recevoir une histoire, aujourd’hui, elle a de moins en moins de contrôle sur celui-ci, puisque nombre de contenus ne sont plus reliés à une hiérarchie de l’information, mais deviennent de plus en plus indépendants les uns des autres.

« Les données ne parlent pas d’elles-mêmes. Elles ne sont jamais neutres. Elles ont des biais et des limites, des vulnérabilités et des incertitudes. Lorsqu’elles sont placées en position de pouvoir, elles sont souvent déformées et déformées d’innombrables façons. » Apprendre à voir véritablement les données est difficile, notamment parce que leurs faiblesses ne sont pas toujours évidentes à décoder. La visualisation peut contribuer à révéler leurs faiblesses ou les masquer.

Il y a quelques années, alors qu’elle donnait un cours d’introduction à la science des données, elle faisait travailler ses étudiants sur des données de police de la ville de New York et leur posait une question simple : quel est l’âge moyen des personnes arrêtées. Très vite la réponse fusait (27 ans) et quand elle leur demandait si c’était exact, ceux-ci émettaient mille hypothèses sociales pour en tirer du sens. Mais en leur demandant de faire une distribution des données, ils se sont rendu compte que la grande majorité des gens dans les données n’avaient pas d’âge. En comparant cette variable à celle de la date de naissance, ils se sont rendu compte que les deux variables ne correspondaient pas. L’âge est une très mauvaise clef d’entrée dans ces données. La première leçon était apprise : il est essentiel de saisir la faiblesse des données avant de leur poser des questions. « Lorsque vous construisez vos outils, quelles hypothèses faites-vous sur vos données ? Comment aidez-vous ceux qui cherchent à donner un sens aux données à en voir les limites ? Comment amadouer les données pour qu’elles montrent leurs faiblesses ? Comment encouragez-vous les utilisateurs de données à voir l’incertitude ? Ce sont des choix. »

Les données démographiques américaines sont ainsi classées géographiquement, par sexe et race. Autant de classements bien souvent difficiles. Elles ne sont pas les seules à être problématiques dès qu’on les distribue en catégories. Si nos manières de segmenter les données peuvent être guidées par des formules mathématiques, le choix de créer des segments est très directement déterminé par des considérations sociales. Une fois les catégories créées, il faut traiter les données qui ne correspondent pas aux catégories et également traiter les données qui sont déformées par les catégories, notamment à des fins politiques. Nos sociétés sont pleines d’inégalités. Or, souligne boyd, « bien que les gens imaginent l’informatique comme un grand perturbateur, l’ironie veut que nombre de nos pratiques informatiques soient davantage obsédées par la réification des catégories créées par les humains que par leur perturbation ».

L’apprentissage automatique n’est rien d’autre qu’un moyen pour identifier des catégories socialement construites et il consiste à les identifier informatiquement dans des systèmes qui, généralement, les amplifient. D’où le fait que l’IA soit si controversée. Ainsi, les systèmes apprennent rapidement que les infirmières sont des femmes et les médecins des hommes. Ils n’ont pas appris ici un fait intrinsèque, mais un fait socialement construit. Lorsqu’un modèle présentant ce biais est ensuite placé dans un système qui l’utilise, alors il a tendance surtout à renforcer ce biais. Que se passe-t-il alors ? Quand vous visualisez des données contenant des préjugés, faut-il alors concevoir un outil pour les révéler ou pour les réifier ?

Pour boyd, quand on crée une visualisation, nous devons tenir compte de la façon dont ce travail peut-être déformé pour favoriser l’ignorance, pour favoriser des perceptions erronées… « La désinformation et l’information erronée ne sont pas simplement des attaques contre le discours politique ; ce sont des attaques épistémiques conçues pour saper toutes les formes de preuves », rappelle-t-elle (« L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », rappellait Ethan Zuckerman – @EthanZ – récemment, nous invitant à nous maintenir dans l’impuissance en nous battant pour la vérité plutôt que contre le pouvoir). Pour danah boyd, ceux qui produisent des visualisations de données doivent penser comme un pirate et réfléchir à la manière de sécuriser leur travail de visualisation pour qu’il ne devienne pas un outil de désinformation.

boyd explique qu’elle est tombée amoureuse de la visualisation de données quand elle a réalisé qu’elle pouvait aider à voir des informations complexes sous un meilleur jour, comme c’est le cas notamment des visualisations interactives. « Les visualisations sont des outils puissants. Elles nous permettent d’explorer les données, de donner un sens à ce que nos données peuvent cacher sur elles-mêmes. Elles nous permettent de communiquer des données, en révélant des aspects des données qui sont difficiles à saisir. Elles peuvent également être utilisées pour affirmer l’autorité, de manière à la fois productive et dangereuse. »

Les entreprises sont dans leur pire état lorsque la conscience interne qu’elles ont d’elles-mêmes est en désaccord maximal avec la perception externe de l’entreprise. C’est par exemple le cas actuellement de Facebook. Une bonne communication consiste à aligner ces perceptions internes et externes. Le soir de l’élection de 2016, le New York Times a présenté une visualisation absurde de la probabilité de victoire de chaque candidat. Elle était binaire et montrait que Hillary Clinton allait gagner. La victoire de Trump était dans la marge d’erreur pourtant, mais ce n’est pas ce qu’a montré la visualisation. Lorsqu’on construit un outil de visualisation, trop souvent, on souhaite le montrer dans toute sa splendeur. C’est oublier que les visualisations ont du pouvoir. Elles savent transmettre des informations et amplifier certaines interprétations. Elles sont des artefacts politiques comme les autres, conclut-elle en encourageant les concepteurs à une grande humilité et à une grande responsabilité.

Image : Quelques heures avant les résultats de l’élection de 2016, les prévisions en direct du New York Times annoncent que Hillary Clinton a 82 % de chance de devenir présidente des Etats-Unis.

Les données ou la démocratie ?

Prenons encore un peu plus de hauteur, sur les enjeux de la production de données et leurs limites.

Le contrôle, la circulation et le traitement des données sont au cœur des pratiques de nos sociétés. Mais elles restent profondément opaques : nous en savons bien moins sur ceux qui recueillent les données (et comment) qu’ils n’en savent sur nous, rappelle la professeure de droit de Yale, Amy Kapczynski (@akapczynski) en introduction d’un imposant dossier sur les données et la démocratie publié par l’Institut Knight de l’université de Columbia (@knightcolumbia). Reste que ces techniques mobilisées ne sont pas sans biais et erreurs qui reproduisent et ancrent des réalités sociales plus discriminantes qu’autre chose. « Notre position dans les réseaux numériques façonne profondément nos chances dans la vie, d’une manière que nous ne comprenons que très peu et qui soulève des préoccupations importantes pour nous tous. Les pratiques de notation et de tri ne constituent pas seulement nos identités et notre accès aux médias sociaux, mais façonnent également notre capacité à accéder au crédit, à l’emploi, au logement et aux soins médicaux. Les implications sont également structurelles. Une nouvelle « fracture du big data » est apparue : « Ceux qui ont accès aux données, à l’expertise et à la puissance de traitement sont positionnés pour s’engager dans des formes de tri de plus en plus sophistiquées qui peuvent être « de puissants moyens de créer et de renforcer des différences sociales à long terme [ou nouvellement générées]. » Les défis des technologies et des formes de pouvoir qu’elles encapsulent est un nouveau défi à nos démocraties qui reposent sur des formes de partage de pouvoir, qui semble moins évident quand celui-ci, structurellement, ne le permet pas, estime Kapczynski. La datafication de nos sociétés adresse de nouveaux défis à nos démocraties.

Image : l’article introductif de Amy Kapczynski pour le Knight Institute.

Tout d’abord, les données ne sont pas seulement un matériel à traiter, mais jouent un rôle dans le rapport au peuple qui est censé gouverner. Si les données alimentent depuis longtemps les démocraties modernes, la collecte et les traitements sont désormais au cœur de nos fonctionnements démocratiques, rappelle la professeure de droit. Reste à comprendre comment ces pratiques peuvent incarner et intégrer des valeurs démocratiques, alors qu’elles sont fondamentalement opaques et techniques. Elle évoque justement l’exemple du recensement – danah boyd signe d’ailleurs avec l’historien Dan Bouk (danbouk qui tient un blog sur la question du rencensement) un autre article sur la question du bureau du recensement -, et souligne que les arbitrages sur qui compter, qui peut utiliser les données… ont toujours fait l’objet de conflits. L’évolution des choix opérés est clairement liée à des contextes politiques et idéologiques rappelant qu’il n’y a pas de neutralité technique, même dans les chiffres. Même constat quand on regarde les questions électorales et leurs implications, qui vont du découpage des circonscriptions aux modalités de vote, jusqu’aux formes les plus sophistiquées de ciblages politiques… L’exploitation des données semble transformer et accélérer « la politique comme marché », amplifiant les hiérarchies sociales existantes. Pour les professeurs de droit Bertrall Ross (@bertrall_ross) et Douglas Spencer – dans un article qui n’a pas encore été publié par le Knight -, l’accès à des données de plus en plus granulaires sur les électeurs est corrélé à un moindre investissement politique dans la mobilisation des électeurs à faible revenu, parce que ces derniers ont des taux de vote plus faibles et sont donc considérés comme de mauvais investissements, explique Kapczynski. Pour Ross et Spencer, le risque est que la baisse de la participation électorale des plus pauvres s’autorenforce. Pire, soulignent-ils, à l’ère du microciblage et de l’accès différencié aux données, l’accès et l’ouverture aux données pourraient renforcer l’exclusion plus que la limiter, défaire les projets politiques solidaires… Un plus grand accès aux données ne se traduira pas automatiquement par un élargissement de la démocratie ou par un gouvernement plus fiable ou plus digne de confiance, expliquent-ils avec inquiétude.

Le second enjeu repose sur le défi qu’adresse le secret des calculs au projet démocratique. « Nous ne pouvons pas obtenir les informations dont nous avons besoin sur les données et les systèmes d’IA en insistant simplement sur une « transparence » passive et sans médiation. Si l’accès aux données doit servir des objectifs publics, il devra être actif, sensible aux structures de pouvoir sous-jacentes et, dans de nombreux cas, conditionnel. » L’optimisme sur le potentiel libérateur qu’on a connu sur l’open access et la transparence sans limites, est derrière nous. La transparence et l’ouverture ne peuvent pas, à elles seules, créer la responsabilité et l’équité !

L’accès aux données ne signifie pas non plus accéder à des informations fiables. La transparence relève d’une forme d’idéologie, comme l’expliquait David Pozen dans un article sur la dérive idéologique de la transparence (.pdf). L’utilisation des données qui relève de l’ouverture est profondément intriquée dans des structures de pouvoir, notamment au profit de ceux qui disposent d’accès à ces données et des capacités de traitement pour les faire parler et agir. L’ère algorithmique génère surtout de nouveaux obstacles à l’accès à l’information, notamment, à nouveau, pour ceux qui sont le plus démunis, rappelle très justement Amy Kapczynski. Face à la complexité des processus et systèmes à forte intensité de données, les profanes sont laissés sur le bord de la route. « La complexité et le secret de conception ne sont qu’un aspect du problème. À mesure que les processus technologiques et de gouvernance sont devenus plus complexes, les données ont fait l’objet d’une protection juridique plus forte. » L’accès aux processus est plus compliqué que jamais du fait des secrets sur les techniques de calcul et impacte jusqu’au secteur public qui utilise des systèmes privés. La protection de la vie privée et celles relatives à la liberté d’expression sont trop souvent mobilisées pour rejeter les demandes d’information et rendent souvent impossible ou difficile la régulation publique sur les décisions de filtrage qu’opèrent les plateformes. Pour John Bowers (@john_bowers_), Elaine Sedenberg (@Elaine_Said) et Jonathan Zittrain (@zittrain), il est essentiel que les plateformes ouvrent des accès aux chercheurs, expliquent-ils dans un article sur la responsabilité des plateformes. Dans un article sur les limitations de l’accès aux données introduites par le RGPD en Europe, Mathias Vermeulen (@mathver) montre que là aussi, les chercheurs peinent à accéder aux données. Hannah Bloch-Wehba (@HBWHBWHBW) souligne quant à elle les risques que les fournisseurs privés d’outils d’analyses risquent de renforcer l’opacité des services publics et préconise des réformes sur les pratiques de passation de marchés publics qui obligeraient les contractants à l’ouverture.

Enfin, la série s’interroge également sur la gouvernance des données. Pour l’instant, les données ont été « légalement construites comme faisant partie d’un « domaine public » ouvert à la capture » par ceux qui peuvent les capturer, comme l’explique Amy Kapczynski dans The law of informational Capitalism. Au final, cette conception des données produit une forme de consentement automatisé et des conditions d’utilisation qui ne protègent pas vraiment la vie privée. D’autres contributeurs encore, comme Julie Cohen (@julie17usc), Frank Pasquale (@FrankPasquale), Aziz Huq (@aziz_huq) et Mariano-Florentino Cuéllar avancent de nombreux arguments pour démontrer l’incapacité des approches individualisées et fondées sur le consentement à permettre aux utilisateurs de comprendre ce qu’il sera fait des données qu’ils consentent à partager. « Organiser un régime réglementaire autour des droits de contrôle individuels », note Julie Cohen, « implique une structure de gouvernance atomistique et post hoc. Les utilisateurs individuels qui affirment leurs préférences pour des options prédéfinies sur des tableaux de bord modulaires n’ont ni le pouvoir ni la capacité de modifier les réseaux invisibles et préconçus d’arrangements techniques et économiques dans le cadre desquels leurs données circulent entre de multiples parties. » « Les approches structurelles, qui ne sont pas basées sur le consentement ou organisées par des logiques de choix individuels, et les approches qui sont capables d’affirmer et de s’occuper des formes structurées du pouvoir du réseau, sont essentielles pour démocratiser notre ère de données intensives. » Pasquale et Cohen préconisent donc de s’écarter radicalement des modèles réglementaires existants.

Kiel Brennan-Marquez et Daniel Susser (@internetdaniel) soutiennent que l’émergence de la phase « plateforme » du capitalisme remet en question l’existence même des marchés tels que nous les connaissons, ainsi que leur relation avec la liberté et l’efficacité. La surveillance et l’influence comportementale rendues possibles par la techno soulignent qu’il est peu probable que les marchés améliorent la liberté.

Concrètement, les enjeux que pose l’imposant dossier coordonné par Amy Kapczynski souligne que les données vont transformer en profondeur nos démocraties. Quel type de démocratie créons-nous depuis les nouvelles technologies ? Est-ce vraiment celle que nous voulons ? Ce qui est sûr, c’est que nous ne répondrons pas à ces questions sans interroger profondément et précisément ce que modifie notre rapport aux données et aux traitements quand ils sont partout autour de nous.

Hubert Guillaud

Le journaliste philosophe David Weinberger (@dweinberger, blog) étudie depuis longtemps les effets d’internet sur la connaissance. Il est actuellement écrivain en résidence (« à temps partiel et temporaire ») chez Google (et il tient un autre blog sur le sujet de l’apprentissage automatisé, lié à sa résidence). Pour le magazine Aeon (@aeonmag), il tente d’expliquer l’impact que le Machine Learning risque d’avoir sur la connaissance et sur notre rapport au monde. Son dernier livre, Everyday Chaos : Technology, Complexity, and How We’re Thriving in a New World of Possibility (Le chaos quotidien : technologie, complexité et comment nous nous épanouissons dans un nouveau monde de possibilité, non traduit, Harvard Business Review Press, 2019), est également consacré à ce sujet.

« Dans ses bons jours, le monde ressemble à un chemin de fer bien géré : les choses se passent selon des principes, des lois, des règles et des généralisations que nous, humains, comprenons et pouvons appliquer à des cas particuliers. Nous pardonnons les retards occasionnels des trains, car ils sont les exceptions qui confirment la règle. Mais à d’autres moments, nous faisons l’expérience d’un monde qui ressemble à un carambolage sur une autoroute. Les mêmes lois s’y appliquent, mais il y a tellement de facteurs à prendre en compte qu’on ne peut prédire le prochain carambolage et que nous ne pouvons pas expliquer les « détails » de celui-ci – détails qui pourraient permettre pourtant à une voiture de s’en sortir avec une aile tordue, alors qu’une autre exploserait en boule de feu. »

Nous vivons dans un monde dans lequel les interdépendances entre d’innombrables particularités dépassent le pouvoir d’explications des règles qui les déterminent. D’un côté, on maudit un résultat, de l’autre, il nous émerveille.

L’apprentissage automatique pourrait révéler que le monde quotidien est plus accidentel que régi par des règles. « Si tel est le cas, c’est parce que l’apprentissage automatique tire son pouvoir épistémologique de son absence de généralisations que nous, les humains, pouvons comprendre ou appliquer ».

« L’opacité des systèmes d’apprentissage automatique soulève de sérieuses inquiétudes quant à leur fiabilité et leur tendance à la partialité. Mais le constat brut qu’ils fonctionnent pourrait nous amener à une nouvelle compréhension et expérience de ce qu’est le monde et de notre rôle dans celui-ci. »

Et le philosophe de rappeler, avec beaucoup de clarté et de pédagogie, que l’apprentissage automatique fonctionne d’une manière radicalement différente de la programmation traditionnelle. « Les programmes traditionnels sont en effet l’apothéose de la compréhension du monde et de l’expérience », puisqu’ils reposent sur des règles, à l’image de notre compréhension d’un chemin de fer bien géré. Dans un programme traditionnel qui reconnaît des chiffres écrits à la main, le programmeur doit indiquer à l’ordinateur que 1 s’écrit comme une ligne droite verticale, 8 avec deux cercles l’un sur l’autre… Cela peut fonctionner correctement, mais le programme risque de mal reconnaître un pourcentage élevé de chiffres écrits par des mains malhabiles dans un monde imparfait. Les modèles d’apprentissage automatiques sont au contraire des programmes écrits par des programmes qui apprennent à partir d’exemples. Pour créer un modèle d’apprentissage automatique capable de reconnaître des chiffres écrits à la main, les développeurs ne disent rien à la machine des formes de ces chiffres. Ils lui donnent des milliers d’exemples de chiffres manuscrits, chacun étiqueté correctement du nombre qu’ils représentent. Le système découvre alors des relations statistiques entre les pixels qui composent les images partageant une même étiquette. Une série de pixels en ligne plus ou moins verticale ajoute un poids statistique à l’image en tant que 1, et diminue la probabilité qu’il s’agisse d’un 3.

« Dans les applications réelles d’apprentissage automatique, le nombre de réponses possibles peut dépasser de loin les 10 chiffres, la quantité de données à prendre en compte est vraiment énorme et les corrélations entre les points de données sont si complexes que nous, les humains, sommes souvent incapables de les comprendre. Par exemple, le métabolisme humain est un ensemble incroyablement complexe d’interactions et d’effets interdépendants. Imaginez donc que l’on crée un système d’apprentissage automatique capable de prédire comment le système du corps humain va réagir à des causes complexes. » Ce modèle devient alors l’endroit où médecins, chercheurs, profanes et hypocondriaques se rendent pour poser des questions et jouer à « Et si ? ». Le modèle devient alors la source la plus importante de connaissances sur le corps humain, même si nous ne pouvons pas comprendre comment il produit ses résultats.

Le risque d’un monde inexplicable

Deux histoires sont alors possibles. La première affirme que l’inexplicabilité est un inconvénient avec lequel nous devons apprendre à vivre afin d’obtenir et vivre avec les résultats utiles et probabilistes que l’apprentissage automatique génère. La seconde affirme que l’inexplicabilité n’est pas un inconvénient, mais une vérité ! Les outils d’apprentissage automatique fonctionnent parce qu’ils sont meilleurs que nous pour lire un monde trop complexe pour nous. Le succès de cette technologie nous apprend que le monde est la véritable boîte noire.

L’apprentissage automatique se déploie partout. Il est certes imparfait – notamment du fait qu’il peut amplifier les préjugés de nos sociétés -, mais nous continuons à l’utiliser quand même du fait des résultats qu’il génère. Le fait que l’apprentissage automatique réalise des exploits sans appliquer de règles est surprenant, voire gênant, pour nous, humains, tant nous avons une préférence pour les règles plutôt que pour les détails. Programmer un système pour jouer au jeu de Go sans qu’on lui indique les règles du jeu, mais en lui donnant des centaines de millions de mouvements à analyser semble assez contre-intuitif. Reste que l’apprentissage automatique est devenu bien meilleur que nous pour jouer au Go. Le processus de l’apprentissage automatique ne part pas de généralisations et ne produit pas de généralisations et ne sait pas produire d’interprétation généralisante. Il ne sait que traiter un cas par rapport à des millions d’autres, en généralisant à partir de millions de données. Ainsi, si un identificateur d’écriture n’a pas généralisé ce qu’il a appris des échantillons qui lui ont été donnés, il échouera lamentablement à catégoriser les caractères qu’il n’a jamais vus auparavant. Son incapacité à généraliser en fait un modèle inutile. Mais sa capacité à généraliser dépend toujours d’exemples spécifiques.

Les généralisations que produisent les modèles d’apprentissage automatique sont très différentes des généralisations que nous utilisons, nous humains, pour expliquer des particularités. « Nous aimons les généralisations traditionnelles, parce que (1) nous pouvons les comprendre ; (2) elles permettent des conclusions déductives ; et (3) nous pouvons les appliquer à des cas particuliers. Or, les généralisations produites par l’apprentissage automatique (1) ne sont pas toujours compréhensibles ; (2) sont statistiques, probabilistes et principalement inductives ; et (3) littéralement et pratiquement, nous ne pouvons généralement pas appliquer les généralisations qu’il produit, sauf en exécutant le modèle d’apprentissage automatique. De plus, les généralisations d’un modèle de machine learning peuvent être étrangement particulières : un motif de veines dans un scanner rétinien peut annoncer un début d’arthrite, mais seulement s’il y a 50 autres facteurs avec des valeurs spécifiques dans le dossier médical global et ces 50 facteurs peuvent varier en fonction de leur interrelation. C’est comme si vous vous demandiez comment votre voiture a évité de graves dommages lors de cette collision entre plusieurs voitures : la voiture a dû surmonter tellement de « si », de « et » et de « ou » que l’événement ne se réduit pas à une règle compréhensible que vous pourriez exprimer ou appliquer proprement à une autre situation. Ou encore, c’est comme les indices d’un meurtre mystérieux qui ne désignent le tueur que lorsqu’ils sont pris ensemble, d’une manière qui ne peut être généralisée et appliquée à d’autres affaires de meurtre. »

« Notre rencontre avec les modélisations basées sur l’apprentissage automatique ne nie pas l’existence de généralisations, de lois ou de principes. Elle nie qu’elles soient suffisantes pour comprendre ce qu’il se passe dans un univers aussi complexe que le nôtre. Les particularités contingentes, chacune affectant toutes les autres, écrasent le pouvoir explicatif des règles et le feraient même si nous connaissions toutes les règles. »

Jusqu’à présent, les lois de la science ont répondu à nos besoins. Ce que nous connaissons des lois de la gravité nous permet de procéder aux calculs nécessaires. Nous n’avons pas besoin d’une connaissance exhaustive et impossible de l’univers pour cela. Les lois et règles de la physique nous permettent de simplifier suffisamment le monde pour le comprendre, le prévoir, voire le contrôler, sans avoir besoin de nous intéresser au chaos des particularités et de leurs relations entre elles. Avec l’apprentissage automatique, nous disposons désormais d’une technologie de prédiction et de contrôle qui découle directement des innombrables interactions chaotiques simultanées de la totalité. Cette technologie a pourtant un écueil : si elle nous donne une maîtrise accrue, elle ne nous apporte pas la compréhension. Mieux, son succès même attire l’attention justement sur ce qui échappe à notre compréhension.

Pour David Weinberger, « l’apprentissage automatique pourrait briser l’engouement de l’Occident pour la certitude comme signe de la connaissance ». Comme les résultats de l’apprentissage automatique sont probabilistes, la certitude totale des résultats est bien souvent une cause de scepticisme à l’égard d’un modèle. Par nature, les résultats probabilistes de l’apprentissage automatique comportent un certain degré d’inexactitude. Nous avons désormais des systèmes puissants capables de tirer des conclusions d’innombrables détails interconnectés, même si leurs modalités nous restent impénétrables. À terme, le plus réel ne sera peut-être plus le plus immuable, le plus général, le plus connaissable… Le réel ne sera plus alors l’événement le plus simple, mais bien sa complexité même.

Le fossé de la compréhension

En 2019, à la sortie du livre, Weinberger développait la même idée sur son blog sur Medium. Pour lui, l’apprentissage automatique élargit le fossé entre la connaissance et sa compréhension. Longtemps nous avons pensé qui si nous travaillions assez durement, si nous pensions assez clairement, l’univers nous livrera ses secrets, car il est connaissable… « Mais avec l’apprentissage automatique, nous commençons à accepter que la véritable complexité du monde nous dépasse et dépasse de loin les lois et les modèles que nous concevons pour l’expliquer » Or, rappelle-t-il, nous nous considérons comme des créatures créées par Dieu et dotées de la capacité à recevoir la révélation de la vérité. Depuis la Grèce antique, nous nous définissons comme les animaux rationnels capables de voir la logique et l’ordre sous l’apparent chaos du monde. L’apprentissage automatique nous invite à remiser cette idée fondamentale. Nous ne sommes peut-être pas aussi bien adaptés à la rationalité de notre univers que nous le pensions. « L’évolution nous a donné des esprits réglés pour la survie et seulement accessoirement pour la vérité. » Pour Weinberger, nous sommes confrontés à une désillusion, à une compréhension nouvelle de nos limites, mais désormais dotés d’un pouvoir pour les dépasser. « Plutôt que de devoir toujours ramener notre monde à une taille que nous pouvons prévoir, contrôler et avec laquelle nous nous sentons à l’aise, nous commençons à élaborer des stratégies qui tiennent compte de la complexité de notre monde. »

Weinberger évoque ainsi l’utilisation des tests A/B (voir également ce que nous disions du potentiel et des limites de l’A/B testing). Il rappelle que lors de la première campagne présidentielle d’Obama, ses équipes n’ont cessé d’utiliser ces techniques pour améliorer l’engagement des visiteurs de son site web. Ses équipes ne savaient pas pourquoi certaines améliorations fonctionnaient, mais elles n’en avaient pas besoin. Il suffisait de le mesurer et de le constater. En fait, nombre de résultats de tests A/B ne s’expliquent pas, notamment quand ils montrent qu’un fond vert a plus d’effet qu’un fond bleu. Nous n’avons pas toujours le cadre mental qui explique pourquoi une version d’une publicité fonctionne mieux qu’une autre par exemple. Il est probable que les explications soient liées à des contextes précis, à des préférences multiples, fugaces et très spécifiques. « Les raisons peuvent être aussi variées que le monde lui-même ». « Pensez au lancer d’un ballon de plage. Vous vous attendez à ce que le ballon fasse un arc de cercle en se déplaçant dans la direction générale dans laquelle vous l’avez lancé, car notre modèle mental – l’ensemble des règles qui régissent la façon dont nous pensons que les choses interagissent – tient compte de la gravité et de l’élan. Si la balle va dans une autre direction, on ne rejette pas le modèle. Vous supposez plutôt que vous avez manqué un élément de la situation ; peut-être y avait-il un coup de vent, ou que votre main a glissé ».

« C’est précisément ce que nous ne faisons pas pour les tests A/B. Nous n’avons pas besoin de savoir pourquoi. » Nous n’avons pas besoin de savoir pourquoi une photo en noir et blanc, un fond vert plutôt que bleu ou une étiquette « En savoir plus » ont augmenté les dons à une campagne particulière. Nous n’avons pas même à savoir si les leçons que nous avons tirées de la publicité d’un démocrate s’avèrent ne pas fonctionner pour son adversaire républicain – et il est fort possible que ce ne soit pas le cas – ce n’est pas grave non plus, car il est assez peu coûteux d’effectuer d’innombrables tests A/B.

« Le test A/B n’est qu’un exemple de technique qui nous montre discrètement que les principes, les lois et les généralisations ne sont pas aussi importants que nous le pensions. » Au final, la complexité démontre une forme d’efficacité.

L’apprentissage automatique et le test A/B ont trois choses en commun : elles sont énormes, elles sont connectées, elles sont complexes. Leur échelle – leur immensité – leur permet d’atteindre un niveau de détail inégalé. L’un comme l’autre – contrairement à nous – se nourrissent de détails et d’unicité. La connectivité est également essentielle, notamment parce qu’elle est à l’origine même de leur complexité. « Les connexions entre les très nombreux éléments peuvent parfois conduire à des chaînes d’événements qui se terminent très loin de leur point de départ. D’infimes différences peuvent faire prendre à ces systèmes des virages inattendus. »

« Mais, nous n’utilisons pas ces technologies parce qu’elles sont énormes, connectées et complexes. Nous les utilisons parce qu’elles fonctionnent. »

L’efficacité des systèmes : une appréciation contextuelle

Cette efficacité intrinsèque cependant semble une limite que ces deux tribunes n’interrogent pas. Une efficacité pour quoi et pour qui ? Nous avons pour notre part souvent pointé les limites tautologiques de l’efficacité (par exemple, dans « Qu’est-ce que l’informatique optimise ? »).

Pointons donc vers une derrière tribune de David Weinberger qui revient sur les erreurs de l’apprentissage automatique. Cette efficacité des systèmes, c’est nous qui devons la régler, la borner, souligne-t-il.

De nombreux systèmes d’apprentissage automatique sont des classificateurs. Ils trient et classent des objets en fonction de leurs résultats. « Cette photo doit-elle être placée dans le panier des photos de plage ou non ? Cette tache sombre sur un scanner médical doit-elle être classée comme une excroissance cancéreuse ou autre chose ? » Les machines prennent des décisions sur la base de l’examen de milliers voire de millions d’exemples qui ont déjà été classés de manières fiables, entraînés. Reste que tous les systèmes font des erreurs de classements. « Un classificateur d’images pourrait penser que la photo d’un désert est une photo de plage. »

Les classificateurs font deux grands types d’erreurs. « Un classificateur d’images conçu simplement pour identifier les photos de plages peut, par exemple, placer une image du Sahara dans la catégorie « Plage » ou placer une image de plage dans la catégorie « Pas une plage ». » Les premières sont des « fausses alarmes » (les spécialistes parlent de faux positifs) et les secondes sont des « cibles manquées » (les spécialistes parlent de faux négatifs). Les taux de fausses alarmes et de cibles manquées sont importants. Dans le cas d’un scanner corporel au contrôle de sécurité d’un aéroport, celui-ci déclenche souvent des alarmes de sécurité alors que les personnes ne sont pas une menace pour la sécurité. Il ne s’agit pas nécessairement de mauvais réglages : les scanners sont réglés de manière à générer assez fréquemment de fausses alarmes. Ils sont réglés pour privilégier les fausses alarmes plutôt que les cibles manquées. L’exemple montre que fausses alarmes et cibles manquées sont interreliées et que les choix que l’on fait peser à un système dépendent des objectifs qu’on en attend, du contexte de son déploiement.

En ce sens, l’efficacité dépend donc du contexte et des réglages auxquels on procède. Fausses alarmes et cibles manquées peuvent être coûteuses, à la fois pour celui qui opère le système, comme pour ceux qui sont opérés par le système. Ces ajustements entre fausses alarmes et cibles manquées amènent à un autre niveau d’erreur, explique Weinberger : le niveau de confiance du système. Le choix de ces ajustements, la machine, elle ne peut pas vraiment y répondre. Ce sont donc les concepteurs qui décident de ce qu’ils attendent du système, des compromis à faire pour obtenir un résultat plus ou moins fiable, efficace. C’est ici que les discussions et les conversations difficiles ont lieu. « L’une des conséquences les plus utiles de l’apprentissage automatique au niveau social n’est peut-être pas seulement qu’il nous oblige, nous les humains, à réfléchir sérieusement et à voix haute à ces questions, mais que les conversations requises reconnaissent implicitement que nous ne pourrons jamais échapper entièrement à l’erreur. Au mieux, nous pouvons décider comment nous tromper de manière à atteindre nos objectifs et à traiter tout le monde aussi équitablement que possible. » Au mieux !

Pour le dire simplement, malgré ses qualités, ses performances, l’apprentissage automatique ne nous enlève pas, nous humains, du dilemme qu’il construit. Nous avons encore accès aux paramètres. C’est à nous de les fixer, c’est-à-dire de les préciser, de les réparer, de les borner ! Et donc de dire où ces systèmes peuvent être utiles et où ils ne devraient pas régir le monde.

Hubert Guillaud

« Si vous n’avez pas accès à votre score ou si vous ne savez pas qu’un score est calculé, quelle possibilité d’action vous reste-t-il ? » Aucune, explique une excellente vidéo du Data Justice Lab (@DataJusticeLab) – et on pourrait d’ailleurs ajouter, que savoir qu’on est calculé ou comment ne vous donne pas pour autant de possibilité d’actions, hélas !

Le problème de la multiplication des « scores de données » comme outils de gouvernance des administrés, explique le laboratoire de recherche de l’Ecole de journalisme de l’université de Cardiff, c’est que les citoyens ont très peu d’informations sur le déploiement de ces systèmes de scoring : ce qui empêche, pour le moment, tout débat public sur leur utilité et leurs biais. L’autre problème, bien sûr, de ces nouvelles modalités de gouvernance des usagers par les services publics (mais également par des systèmes privés), interroge les indicateurs produits (voir notamment notre article « Peut-on limiter l’extension de la « société de la notation » ?) Qu’est-ce qu’on mesure depuis ces scores ? Quelles caractéristiques sont utilisées pour déterminer des comportements ou des risques ? Et comment ces scores déterminent-ils l’affectation de ressources relative aux risques calculés ? Le problème, bien sûr, c’est que ces scores prennent bien plus en compte des facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales, ils prennent plus facilement en compte l’absentéisme des élèves que les problèmes de désorganisation à l’école…

Ces systèmes portent toujours plus d’attention sur les individus que sur les causes structurelles des problèmes sociaux, dénonce avec justesse le Data Justice Lab. Le risque, bien sûr, c’est de produire une modification profonde des relations des organismes publics avec les citoyens ou des entreprises avec leurs employés en accusant toujours les comportements individuels plutôt que les défaillances structurelles ou organisationnelles !

Scores de données : la responsabilité individuelle plutôt que les défaillances structurelles

Dans un rapport (.pdf) (qui date de décembre 2018) coordonné par Lina Dencik (@LinaDencik), Arne Hintz (@arne_hz), Joanna Redden et Harry Warne, le Data Justice Lab s’est intéressé en profondeur à l’avènement de ces « scores de données » dans les services publics du Royaume-Uni. Le rapport livre plusieurs études de cas (qui portent sur des systèmes liés à la fraude sociale, à la santé, à la protection de l’enfance, aux services sociaux comme à la police), mais souligne surtout la grande carence d’informations sur les déploiements de ces systèmes, que ce soit sur les objectifs des systèmes, les données utilisées, tout comme sur les résultats produits.

Le Data Justice Lab alerte également sur l’étendue de la collecte et du partage de données opérés par ces projets, leur manque criant de transparence, le fait qu’ils soient souvent produits sans consentement des publics cibles, sans garde-fous éthiques, sans garanties ni modalités de contestation, sans association des usagers… et surtout bien sûr, le fait qu’étiqueter quelqu’un à risque consiste essentiellement à cibler et stigmatiser les plus fragiles.

L’analyse de données automatisée est promue dans un contexte économique de baisse budgétaire, de maîtrise des finances publiques et d’amélioration des services publics. Mais, l’introduction de l’analyse de données dans les services publics conduit surtout à réduire les soins, les prestations sociales et les droits, sans que les personnes concernées n’aient la possibilité de comprendre ou contester ces mesures, comme l’ont montré les travaux de Virginia Eubanks. Ces analyses de données reposent sur des pratiques de catégorisation, de segmentation, d’évaluation et de classement des populations en fonction de divers critères dans le but d’allouer les services en conséquence de ces critères et d’identifier des risques ou comportements spécifiques. Le scoring, c’est-à-dire le résultat d’analyse de ces critères, produit des indicateurs qui permettent de rendre les catégorisations effectives. Le scoring est utilisé depuis longtemps dans le secteur financier et le crédit où on utilise non seulement des données « socialement orientées » mais également, de plus en plus, des données comportementales (usages des téléphones mobiles par exemple) ou sociales (analyse des réseaux relationnels par exemple). Ces scores se sont ensuite répandus dans les services publics, notamment dans le secteur éducatif aux États-Unis, dans la mesure de risques juridiques, les outils de contrôle aux frontières, dans la santé et les politiques sociales liées à l’enfance et la famille. Au Royaume-Uni, l’analyse et l’utilisation des scores sont, pour l’instant encore, peu documentées. La Commission de la science et de la technologie de la Chambre des communes dans un rapport (.pdf) recommande au gouvernement de produire, maintenir et publier une liste des algorithmes utilisés par les autorités, notamment là où leur impact social est majeur. Dans les faits, il semble que nous soyons encore assez loin.

Dans leur étude, le Data Justice Lab revient sur plusieurs outils déployés en Grande-Bretagne. À défaut de les observer tous, intéressons-nous à l’un d’entre eux.

À Bristol, le centre d’analyse intégré vise à permettre aux services municipaux de traiter les familles dans leur ensemble, plutôt que chaque service indépendamment. Le programme Troubled Families, lancé en 2011, vise à aider les familles en proie à d’innombrables difficultés… Pour cela, le centre a construit une base de données (Think Family) avec des informations provenant de 35 ensembles de données concernant 54 000 familles. Le but : offrir une compréhension « holistique » des familles confrontées aux problèmes sociaux.

Depuis la création de cet outil d’agrégation de données, la ville a déployé des outils de modélisation prédictive… Parmi les données collectées, il y a des informations de police, des informations scolaires (sur les absences et les exclusions notamment), des informations provenant de l’assistance sociale, de santé… Le centre d’analyse achète également des données de partenaires privés (sur les évolutions socio-démographiques des quartiers notamment). Le centre produit un score de risque pour chaque jeune de sa base de données, basé sur des données d’entraînements provenant de seulement 31 victimes confirmées des années précédentes.

Le rapport souligne que le modèle repose essentiellement sur des données négatives (fréquentation scolaire, violence domestique…) excluant des données contextuelles (par exemple, le fait qu’un enfant soit actif dans des associations, même si sa fréquentation scolaire est plus problématique). Quelque 450 travailleurs sociaux ont accès au système. Il pointe également que les résultats de ce modèle ne dispensent pas de l’avis de professionnels, mais visent surtout à permettre de comprendre les difficultés à venir pour favoriser des interventions en amont.

Le système n’est pourtant pas si optimal qu’il le promet. Par exemple, l’équipe du centre n’a pas la possibilité de corriger les données qui proviennent d’autres services, même quand elles posent problèmes. L’autre enjeu est que le système influe sur les pratiques de travail des travailleurs sociaux, notamment sur le rapport aux enfants que les scores produisent en créant des risques de mauvaise interprétation… Le vrai problème, c’est bien souvent la sur-réaction aux données, comme l’expliquait Ben Green. L’autre difficulté, c’est que le système génère ses propres boucles de rétroactions. Par exemple, un travailleur social peut avoir tendance à prévenir la police du risque élevé affecté à un enfant, mais dans le modèle lui-même, le contact avec la police est lui-même un facteur qui élève le risque ! Exemple typique de boucles de rétroactions où les scores s’alimentent les uns les autres, au risque de produire des indices encore plus problématiques qu’ils ne sont ! Enfin, rappellent les auteurs du rapport, un système de ce type oublie le travail préventif et proactif, pour favoriser des réactions à des seuils et niveaux de risques. Il concentre le travail sur certains cas, au détriment des autres. Dans un contexte d’austérité et de ressources limitées, le risque est de ne travailler qu’à partir de certains scores, qu’à certains niveaux de vulnérabilité, que depuis des alertes… Enfin, bien sûr, si le système peut identifier des besoins, reste à savoir si les structures d’aides à l’enfance peuvent y répondre ! Le risque, bien sûr, c’est qu’à mesure qu’elles perdent en moyens, les seuils d’alertes s’élèvent… Enfin, comme le pointait une étude que nous avions relayée sur les systèmes d’identification automatisés des enfants à risques par les services à l’enfance britanniques, aucun de ces systèmes de prédiction des risques ne donne de résultats probants.

Le rapport consacre également plusieurs pages au rôle que jouent des ensembles de données privées dans ces projets à destination de services publics. Il détaille notamment le cas d’Experian, une agence d’évaluation du crédit à la consommation qui dispose d’un outil de segmentation géodémographique – moteur de la personnalisation publicitaire, comme l’expliquait Tim Wu dans son livre, Les marchands d’attention – lui permettant de trier la population en segments. Mais c’est également le cas d’entreprises comme Xantura, Callcredit et Capita qui fournissent des services de profilage, de vérification d’identité ou d’évaluation des risques. Né dans les années 60, le développement des techniques de géodémographie a été financé par le ministère américain du Logement pour parvenir à mieux cibler les subventions au logement, avant d’être étendu à des usages plus commerciaux. Dans les années 80, ces travaux ont été adaptés au Royaume-Uni par Richard Webber afin de produire une classification des quartiers (Webber a fondé la division micromarketing d’Experian). Pour ses promoteurs, la géodémographie consiste à dire que l’endroit où l’on vit compte pour comprendre les valeurs, choix et comportements des consommateurs. Elle utilise de nombreuses données pour placer chaque citoyen dans une catégorie en fonction du quartier où il vit. Dans le secteur public, les autorités publiques, et surtout locales, intègrent de plus en plus souvent des données géodémographiques pour affiner les leurs. Mosaic, le produit de classement géodémographique d’Experian, classe les individus en 15 grands groupes et 66 types. Reste que si les services utilisent, les chercheurs soulignent qu’on ne sait pas grand-chose des données mobilisées par ces entreprises, ni les méthodes d’analyses qu’elles y appliquent. Experian estime détenir des informations sur 49 millions des 63 millions d’adultes du Royaume-Uni… et sait produire des taux de correspondance à 50 % avec Facebook et 35 % pour Twitter.

Vers des systèmes sans évaluation qui transforment les problèmes sociaux en problèmes individuels

La dernière partie du rapport donne la parole à différents groupes de la société civile que les auteurs ont rencontré, des associations britanniques qui travaillent dans le domaine des droits numériques, des droits sociaux, de l’éducation en les interrogeant sur leur compréhension de ces systèmes (comme Defend Council Housing, Disabled People Against Cuts, Netpol, Big Brother Watch, Open Rights Group, Involve, Liberty,British Association of Social Workers). Pour l’essentiel, celles-ci se montrent inquiètes de ces évolutions, à la fois en ce qui concerne l’étendue de la collecte, du partage, le risque de partialité et de discrimination, la possibilité de ciblage, de stigmatisation, de stéréotypie de groupes, le manque de transparence, de consentement, d’information… L’inquiétude porte notamment sur une forme de « maximisation des données » qui consiste à collecter toujours plus de données et à accroître leur partage sans grandes limites, quel que soit le caractère sensible des données. Or, nombreux rappellent que la minimisation des données est essentielle pour répondre à cette tendance. Les personnes calculées et les associations s’inquiètent de cette fluidification des données : les communautés de migrants par exemple s’inquiètent de voir leurs statuts d’immigration divulgués quand ils se rendent à l’hôpital et que celui-ci puisse être utilisé pour les exclure des soins ou les dénoncer aux services sociaux ou de police… et ont donc tendance à renoncer à se rendre dans certains services publics. Autres constats que dressent les associations, celle de la transformation du travail, notamment des travailleurs sociaux, qui passent de plus en plus de temps à collecter et renseigner les données. Les systèmes transforment la façon dont les problèmes et les solutions sont définis. Or, bien souvent, les systèmes mis en place pensent que les données sont la solution, plutôt que de s’interroger sur pourquoi et comment elles peuvent y contribuer. Beaucoup d’acteurs sont préoccupés par cette collecte extensive et plus encore par la situation de monopole qu’elle crée, renforçant la nature asymétrique du pouvoir entre les autorités et les administrés. Bien sûr, les acteurs de la société civile sont très inquiets des effets de stigmatisation, de ciblage, de stéréotypie et de discrimination que renforcent ces outils. « Les personnes bénéficiant de l’aide sociale ont toujours été particulièrement visées (par le contrôle social) et cela semble s’aggraver », estime Big Brother Watch. De quel droit étiquetons-nous quelqu’un à risque uniquement parce qu’il appartient à une famille pauvre ?, s’inquiète l’Open Rights Group. Sans compter que l’étiquetage a tendance à être durable si ce n’est permanent. Tous s’inquiètent du manque de transparence des systèmes, des critères, des calculs. Quant au consentement, il est bien souvent arraché sans que les familles n’en saisissent les implications ou ne puissent en fait s’y opposer. Tous les groupes de la société civile souhaitent une meilleure réglementation, mais peinent à en formuler les règles qui seraient nécessaires. Pour tous pourtant, ces systèmes sont politiques. L’exploitation des données est profondément liée à l’austérité. Le but n’est pas de les utiliser au service des gens, mais bien de construire une approche très technologique de la politique dans une forme d’hypersurveillance des plus en difficultés.

Dans leurs conclusions, les chercheurs soulignent la difficulté à évaluer les différents systèmes mis en place, du fait qu’aucune procédure standard n’est mise en œuvre et que leurs usages mêmes peuvent être très différents d’un acteur l’autre. Certains s’en servent pour maximiser l’information, d’autres pour calculer de nouvelles informations. Reste que tous ces systèmes se mettent en place dans des contextes d’austérité, c’est-à-dire visent à utiliser les données pour mieux définir les ressources, mais sans que ces enjeux d’affectation des ressources ne soient posés en regard du déploiement de ces systèmes de calcul. Nous entrons dans des services « riches en données, mais pauvres en ressources », comme s’en inquiétait Dan McQuillan pour Open Democracy. Si ces systèmes laissent souvent à ceux qui y accèdent des modalités d’appréciation, la limitation des ressources et la déqualification des personnels font que ces résultats limitent considérablement leur appréciation. Pour les calculés en tout cas, la manière (et les raisons) de mise en œuvre de ces systèmes reste insaisissable. Le manque de transparence demeure un problème majeur. Quand, il y a quelques modalités d’organisation de la transparence, celles-ci sont insuffisantes pour remédier à l’asymétrie de pouvoir entre les institutions et les citoyens… En tout cas, elle ne conduit pas à des possibilités de recours efficaces.

Pour les chercheurs, il est plus que nécessaire d’ouvrir ces systèmes à des audits citoyens et à des formes de participation du public. À nouveau, nombre de ces systèmes visent d’une manière disproportionnée une partie particulière de la population : ceux qui font appel aux services sociaux. Pour les chercheurs, il est nécessaire de mieux équilibrer l’utilisation des données et notamment mieux comprendre les situations où elles ne sont pas nécessaires et quand elles risquent de produire des utilisations qui vont au-delà de leurs objectifs, même ceux qui semblent vertueux, comme une vision plus intégrée des bénéficiaires. Enfin, il y a une hypothèse sous-jacente aux développements de ces systèmes : celle que l’information conduit à agir, mais sans que les actions produites par les scores soient elles-mêmes définies ! Produisent-elles des mesures plus préventives ou plus punitives ? Comment ces actions sont-elles évaluées et décidées ? Quels effets produit l’étiquetage des populations ? Et plus encore, quels effets produisent ces étiquetages de risque dans des chaînes de systèmes ?… Il est aussi nécessaire d’observer le réductionnisme que ces données produisent au détriment de la connaissance sociale et réelle des personnes, permettant à des opérateurs d’agir sans qu’ils aient la connaissance des contextes particuliers des personnes cibles. Enfin, bien sûr, ces systèmes privilégient des calculs et des réponses individuelles sans que soit interrogée la démission des réponses collectives ou structurelles que ces réponses atomisées induisent. Par exemple, nous courons le risque de mesurer l’impact des absences scolaires, mais pas les lacunes d’un accompagnement scolaire défaillant, car non financé. Ces systèmes renforcent finalement les corrélations sur les causalités et transforment les problèmes sociaux en problèmes toujours plus individuels. Les individus ne sont plus vus comme des participants à la société, mais uniquement comme des risques. Pire, bien souvent ces systèmes disqualifient les professionnels qui sont en première ligne avec ces publics… comme si finalement les données pouvaient remplacer leurs évaluations, leurs expériences, leurs compréhensions des contextes réels des familles.

Illustrons ces constats d’un autre exemple pour nous aider à comprendre. De l’autre côté de l’Atlantique, le toujours excellent Data & Society (@datasociety) vient lui de publier un rapport sur la surveillance des personnels de soins à domicile. En effet, l’État fédéral a lancé une application mobile de vérification électronique des visites (EVV) permettant de surveiller à la fois les personnels de soins et ceux qui bénéficient de leurs aides, bien souvent deux populations l’une comme l’autre marginalisées. Pour la chercheuse Alexandra Mateescu (@cariatidaa), ces systèmes de contrôle, très intrusifs, privilégient des formes de normalisation et d’efficacité au détriment des expériences vécues et des réalités de terrain. Ces applications enregistrent les heures et les déplacements des personnels de soin à domicile. L’application de suivi a rendu le travail des travailleurs du soin plus difficile et a tendu les relations entre les travailleurs et les bénéficiaires, par exemple en informant les aidants que les fonds des bénéficiaires étaient insuffisants alors qu’ils ne l’étaient pas. Ces systèmes exigent des validations permanentes et contraignantes, plusieurs fois par jour. Déployés au prétexte de fraudes – sans que leurs niveaux ne soient jamais évalués -, ces systèmes de contrôle produisent des erreurs, au détriment de ceux qui prodiguent le soin comme de leurs patients, expliquaient Virginia Eubanks et Alexandra Mateescu cet été dans une tribune pour The Guardian. Dotée de fonctions de géolocalisation (pour vérifier que les travailleurs à domicile se rendent bien au domicile des bénéficiaires), l’application signale par exemple automatiquement le fait de s’éloigner du domicile des bénéficiaires, comme pour les emmener à un rendez-vous chez le médecin, et demande de le justifier. Au final, nombre de bénéficiaires ne souhaitent plus bouger de chez eux, de peur que ces signalements ne leur fassent perdre les prestations de soins à domicile dont ils bénéficient. Une surveillance qui risque de miner le droit à l’autonomie des personnes dépendantes, rappellent les chercheuses. Le système ne surveille finalement pas seulement le personnel qui dispense des soins, mais également ceux qui en bénéficient, explique une association qui mène campagne contre la généralisation du système. Le système a également produit des retards de paiement généralisés. Rappelons au passage que l’Arkansas, où ont eu lieu les premiers déploiements de ce système, avait déjà été épinglé pour des problèmes relatifs à des systèmes d’évaluation des besoins des personnes handicapées en 2016 (voir notre article « L’État automatisé au risque d’une crise de légitimité »). Pourtant, tous les systèmes de surveillance des personnels qui fournissent des soins à domicile ne sont pas conçus de la même manière. En Californie, le syndicat des travailleurs domestiques et l’organisation pour les droits des personnes handicapées ont collaboré pour produire un système qui ne recueille pas de données de déplacements ni n’enregistre les heures passées en temps réel. En Virginie, la géolocalisation est facultative et exempte les aidants familiaux du système. En étant conçus sans prendre en compte les besoins réels des personnes, en produisant du surcontrôle, ces systèmes produisent surtout du mépris envers les populations qu’ils sont censés adresser.

Le risque, bien sûr, c’est que ces formes d’hypersurveillance se démultiplient. L’association Coworker (@teamcoworker) a récemment publié un rapport (.pdf) (et une base de données des plateformes et applications de surveillance au travail) qui revient sur l’explosion des outils d’analyse et de gestion des travailleurs. Des outils qui sapent et contournent les réglementations en matière de travail et qui ne sont pas transparents sur les données qu’ils collectent et la manière dont ils en tirent profit. Ce secteur des « Little Tech », comme les appelle CoWorker – mais qui relèvent bien plus du « bossware » – qui collecte des données sur les travailleurs, approfondit et accélère une forme d’ubérisation généralisée de l’emploi. Ce secteur met concrètement en œuvre l’infrastructure qui fait tourner l’économie, les lieux de travail et les marchés de l’emploi. Cette Little Tech qui outille notamment l’économie des petits boulots, produit des technologies d’amélioration de la productivité, en exploitant des données sensibles, sans rémunérer davantage les travailleurs, et bien souvent, en portant atteinte à leur sécurité, et sans prévenir des formes de discriminations. « L’industrie technologique n’est pas puissante à cause des produits qu’elle développe, mais parce qu’elle restructure fondamentalement les marchés du travail (…) par une surveillance sans contrôle ».

Hubert Guillaud

MAJ : Eve Zellickson (@zel_eve) pour Points, le magazine de Data & Society revient sur le vol des pourboires par les plateformes de l’économie des petits boulots. Amazon a été condamné à payer 61,7 millions de dollars pour vol de pourboire à ses chauffeurs ! Les chauffeurs ont fini par remarquer que les pourboires étaient à la baisse et s’en sont plaint. Amazon leur a répondu individuellement en soutenant qu’ils recevaient 100 % des pourboires, alors que l’entreprise les utilisait en partie pour améliorer le salaire de base que gère l’application. Zellickson note que les chauffeurs sont habitués à être en relation avec un support peu réactif face aux problèmes qu’ils rencontrent, hormis pour la livraison elle-même. Le problème de l’absence de communication réciproque et de processus clair de résolutions de conflits, dans ces applications, est au cœur de bien des problèmes, souligne la chercheuse. Signalons que ce problème ne touche pas qu’Amazon.

Suite de notre tentative à saisir les transformations en cours du système de santé en regardant les enjeux que posent l’exploitation des données de santé.

S’affranchir de notre consentement ?

La confidentialité des données de santé est toujours critique, rappelions-nous. Le problème ou le risque, c’est que pour que les acteurs de la santé puissent mieux les utiliser, nous soyons demain confrontés à un « consentement présumé »… C’est-à-dire, comme c’est devenu la règle pour le don d’organe, que l’on passe d’une règle par défaut où il fallait consentir au don d’organe, à une règle par défaut où celui-ci est consenti : c’est notre refus qui doit être explicitement formulé. Ce « nudge » consiste à profiter de l’inertie de nos comportements comme de l’absence ou de la carence d’information. C’est d’ailleurs ce qui est annoncé pour le lancement de l’Espace de santé numérique qui sera ouvert à l’ensemble des Français au premier janvier 2022. Cet espace de stockage de documents médicaux entre patients et médecins sera créé systématiquement par défaut (si vous souhaitez le refuser, il faudra le signaler dans un temps relativement court). Le risque c’est que nous soyons doucement contraints à l’utiliser. Notre médecin sera certainement incité à y déposer des documents et sera peut-être intéressé à nous pousser à l’utiliser (comme les pharmaciens ont intérêt à ce que vous consentiez à partager les données qu’ils utilisent). Nous voilà obligés par les plus proches acteurs du soin à aller dans leur intérêt pour notre plus grand bien ! Bien sûr, d’autres acteurs y auront très certainement accès sous prétexte de recherche et d’amélioration des systèmes de soins. Certes, on nous le vend comme un espace sur lequel nous aurons la main, puisque nous pourrons choisir de partager ou non des données de santé avec d’autres acteurs, via des applications. Mais le risque est que nous y soyons surtout contraints sous couvert de commodité, poussés par des professionnels de santé qui eux aussi, par commodité, seront poussés à l’utiliser.

Boulard, Favier-Baron et Woillet dans leur livre fustigent avec raison ce « consentement présumé ». La mise en production de nos données de santé via des systèmes d’autorisation d’accès vise à inciter professionnels et usagers à l’alimenter. Nous voici en train de glisser dans une forme de « techno-régulation » sur laquelle notre possibilité d’action est réduite, c’est-à-dire dans un mode de prescription de comportements spécifiques par la technologie plus que par le droit. La feuille de route de la numérisation de la santé s’impose dans l’urgence, comme pour mieux court-circuiter tout débat public. Notre seule liberté semble désormais de consentir. « Le débat ne porte pas en amont sur la légitimité d’une plateformisation de la santé, mais se situe déjà sur l’impératif d’acceptation ». C’est oublier pourtant qu’« une relation de soin n’est pas un rapport de force », comme le rappelait avec beaucoup d’humanité le médecin Martin Winckler (@MartinWinckler, blog) dans son roman, Le Chœur des Femmes.

« Au final, l’État se déleste de ses prérogatives et négocie des accords en sous-traitant de plus en plus de missions à des acteurs privés », à l’image de Doctolib qui s’est retrouvé en charge de l’accès à la vaccination.

Vers une médecine de données… au détriment de la relation

À terme, à nouveau, le risque est que ces plateformes produisent une médecine sans médecins ni malades, qui ne cherchent que des sujets à risques, en ne produisant pour cela que des corrélations. Nous entrons dans une logique « excessivement statistique », mettent en garde les auteurs. Une logique qui risque de produire une marginalisation de la relation entre le patient et le médecin. Le traitement très industriel et très numérique que nous avons connu avec l’épidémie de Covid illustre parfaitement ce point. L’entendement du médecin comme du patient ont été mis au ban. Nous avons été sommés de nous éloigner de nos médecins par des systèmes de soins industriels, fait de SMS, de mail et de bases de données… pensés pour passer à l’échelle plus que pour nous rapprocher du soin.

Dans cette logique à faire parler nos données, « l’anonymat est inconcevable ». Si nous ne sommes plus que nos données, malgré les appels à l’anonymisation et à la pseudonymisation toujours faillibles, nul ne semble plus avoir le droit, dans ces espaces, de ne pas être identifié. Afin que nous soyons faussement en maîtrise (d’autorisation des accès à nos données) ou afin d’associer les données (via le NIR, le numéro de sécurité sociale), le risque d’identifications par-devers nous est fort.

Mais surtout, derrière le but de produire une médecine numérique, prédictive, personnelle, ciblée, individualisée… s’impose une négation de leur logique mutualiste, collectiviste et éminemment personnelle et relationnelle… Pourtant, comme le suggère le médecin Gérard Reach dans un rapport pour l’Académie nationale de médecine, la médecine n’est pas réductible à des arbres décisionnels, c’est d’abord et avant tout un rapport humain. Notre santé n’est pas une question de détection d’anomalies, mais au contraire de compréhension d’innombrables irrégularités. Et les auteurs de rappeler avec le philosophe Georges Canguilhem qu’on ne peut objectiver le passage entre Le normal et le pathologique…

Avec les données, le risque d’une santé hypernormative

En médecine, nous sommes pourtant, certainement plus qu’ailleurs, dans le domaine des « hétérotaxies », c’est-à-dire un domaine de connaissance où nos innombrables différences ne font pas nécessairement pathologies, à l’image de ceux qui ont des organes mal placés sans nécessairement en avoir des conséquences fonctionnelles. La normativité et l’objectivité d’une médecine purement numérique tiennent certainement d’une quête vaine. Or, dans la production de données de santé fluides, du patient au régulateur, le risque est de produire des nomenclatures, des classifications dures, nécessaires à la standardisation et à l’interopérabilité des systèmes d’informations médicaux. Le risque, c’est de « surmédicaliser des pans entiers de la population au bénéfice des industries pharmaceutiques » et de limiter l’autonomie de diagnostic et de possibilité de médication des médecins ! Or, rappellent les auteurs, les conceptions américaines de la psychiatrie par exemple sont loin d’être homogènes et partagées chez nous. C’est un peu comme quand on évalue la cause d’un décès, elle est bien souvent multiple et ne peut se réduire à une seule case et cause. Or, par nature, la production de données, pour qu’elles s’agrègent et discutent les unes avec les autres, nécessite des normalisations. Le risque, c’est qu’elles s’imposent partout selon des codifications strictes, au détriment de l’appréciation clinique et locale. C’est là tout l’enjeu de gestion de données que politise InterHop notamment, en opposant des données de santé produites pour l’ensemble du secteur et des données de santé d’abord produites à l’échelle locale, pour répondre aux spécificités et enjeux de chaque service, plutôt qu’au pilotage du système de soin.

Comme le rappellent très bien Boulard, Favier-Baron et Woillet : « Plus on éloigne les données de leur lieu de collecte, plus on les décontextualise en prenant le risque de mal les interpréter. En retour, c’est l’application des algorithmes au soin qui devient moins précise. En effet, en éloignant géographiquement le lieu de collecte du lieu de traitement, on perd le bénéfice d’un aller-retour correctif entre les algorithmes et la pratique réelle des soins sur de vrais patients. » Un constat qui n’est pas sans rappeler les préceptes défendus par le Data Feminism ou le Design Justice qui nous invitent à revenir à des données relationnelles plutôt qu’à leur exploitation extractiviste.

Le livre de Boulard, Favier-Baron et Woillet a le mérite d’aller loin dans les conséquences que la transformation numérique fait peser sur la santé, qui n’est pas un changement de régime, mais bien un changement de nature auquel nous assistons !

Ils soulignent surtout l’idéologie qui la guide. Derrière la logique de l’ouverture et de l’interconnexion des données de santé sous couvert « d’innovationnite », se masque un solutionnisme de l’austérité et de la marchandisation. Et de conclure en rappelant la force des préconisations du collectif InterHop : garder la donnée, les solutions logicielles et terminologiques au plus près du lieu de soin pour mieux décorréler le soin de l’idéologie de la réduction des coûts. Le conseil citoyen de la surveillance biométrique de l’Ada Lovelace Institute, où des citoyens ont fait des préconisations en matière de surveillance des données physiologiques de santé, l’a dit dans ses recommandations : interdire purement et simplement l’autorisation de revente des informations biométriques à tout tiers, garantir la représentativité démocratique des solutions technologiques et surtout que le consentement présumé ne puisse pas remplacer le consentement éclairé.

Dans une note pour l’Institut Rousseau » (@InstitRousseau), Ophélie Coelho @OphelieCoelho), dresse le même constat : aujourd’hui, le consentement présumé est trop large. Qu’acceptons-nous vraiment ? Trop souvent, nos données peuvent être utilisées pour produire des analyses statistiques, du profilage, des produits de données, de la recherche… Pour elle, nous devrions amender le RGPD afin de ne plus rendre possible le traitement compatible avec les finalités initiales, tant la marge d’interprétation laissée aux plateformes est large – comme c’est le cas avec l’exemple d’IQVIA qui explique profiter de l’exception de recherche alors que son innovation est bien un produit commercial.

Pour Boulard, Favier-Baron et Woillet, plus radicaux encore, il est nécessaire d’exclure les acteurs pharmaceutiques et assurantiels des plateformes – et on pourrait d’ailleurs imaginer aller plus loin en excluant les données de santé des produits assurantiels, comme l’imagine (bien timidement encore) le Crédit Mutuel en annonçant renoncer au questionnaire médical lors de la souscription d’un crédit immobilier.

Dans la première de ses 12 mesures pour la présidentielle, l’économiste Gaël Giraud (@GaelGiraud_CNRS) propose une dotation en moyens de chaque hôpital en fonction de la population desservie ainsi que le conventionnement sélectif pour les médecins afin de les pousser à s’installer dans les zones les moins dotées, comme pour s’affranchir d’un pilotage par des données trop précises, afin de reprendre de la hauteur politique. Ces deux propositions ont une vertu manifeste : celle de piloter les données depuis des objectifs partagés, plutôt que de seulement piloter depuis les données. Pour le dire plus clairement, l’enjeu semble bien de fixer par exemple des seuils du nombre de lits d’hôpital par services et unités selon la population qu’ils couvrent, plutôt que de les piloter uniquement par la demande. Si nous ne définissons pas combien de lits nous devrions disposer, le risque est qu’ils soient toujours réduits à et par leur calcul. Sans objectifs, les traitements des données n’ont pas de sens !

Derrière la modernisation de notre santé, le risque est bien celui d’une étrange dépossession. Audrey Boulard, Engène Favier-Baron et Simon Woillet nous rappellent qu’on ne joue pas avec la santé et encore moins avec nos données de santé. À l’heure où celles-ci sont pourtant devenues le jeu du passe sanitaire lui-même, accessible à tous, qui permettent des accès différenciés des individus aux transports, aux lieux culturels ou sportifs… À l’heure où la consultation du statut de positivité au Covid par la police a été envisagée en juillet et par les directeurs d’établissements d’enseignement en novembre (dans les projets de loi relatifs au passe sanitaire, mais ces 2 dispositions ont été très légitimement écartées par le Conseil Constitutionnel), nous voyons tous très concrètement les dangers que les plus personnelles de nos informations soient accessibles partout et par tous. À l’heure où nos données de santé sont plus protégées que jamais, elles n’ont jamais été aussi accessibles. À croire que nous sommes plongés dans un paradoxe sans issue.

Toutes les données de santé n’ont pourtant pas la même… valeur !

La journaliste scientifique de Sciences et Avenir, Coralie Lemke (@coralielemke) vient de publier elle aussi un livre sur le sujet : Ma santé, mes données (Premier Parallèle). Plus accessible, bien plus clair et factuel que celui des trois précédents, il permet de comprendre d’autres aspects du complexe problème des données de santé. Notamment que le grand enjeu de l’accès aux données de santé n’est pas tant dans celles contenues dans notre montre connectée (qu’elle caractérise comme des données « d’hygiène de vie » ou de « bien être », peu prisées par la recherche, qui ne relèvent pas directement des données de santé, mais semblent perdues dans un entre-deux législatif, comme le pointait notre dossier sur les applications de santé) ou dans les prescriptions médicales épisodiques et ponctuelles (comme quand on va consulter pour un rhume ou pour une gastro…), mais se concentre surtout dans les données liées à des maladies chroniques, au long cours… Ce sont ces « données de vie réelle » qui ont surtout de la valeur. Elles comprennent notamment les données d’essais cliniques randomisés (permettant par exemple de tester un médicament) et surtout, les soins donnés à des patients et leurs réactions dans la durée, permettant de suivre les évolutions médicales cliniques et les effets des médicaments et traitements sur le temps long. Ce n’est donc pas étonnant si c’est autour de ce type de données que se concentrent nombre de plateformes d’analyses de données, à l’image de la plateforme Darwin de Sanofi, qui contient les informations de 300 millions de patients, ou celle du laboratoire Roche produite avec Unicancer, la Fédération nationale des centres de lutte contre le cancer, pour mettre à dispositions des données oncologiques longitudinales, ou encore entre Sanofi et l’Assistance publique – Hôpitaux de Paris. Pour l’instant, bien souvent, ces entrepôts de données hospitalières sont difficiles à faire parler, notamment parce que les formats dans lesquels les données sont produites sont très loin d’être uniformes et interopérables. Plus que des données – c’est-à-dire des champs dans des tableurs – d’ailleurs, on devrait surtout parler d’informations, puisque les dossiers médicaux tiennent bien plus de fiches et documents, images et documents en PDF, dont il faut parvenir à extraire et faire parler les données avant tout.

L’un des intérêts de ces données de vie réelle explique clairement Lemke, consiste à pouvoir remplacer les groupes témoins dans les essais cliniques randomisés, c’est-à-dire ceux qui reçoivent un placebo, par des données sur des populations existantes. L’enjeu, là encore, vise à réduire les coûts réels comme moraux des essais pharmacologiques. À nouveau, l’agrégation de données de santé vise surtout à rendre la santé moins chère à produire ! L’industrialisation numérique vise partout et toujours, avant tout, à produire de nouvelles économies d’échelle et des gains de productivité.

Lemke donne d’autres exemples parlant. Notamment des partenariats entre les communautés de patients (à l’image de PatientsLikeMe, la plateforme qui regroupe quelques 800 000 patients discutant autour de plus de 2900 maladies) qui à leur tour signent des partenariats avec des laboratoires pour leur permettre d’accéder aux données relatives à certaines maladies, par exemple avec Novartis sur les personnes ayant été transplantées ou celles souffrant de sclérose en plaques, avec AstraZeneca autour des maladies respiratoires ou le cancer… En France, son homologue, Carenity (qui regroupe 500 000 malades) vend également des données ou leur accès à des membres de sa communauté pour des enquêtes. Mais c’est également le cas des plateformes de génétique personnelle comme 23andMe, Nebula Genomics ou MyHeritage, des entreprises américaines qui proposent des tests génétiques personnels et qui revendent les profils génétiques de leurs clients individuels à des laboratoires, sans que les individus soient au courant.

Si les données des capteurs de santé comme Fitbit n’intéressent pas les acteurs de la recherche médicale, elles intéressent les acteurs de l’assurance. Mais l’enjeu des Gafams n’est pas tant de mieux monétiser ce type de données que de montrer aux acteurs de la santé qu’ils disposent des outils permettant de traiter les données et de les faire parler. C’est le cas par exemple d’une récente étude sur la capacité des algorithmes de Google à analyser des images médicales pour détecter le cancer du sein… L’algorithme se révélerait plus fiable qu’un diagnostic établi par un seul médecin (mais moins que deux médecins). Reste, que là encore, ces résultats sont cependant à prendre avec beaucoup de recul, comme l’ont montré les limites de Watson pour lutter contre le cancer. Quant à l’utilisation de systèmes d’IA pour prédire les pathologies à venir des patients depuis leurs données, on peut ici rester plus circonspect encore. Certes, les gens déjà malades ont tendance à le devenir plus à mesure qu’ils le sont et à développer des maladies chroniques voire multifactorielles… mais ces constats tiennent surtout d’une tautologie.

Enfin, comme les données de bien-être, il y a bien sûr le fait que toutes les données peuvent être analysées sous l’angle de la santé, à l’image de FB qui tente d’utiliser nos données pour détecter la dépression ou le risque de suicide… Mais ici, l’enjeu est bien moins médical que commercial. « Si Facebook s’intéresse à vos posts déprimés, c’est qu’ils sont monétisables » et qu’il est finalement plus facile de vous vendre une publicité pour un objet qui vous assure un peu de réconfort : votre fragilité augmente la probabilité d’achat. Les pseudo tests-comportementaux en ligne qui permettent de revendre des pseudo-données d’analyses de votre état psychique (voir notre article « Peut-on rendre le ciblage psychologique productif ? ») à des régies publicitaires pour qu’elles placent des produits adaptés, posent des questions sur cette forme de no man’s land légal, à l’image de la plainte de l’ONG Privacy International (@privacyint) à la Cnil à l’encontre des tests psychologiques réalisés par Doctissimo.

Le point faible persistant de la sécurité des données

Dans ces grandes manœuvres autour de nos données de santé, le point faible très souvent mis en avant reste la sécurisation des données. Des rançongiciels qui attaquent les systèmes informatiques des hôpitaux, aux innombrables fuites et failles des données de santé qui se retrouvent sur le dark web… en passant par des formes d’anonymisation défaillantes, car difficiles à réaliser par nature, la sécurisation des échanges de données de nombres de plateformes est souvent prise en défaut.

Or, dans le domaine de la santé, la cybercriminalité de santé se porte bien, comme l’a rappelé en 2017 le virus WannaCry qui a notamment infecté de nombreux hôpitaux britanniques du National Health Service ou, en 2021, en France, le piratage de 491 000 dossiers de santé provenant d’ordinateurs de laboratoires de biologie médicale. Les cyberattaques sont en hausse, rappelle Lemke. « De 54 attaques rapportées en 2019, la France est passée à 192 en 2020, soit une hausse de 255 % », explique l’Agence nationale de la sécurité des systèmes d’information (ANSSI). La part des budgets informatiques correspond à 2 % du budget de fonctionnement d’un hôpital. Et celle dédiée à la sécurité est encore moindre. Pour l’ANSSI, il faudrait consacrer entre 4 et 10 % de ces budgets à la sécurité, rappelle Lemke. Nous en sommes loin !

Partout, nos données de santé sont la cible d’une prédation sans précédent, rappelle Lemke, notamment de la part des entreprises du numérique qui promettent des miracles de traitement. Le projet Nightingale de Google a permis de récolter les données de santé de 2600 établissements de soins du réseau de santé catholique américain Ascension, sans recueillir le consentement des patients. Même constat dans le partenariat entre Google et la fédération hospitalo-universitaire américaine Mayo Clinic, ou encore bien sûr l’accord entre le National Health Service britannique et Palantir… Systèmes de soins et apomédiaires, quand ils ne sont pas soumis à des contraintes fortes, comme le RGPD, n’ont aucun scrupule à l’extractivisme de nos données les plus intimes.

Autre problème quant à la sécurité de ces plateformes : leur hypercroissance les conduit à traiter avec beaucoup de légèreté les questions de sécurisation des données de santé auxquelles elles ont accès. L’anonymisation et la pseudonymisation – qui tiennent pourtant d’obligations légales – ne sont toujours optimales. Le chiffrement des données (lui aussi obligatoire), la correction des failles de sécurité… non plus, comme le montrait l’enquête d’Olivier Tesquet sur Doctolib ou celle autour du manque de sécurité des cookies de Doctolib qui permettait à Facebook de recevoir les mots clefs que les utilisateurs de Doctolib en Allemagne tapaient dans le moteur de recherche du site ! La question de la sécurisation des données de bout en bout est encore bien souvent un vaste chantier, traité encore avec trop de légèreté !

Quelles limites à la fluidification sans fin des données de santé ?

En lisant ces deux ouvrages, on peut se poser une question légitime. Faut-il fluidifier les données de santé ? Et si on répond oui à cette question, lesquelles et jusqu’où ?

Le mouvement pour l’ouverture des données, qui se présente toujours sous un couvert vertueux (l’ouverture va produire – « naturellement » – plus de connaissance, plus de démocratie…) n’est pas contrebalancé de principes qui orientent, contraignent ou limitent son action. En vérité, l’ouverture des données produit surtout des indicateurs, facilite l’élargissement des accès aux données (sans poser de questions à leurs limites) et les mesures produites renforcent une logique d’indicateurs comptables et austéritaires. Devons-nous construire un monde où toutes les données sont reliées, qui produit partout des indicateurs homogènes, distribués et concentrés à la fois ? Faut-il construire par exemple un tableau de bord de l’occupation des lits d’hôpital permettant de connaître, en temps réel, le taux d’occupation de tel service de tel hôpital et en même temps, les taux d’occupation départementaux, régionaux et nationaux ? Sans déterminer par exemple de plancher au nombre de lits par habitant (comme nous y invitait Gaël Giraud) : le pilotage par l’occupation des lits menace surtout de produire des réductions drastiques, sans fin, sans limites ! A l’image de la baisse du nombre de lits d’hospitalisation que nous avons connue depuis 20 ans.

Ce dossier et ce sujet sont compliqués. Pas étonnant que les utilisateurs n’y comprennent pas grand-chose. Bien sûr, tout à chacun peut plutôt être disposé à ce que ses données de santé servent la recherche et le progrès médical, voire même le bien mal défini « intérêt public ». Mais doit-on pour autant créer une superstructure des données de santé la plus fluide possible ? Et quid de ses autres finalités qui ne tiennent pas de la recherche, mais bien d’un contrôle et d’une marchandisation de la santé ?

Comme le souligne enfin Coralie Lemke en conclusion de son livre : si le RGPD est très protecteur en matière de données de santé, il repose entièrement sur notre consentement individuel. Nous sommes bien seuls en matière de données de santé face à la « myriade de petites lignes de jargon juridique dont sont composées les conditions générales d’utilisation à valider ». Le contrôle au citoyen le laisse finalement bien démuni et lui confie une responsabilité écrasante face à des acteurs dont les intentions le dépassent.

Reste que dans tous ces dispositifs qui se mettent en place, on constate surtout l’absence des utilisateurs, de structures pour les représenter et pour défendre leurs perspectives. Où sont les associations de patients, de consommateurs ou de défense des droits dans les nouvelles chaînes des données de santé ?

Mais surtout où sont les limites à cette « rafle des données » (ou data grab, comme le dénonce l’opposition, depuis l’été, au plan de partage des données des médecins généralistes britanniques initiés par le NHS) ? Pourquoi s’organise-t-elle depuis des données les plus agrégées possible, les plus complètes possible, les plus continues possible, les plus temps réel possible ? Cette question est toujours balayée d’un revers de la main, alors qu’elle devrait être au cœur de nos réflexions pour mieux balancer santé et respect des patients. L’espace de dialogue avec la population en tout cas, pour l’instant, est inexistant. Or, quand nous sommes au menu, c’est bien souvent que nous ne sommes pas à la table des négociations. Dans les systèmes d’échanges de données de santé, tout se fait pour nous, mais sans nous ! Comme nous y invitait les Ateliers pour la refondation du service public hospitalier, lancés en juillet 2020 à l’initiative de plusieurs collectifs des soignants et patients, ce sont bien ceux là mêmes à qui sont prodigués les soins et ceux-là mêmes qui prodiguent les soins qu’on ne voit pas dans cette mise au pas de la santé par les données. C’est certainement l’aspect le moins rassurant de cette industrialisation et de cette transformation qui s’opère.

Enfin, ultime risque et non des moindres… Celui que cette fluidification du partage de nos données fasse modèle, qu’elle se généralise à d’autres types de données, comme celles de la justice, de l’éducation ou de l’emploi… Si la raison d’une amélioration de la recherche et des indicateurs pour l’intérêt public sera peut-être moins mobilisable, on voit bien que se profile, sous couvert d’optimisation et d’efficacité, une mise en production inédite de nos données par-devers nous.

Hubert Guillaud

Dossier, les enjeux de nos données de santé :

• 1e partie : le risque d’un changement radical de notre système de santé
• 2e partie : les données plutôt que le soin

MAJ : Sur Blast, en vidéo, Audrey Boulard et Simon Woillet tentent d’éclairer les enjeux des données de santé.

Les enjeux des données de santé sont devenus très visibles avec la crise sanitaire, expliquent Audrey Boulard (@audrey_boulard), Eugène Favier-Baron (@BaronFavier) et Simon Woillet (@SimonWoillet) dans leur livre Le business de nos données médicales : enquête sur un scandale d’État (Fyp édition, 2021). Pour les trois coordinateurs des questions numériques du média en ligne Le vent se lève (@lvslmedia), les mobilisations récentes autour du passe sanitaire sont aussi révélatrices d’une crise de confiance à l’égard des politiques numériques de santé. Alors que nos données de santé sont plus protégées que jamais depuis le Règlement général sur la protection des données (RGPD), elles ont été rendues plus disponibles que jamais, que ce soit via le passe sanitaire comme via les bases de données créées à l’occasion de la crise sanitaire. Cet exemple illustre certainement très bien les contradictions à l’œuvre autour des données de santé, et notamment l’appétence dont elles sont la cible : les protections dont elles font l’objet ne semblent pas tant en protéger l’accès que le fluidifier.

Les transformations en cours ne sont pas neutres politiquement : « la réforme numérique de nos institutions de santé n’est pas une affaire apartisane », comme elle nous est trop souvent présentée. C’est d’ailleurs là, l’intérêt de cet ouvrage : repolitiser ces enjeux. Certes, la question du devenir de nos données médicales n’est pas un sujet simple. Le livre de Boulard, Favier-Baron et Woillet est souvent exigeant, aride, voire même un peu brouillon, pour qui ne possède ni les codes du monde de la santé ni ceux des questions numériques. Bien souvent, derrière cette complexité, le citoyen peine à comprendre de quoi on parle. Pourtant, derrière les questions techniques relatives à la souveraineté numérique (de quelles juridictions dépendent l’analyse et la collecte de nos données ?), derrière les questions techniques d’une fluidification sans fin des données, l’enjeu est de comprendre comment ces transformations vont impacter et transformer notre modèle de santé.

Ne nous y trompons pas, expliquent les trois auteurs : la logique de fluidification de nos données ne vise pas le bénéfice du patient ni de la relation avec nos médecins… Elle masque des logiques de privatisation, de marchandisation et d’optimisation qui ne nous bénéficieront pas. Le risque, expliquent-ils, c’est que les modèles et les indicateurs que visent à produire nos données de santé finissent de mettre à mal le modèle clinique lui-même, c’est-à-dire remettent en cause le rapport humain qui est au fondement même du soin. Nos données de santé sont une aubaine pour trop d’acteurs. Et leur confidentialité, pourtant toujours critique (comme nous le rappelait Susan Landau), risque bien d’être la dernière chose qui sera protégée par ces transformations à venir.

Transformer notre système de santé par les données !

« La numérisation tous azimuts des données de santé (…) fait peser une série de menaces sur notre système social », que ce soit le remplacement des personnels par des machines (en fait, plus certainement, le découplage des métiers selon les actes, à l’image des ophtalmologistes qui ne réalisent plus tous les actes techniques de mesures dans certains centres de soins) et plus encore des diagnostics et des traitements par des calculs automatisés qui menacent la levée de la confidentialité sur notre santé. Mais surtout, elle implique un changement de paradigme, un changement de modèle où les chiffres sont partout reliés à une logique d’austérité comptable, où la mesure sert bien plus à minimiser la santé qu’à la développer.

Les enjeux des données de santé aujourd’hui se cristallisent beaucoup dans la question de la souveraineté. Sous prétexte que nos systèmes de soins ne sont pas au niveau technique espéré ou attendu, les autorités souhaitent confier le stockage et le traitement des données à des entreprises américaines, avec le risque bien sûr que nos données tombent sous leurs juridictions et contraintes. Ce n’est pas un petit risque comme s’en émouvait la CNIL ou le collectif InterHop (@interchu). Les autorités semblent tellement désireuses qu’on accélère l’analyse des données de santé, qu’elles semblent prêtes à céder la nécessaire construction des infrastructures de collecte à des acteurs tiers. Reste que l’enjeu à construire des infrastructures souveraines, libres et open sources, nationales, qu’on maîtriserait de bout en bout, que défend avec raison le collectif InterHop, pour nous préserver de l’ingérence américaine, ne suffit pas à préserver notre modèle de santé, si on n’oriente pas également la finalité des traitements. C’est justement là où le collectif InterHop dépasse ce seul enjeu de souveraineté en promouvant notamment la minimisation des données, leur collecte, gestion et analyse à un niveau local plus que global et en refusant l’exploitation des données des patients. L’enjeu de la maîtrise des outils de santé n’est pas qu’une question d’indépendance et de souveraineté, mais consiste à construire un modèle démocratique de nos données de santé qui nous assure de la conservation du modèle social qui est le nôtre, plutôt que d’importer un modèle social calqué sur le modèle libéral anglo-saxon.

Or, pour les trois auteurs, la technologie telle qu’elle est convoquée pour innerver notre système de soin risque de produire un modèle de santé très libéral. La technologie, là encore, est au service d’un modèle économique, politique et idéologique qui n’est pas celui du modèle de solidarité que nous avons bâti avec la sécurité sociale, mais un modèle bien plus assurantiel et comptable qui vise à produire des indicateurs pour piloter la santé, plutôt que des soins solidaires. La numérisation des données de santé vise d’abord à servir « de levier de contrôle sur la dépense publique de santé ». Pour le collectif InterHop, l’algorithmisation de la santé fait courir le risque de sa personnalisation au détriment du modèle de collectivisation des risques.

« La promotion des technologies et systèmes d’information pour la structuration des données de santé entretient un flou entre efficacité de la gestion du système de santé et progrès thérapeutique ». En fait, sous couvert d’une analyse sans précédent de nos données de santé que leur fluidification permettrait, c’est-à-dire une avancée sans précédent des connaissances sur les maladies – une affirmation souvent répétée, mais qui n’est pourtant jamais vraiment démontrée ! -, on nous vend une transformation majeure de la relation entre instances de régulation et prestataires de soins. Or, rappellent les auteurs, la première utilisation des données de santé répond à des enjeux comptables, à des enjeux de performance du système de soin. La promesse des finalités thérapeutiques de l’analyse des données qui permettraient de concevoir de nouveaux médicaments ou dispositifs de soins, ou du développement d’une santé personnalisée ou prédictive, semble surtout relever du mythe (voir par exemple « En médecine, l’IA est en plein essor, mais pas sa crédibilité »). Elle repose sur cette antienne si caractéristique du numérique d’une capture, d’un colonialisme sans fin sur les données, qui promet que la vérité sera au bout d’un chemin sans fin de rafle de données, d’agrégation, de traitements, de calculs…

Le croisement des données par l’IA que l’interconnexion des données promet, masquent surtout une « tentative de régulation libérale du système de santé », ouverte à nombres « d’apomédiaires », des intermédiaires commerciaux comme les entreprises d’assurances ou les laboratoires pharmaceutiques et plus encore comme nombre de fournisseurs de solutions logicielles ou d’analyses de données tels qu’IQVIA, Palantir, Google Health (que ce soit via Verily ou via le Baseline Project), Microsoft Azure Cloud, 1492 ou le Health Navigator d’Amazon… qui s’immiscent dans le système de santé sans que leur statut ne soit clair.

Les données de santé visent d’abord à produire des nomenclatures et indicateurs pour améliorer la gestion, des indicateurs statistiques, des logiques comptables au service de contraintes budgétaires. Les données de santé produisent d’abord la réduction des lits et des personnels, expliquent les auteurs. Elles produisent d’abord une surveillance comptable du soin. Elles visent l’efficience économique avant tout au risque de renforcer les inégalités de l’accès au soin déjà lourdes, que soulignaient les travaux du géographe de la santé Emmanuel Vigneron. Mais surtout, alors que nos données elles sont à la table et au menu, les indicateurs produits, eux, ne sont pas ouverts et accessibles… pas plus que les recherches que des entreprises privées vont pouvoir faire depuis nos données et s’approprier leurs résultats, sans qu’on n’exige aucune contrepartie.

Image : dans un récent tweet, Guillaume Rozier, data scientist chez OctoTechnology et fondateur notamment de Covid Tracker qui a été l’un des tableaux de bord modèle de suivi de la pandémie en temps réel en France – tableaux de bords qui ont été des accélérateurs de l’ouverture des données, de leur amélioration en continu et qui ont stimulé la recherche de meilleures modalités de visualisation, comme le pointait Bloomberg -, défendait l’ouverture des données pour améliorer les indicateurs hospitaliers. Reste à savoir si les autorités de santé ne disposent pas déjà de ce type d’indicateurs… et le rôle d’une « ingéniérisation de la question », comme le commentait @maisouvaleweb. Comme le soulignent Pierre-André Juven (@pa_juven), Frédéric Pierru et Fanny Vincent (@F_Vincent_) dans leur livre La casse du siècle, à propos des réformes de l’hôpital public (Raison d’agir, 2019), ce n’est pas comme si les indicateurs de rentabilité à l’hôpital n’existaient pas déjà depuis quelques années…

Le business de nos données médicales développe longuement (et parfois un peu fastidieusement) les collisions entre ces nouveaux acteurs, les services d’assurances ou les groupes pharmaceutiques, pour montrer l’actif lobbying en cours de ces innombrables sociétés spécialisées dans la gestion de données médicales afin d’intégrer et piloter les transformations de l’infrastructure de nos données de santé. Autant d’acteurs qui semblent aujourd’hui orienter les politiques publiques à leurs profits. Comme le soulignent les auteurs, ces apomédiaires, tout comme les compagnies d’assurances et les laboratoires pharmaceutiques, sont bien souvent aussi les premiers acheteurs de nos données de santé, quelles que soient les méthodes avec lesquelles elles ont été acquises. Tous cherchent à accéder aux données, à déréguler leur accès. Et dans ces perspectives, le rôle de l’État est trouble. Lui aussi cherche à réduire le coût de la santé, à transformer l’hôpital en sa version la plus mercantile, à améliorer l’efficience économique du système de soin par le profilage, la prédiction, le suivi temps réel…

Le projet de Health Data Hub (HDH), une plateforme pour centraliser toutes les données de santé de la population française afin de les rendre accessibles à des formes inédites de calculs par nombre d’acteurs de la santé, mais plus encore au secteur privé, comme l’expliquait très clairement la Quadrature du Net (@laquadrature), est aujourd’hui au cœur des polémiques. La principale polémique tient du risque que cette plateforme de collecte et d’analyse de données de santé, opérée par Microsoft, fait peser sur la divulgation de nos données aux autorités américaines, comme l’explique le site d’information médical, What’s Up Doc (@whatsuupdoc_mag). Mais cette polémique masque d’autres enjeux. Les traitements que les projets de recherche en IA que la plateforme accueille visent essentiellement à produire des quantifications des risques associés à certaines pathologies pour un meilleur contrôle des coûts, mais également des analyses de données pour mieux évaluer leur rentabilité. Le Health Data Hub lancé en décembre 2019 est une structure de collecte de données de santé pour la recherche, comme le montrent les projets que le Hub accueille. Pour cela, elle agrège une multitude de bases de données auxquelles elle donne des accès : notamment la base de données du Sniiram (Système national d’information inter-régimes de l’assurance maladie) qui collecte les feuilles de soin de la Caisse nationale d’assurance maladie, le PMSI (programme de médicalisation des systèmes d’information, qui contient les dossiers de chaque patient hospitalisé en France), la Base de causes médicales de décès, mais aussi Vaccin Covid, Covidom (la base qui suit les personnes déclarées positives au Covid), Contact Covid (la base pour la recherche de contact autour des cas positifs au Covid)… Ainsi que nombre de bases de données hospitalières. L’enjeu du HDH vise à construire une forme « d’hôpital comme plateforme », où la centralisation des données de santé devient une matière première pour les algorithmes des medtechs.

Le Health Data Hub a, par exemple, lancé trois projets de recherche sur la pandémie : Frog Covid (qui s’intéresse aux parcours des patients admis en réanimation), CoviSAS (pour prévenir les risques des populations vulnérables) et CoData (qui se concentre sur la non-prise en charge des personnes atteintes d’un cancer du sein durant l’épidémie), qui ne semblent pas à ce jour avoir livré de résultats, souligne la journaliste Coralie Lemke dans son livre Ma santé, mes données (Premier Parallèle, 2021). Pour Woillet, Favier-Baron et Boulard, comme ils l’expliquaient sur LVSL, le Health Data Hub vise à permettre à des entreprises privées d’accéder à des données pour construire des produits privés, qui ne bénéficieront pas nécessairement aux structures publiques.

La plateformisation de la santé par les données, produit à la fois un risque de perte de souveraineté sur nos données de santé, mais bien plus un modèle de santé publique hors-sol, commercial et libéral. Derrière ces projets, le risque est bien celui d’une centralisation sans précédent de nos données de santé, sous prétexte de recherche.

Au-delà des enjeux de souveraineté

La souveraineté dans le monde des plateformes est juridique, infrastructurelle, économique et géostratégique, rappellent les auteurs du business de nos données médicales. Avec les plateformes, la technologie façonne le droit. « Le code est la loi et l’architecture informatique est politique », disait avec pertinence le juriste Lawrence Lessig. Les choix opérés en matière d’organisation des infrastructures informationnelles sont politiques. Confier la gestion du Health Data Hub à Microsoft Azure n’est pas un simple choix de prestataire technique. Il oriente la plateforme bien au-delà de faire tomber nos actifs de santé sous la coupe de législations extraterritoriales, notamment en les enfermant dans des solutions logicielles spécifiques et non ou peu réversibles, comme s’en inquiétait le député LREM Philippe Latombe dans son rapport. Il souligne un désengagement de l’État dans l’investissement lourd, infrastructurel, de long terme, dans la production de systèmes d’information maîtrisés de bout en bout, mais surtout produit des risques de centralisation des données au détriment des droits des individus et génère des risques de sécurité forts du fait des centralisations que ces plateformes génèrent. Le scandale du Health Data Hub, qui a choisi Microsoft sans même appel d’offres ni cahier des charges souligne combien ce choix manque de garanties. Le risque d’extraterritorialité des données a fait réagir jusqu’au Conseil d’État qui préconise un changement de fournisseur. Plus que le risque d’une captivité numérique, au final, pointent les auteurs, le risque est bien celui d’une « économie de santé intégrée par le numérique » qui risque de créer des oligopoles cliniques et assurantiels, qui visent à favoriser, « au bout du tunnel de la numérisation », non seulement la privatisation, mais bien l’accélération des inégalités de santé en documentant la rentabilité de chacune de nos capacités médicales par les données.

En fait, la question de la souveraineté est importante – comme le répète et le défend l’entrepreneur Tariq Krim (@tariqkrim) dans nombre d’interviews tout comme dans sa « Lettre à ceux qui veulent faire tourner la France sur l’ordinateur de quelqu’un d’autre » -, mais ce n’est peut-être pas la seule question à poser. La menace n’est pas seulement celle que des plateformes étrangères s’accaparent nos données, mais que le principe même de plateforme vienne transformer notre système de santé. À nouveau, la préférence que l’on pourrait donner à des acteurs nationaux pour opérer ce type de plateforme ne signifie pas un changement de logique. Au contraire ! L’ubérisation de la santé par le numérique que propose « l’hôpital comme plateforme » est d’abord dans la logique de la mise à disposition d’une agrégation sans fin de données, quels que soient les acteurs qui l’opèrent. Comme le pointe Coralie Lemke dans son livre, « rien ne garantit cependant que des acteurs nationaux agiront de manière plus éthique ». Le risque est bien de reproduire les pratiques des acteurs internationaux afin d’accélérer « les flux de données pour soutenir l’innovation ».

Comment résister à la plateformisation de la santé ?

Dans un excellent chapitre sur l’État plateforme, les auteurs du Business de nos données médicales soulignent très bien ce que les plateformes produisent. Ils y rappellent, combien le concept d’État plateforme a surtout été mobilisé dans un objectif comptable et dans une perspective de réduction des coûts visant à dégraisser l’administration (voir notamment « Mais comment passer des startups à l’État plateforme ? »). La plateformisation vise à produire une boîte à outils pour gouverner par l’efficacité, en pilotant l’offre par la mesure de la demande, c’est-à-dire à estimer les coûts médicaux de manière toujours plus dynamique. Le risque, comme le pointait le Conseil national de l’ordre des médecins, est bien celui d’une ubérisation de la médecine (.pdf). Pour Tim O’Reilly lui-même, initiateur du concept d’État plateforme (voir nos articles « Du gouvernement comme plateforme… ou l’inverse »), l’État plateforme vise à privilégier l’efficacité du résultat. « Cette vision prétendument post-idéologique ou post-politique présente le risque d’une dérive autoritaire puisqu’il s’agit d’autoriser pour un seul et même type d’objectif régalien – sanitaire par exemple -, toutes les techniques gouvernementales possibles pourvu qu’elles l’atteignent « efficacement ». » Le risque est bien de réduire la politique à une technique de résolution de problèmes logiques, à une « névrose solutionniste » à la recherche de sa seule efficacité. L’État n’a plus que vocation à départager les fournisseurs de service selon des critères d’efficacité, de rentabilité, d’optimisation des coûts, et non plus selon des critères de fourniture d’un service public ou d’une mission sociale de l’État ! « Le gouvernement devrait-il fournir des soins de santé ou laisser cette tâche au secteur privé ? La réponse se trouve dans les résultats ». Le problème c’est que l’État risque toujours d’être désavantagé dans cette balance, puisque les critères de succès qu’on y applique sont ceux du secteur privé. « Cette instrumentalisation de la puissance publique au service d’intérêts privés s’incarne en France encore une fois avec le cas d’école du Health Data Hub dont la stratégie affichée de « valorisation des données publiques » aboutit paradoxalement à son ouverture au privé, à une extension de l’empire du marché sur un bien public. » Derrière l’ouverture des données publiques promue comme un enjeu démocratique se cache l’enjeu de leur privatisation et de leur marchandisation. Le gain scientifique ou démocratique de l’ouverture des données semble trop souvent un prétexte bien commode à leur valorisation marchande. Au final, l’ouverture des données couvre surtout une transmission numérique (Boulard, Favier-Baron et Woillet parlent plutôt de « transition numérique », mais pour ma part, cette transformation me semble plus tenir d’une délégation de pouvoir que d’un passage d’un état pré-numérique à un autre). Derrière l’ouverture des données de la santé, l’enjeu est d’abord que le secteur privé prenne le relais des investissements publics. À plus long terme, la technologie a pour mission d’ajuster en temps réel les remboursements et les tarifications de santé, c’est-à-dire de piloter la santé par les données.

Des données de santé plus protégées… et plus exploitées

Ne nous y trompons pas cependant. Le RGPD a considérablement renforcé la protection des données de santé. Et c’est ce qui est difficile à comprendre pour l’utilisateur. Ses données sont plus protégées et en même temps sont prêtes à être plus exploitées que jamais. Le RGPD notamment a considérablement délimité la revente des données de santé et a renforcé l’obligation d’obtenir le consentement des personnes – un consentement « clair positif, libre et spécifique » et qui doit définir précisément le cadre ou l’objet auquel il s’applique. Pourtant, dans le même temps, le RGPD a prévu des exceptions pour certaines finalités, notamment pour la gestion des systèmes et services de santé ou de protection sociale, pour la préservation de la santé publique et l’appréciation médicale… ainsi que pour la recherche. Au final, si on lit bien ces exceptions, le RGPD a renforcé l’utilisation des données de santé pour la santé en les excluant de tout autre type d’usages. Sûr le fond, cela semble très positif : nous souhaitons tous que nos données de santé puissent servir le progrès médical et soient réservées à des acteurs de la santé, notamment afin qu’ils soient soumis au secret médical qui l’encadre. Ce n’est pourtant pas la limite qui se dessine, puisque ces accès s’ouvrent non seulement aux praticiens, mais plus encore à nombre d’apomédiaires de la santé. Avec le HDH notamment, nous sommes confrontés à un changement de paradigme qui fait de l’accès aux données de santé la norme plutôt que l’exception, comme le pointait très justement La Quadrature du net.

Le problème est que ces accès ne sont pas toujours vertueux. Le meilleur exemple est certainement le scandale IQVIA révélé par Cash Investigation en mai 2021. IQVIA est l’un des principaux fournisseurs de logiciel de gestion des pharmacies. Depuis 2018, il a été autorisé par la Cnil à constituer une base de données des clients de ces pharmacies pour proposer aux officines des outils de pilotage de leurs activités ainsi que pour agréger ces données pour les revendre à des laboratoires ou produire des études. Le problème, c’est que les clients de ces pharmacies devraient être informés de cette collecte et pouvoir la refuser le cas échéant… Ce qui n’a pas été le cas jusqu’alors. Plus problématique d’ailleurs, le pharmacien – qui est ici l’interlocuteur de l’usager – est juge et partie dans cette information. Il doit informer ses clients et recueillir leur consentement ou leur refus, mais sans grande neutralité, puisqu’il tire lui-même profit de leur consentement. Enfin, rapportait Zdnet, la Cnil a rappelé à IQVIA la nécessité de pseudonymiser les données clients, ce que visiblement l’entreprise ne faisait pas. Reste que le principal problème, c’est qu’IQVIA sous couvert de recherche exploite des données qui servent surtout à fournir un produit aux officines : difficile donc de défendre l’exception de recherche !

Cet exemple montre bien la complexité du problème. Aucune entreprise n’accepterait pourtant que ses données comptables puissent être exploitées par le fournisseur du logiciel sur lequel elle les saisit. Pas plus que nous n’accepterions que les documents que nous collectons sur Google Drive soient la propriété de Google ou qu’il puisse les lire et y réaliser des traitements – autres que la publicité automatisée. Doctolib par exemple n’a pas le droit d’exploiter les données qu’il recueille pour le compte des établissements de santé (même si l’entreprise n’a pas été exempte de critiques ces dernières années). Sous exception de recherche, d’études, d’ouverture… on assiste à des formes de fluidification de l’exploitation de nos données de santé. Le problème, c’est qu’il est possible que cela ne s’arrête pas là !

Hubert Guillaud

Dossier, les enjeux de nos données de santé :

• 1e partie : le risque d’un changement radical de notre système de santé
• 2e partie : les données plutôt que le soin

Dans un article de 2018 pour la revue de recherche Information, Communication & Society (@ICSjournal), Rena Bivens (@renabivens) et Amy Hasinoff (@amyadele, auteure de Sexting Panic, University Press of Illinois, 2015, non traduit), livrent une très intéressante analyse des caractéristiques des applications contre le viol.

Les deux chercheuses ont enquêté sur 215 applications pour téléphones mobiles (en langue anglaise) conçues pour prévenir les violences sexuelles. L’enjeu pour elles : comprendre à travers l’examen des fonctionnalités, comment les développeurs comprennent l’intervention dans les problèmes de violence sexuelle ? À qui se destinent ces applications ? Quelles stratégies de prévention sont intégrées dans ces outils ? Quelles idéologies sur la nature, la cause ou la prévention du problème sont intégrées à ces fonctionnalités ?

Dans leur article, les deux chercheuses rappellent que les applications contre le viol s’inscrivent dans une longue histoire de solutions technologiques contre les violences sexuelles. Or, celles-ci relèvent bien plus d’un problème social qui nécessite des efforts systémiques et à long terme, plutôt que des solutions ponctuelles.

Malgré leurs bonnes intentions, ces « solutions » technologiques ont plutôt tendance à exacerber les problèmes qu’elles cherchent à résoudre, expliquent les deux spécialistes. Dans l’ensemble, l’essentiel de ces applications reproduit surtout des mythes que les spécialistes des violences sexuelles réfutent depuis des décennies, notamment le fait que les auteurs de violences sont généralement et très massivement des proches des victimes, très rarement des inconnus. Or, la grande majorité des applications sont conçues pour intervenir lors d’un incident où un étranger attaque soudainement quelqu’un et pour s’éteindre quand l’utilisatrice entre dans un espace sûr, comme son domicile ou son lieu de travail (alors que les dangers sont plutôt là !). Autre problème, ces applications de prévention ciblent surtout les victimes potentielles plutôt que les agresseurs (seul 0,02 % des applications étaient destinées aux agresseurs). Pour les deux chercheuses, ces applications sont surtout conçues pour accroître la vigilance des victimes potentielles, encourageant l’acceptation de mesures de surveillance très intrusives pour elles, et produisent un discours sur les tactiques d’évitement assez culpabilisant pour les victimes potentielles. Les applications reposent sur l’idée que les violences sexuelles peuvent finalement être évitées pour autant que les victimes potentielles soient vigilantes et responsables. Ce qui est loin d’être la réalité.

Des fonctionnalités qui n’adressent pas les problèmes

Nombre d’initiatives, comme l’initiative américaine Apps Against Abuse (une compétition lancée en 2011 par la Maison-Blanche pour imaginer des solutions techniques à l’encontre des violences et abus sexuels) ou l’application Circle of 6 (qui emporta d’ailleurs le challenge), rendent les victimes potentielles comme responsables de la prévention de la violence et se limitent souvent à des conseils standards qui présupposent que les femmes peinent à résister aux agressions (parce qu’elles s’habillent mal, boivent, vont dans des lieux dangereux…). Les deux chercheuses estiment qu’il faut regarder les applications comme des plateformes culturelles et normatives, dont il faut analyser, derrière les choix de conception, les idéologies. Derrière les « bonnes intentions » des solutions, il nous faut comprendre pourquoi aucune de ces applications n’a réduit les violences qu’elles promettaient d’adresser !

Pour analyser les applications, les deux chercheuses ont listé leurs fonctions, leurs actions (comme de pouvoir suivre ses déplacements, enregistrer des éléments, alerter une autre personne…) et leur stratégie de prévention (à savoir si elles proposent des formes d’intervention ou plutôt des éléments d’information…). La majorité des applications visent à alerter d’autres personnes qu’un incident est en train de se produire. Beaucoup délivrent également un matériel d’information et de sensibilisation au risque. Elles sont souvent produites par des institutions éducatives, des ONG voire des services de police. 87 % se destinent aux victimes potentielles, 12 % à ceux qui assistent à des violences et seulement 1 % aux auteurs de violence. 74 % sont principalement conçues pour intervenir en cas d’incident et 26 % proposent d’abord des fonctions d’éducation et de sensibilisation. Pour celles qui proposent des fonctions d’alertes, plus de la moitié visent à alerter une liste de contacts prédéfinis ou à partager des informations sur l’incident avec ces personnes (comme la localisation de l’incident). Une autre caractéristique très commune de ces applications est le bouton d’assistance téléphonique qui permet de joindre soit un centre d’aide aux victimes d’agression, soit la police, soit les services d’urgences.

Très souvent, leurs fonctionnalités proposent, en cas de risque, de renforcer la surveillance de la victime potentielle pour détecter les signes d’incidents que ce soit en activant le GPS, l’enregistrement audio, la capture d’images ou le détecteur de mouvements… qui sont alors partagés instantanément ou stockés. D’autres fonctions visent à créer des formes d’évitement, c’est-à-dire par exemple, des modes furtifs, comme de faux écrans d’accueil, des alertes silencieuses, des systèmes de messagerie qui se masquent dans des jeux… Les applications centrées sur l’éducation et la sensibilisation proposent surtout des informations statiques et statistiques sur la violence, les signes d’alerte, les contacts sur les organisations de soutiens ou des exercices pour réduire son stress… D’autres proposent des moyens pour éviter les personnes et lieux dangereux ou pour les signaler et les géoréférencer…

Les applications destinées à ceux qui sont témoins de violence sont surtout axées sur l’éducation et la sensibilisation, la surveillance de milieux spécifiques et la collecte de preuves. Plus rares sont celles qui invitent à l’intervention des témoins, notamment en apportant des conseils pour entraver les actions d’un agresseur potentiel.

Très peu d’applications sont conçues pour les auteurs de crimes (6 sur 205). Le moins qu’on puisse dire, c’est qu’elles semblent particulièrement étranges. L’une d’elles, Consenting Adults, vise à fournir un accord explicite avant de s’engager dans des activités sexuelles, comme pour mieux protéger les agresseurs potentiels.

Des solutions qui semblent n’avoir jamais vu la moindre victime

Au terme de cette étude, les deux chercheuses expliquent que l’essentiel de ces applications renforce deux mythes : celui que la violence sexuelle est principalement perpétrée par des inconnus et que les victimes potentielles sont responsables de la prévention de cette violence. Autant dire qu’elles risquent surtout de contribuer au problème plus que de l’atténuer !

Les fonctionnalités sociales de ces applications ne voient les relations sociales que comme de possibles intervenants d’urgence plus que comme des moyens de relever les niveaux de vigilance ou d’engagement citoyens… Les principales fonctions de ces applications, à savoir le fait de pouvoir contacter d’autres personnes pour obtenir de l’aide ou pour surveiller l’agression ou la victime, ont peu de chance d’être efficaces contre les attaques perpétrées par des auteurs connus des victimes. Aucune de ces solutions ne s’attaque aux formes de coercition, de manipulation émotionnelle, d’abus, de relations de pouvoir dont sont réellement victimes les victimes. Quant à la surveillance géolocalisée, elle n’offre pas beaucoup d’appui quand on sait que l’essentiel des crimes a lieu dans les espaces familiers.

Surtout, expliquent les chercheuses, ces solutions créent une culture de la peur qui n’est pas adressée au bon endroit. Beaucoup de conseils qu’elles délivrent incitent finalement à intérioriser un contrôle social, comme de réduire sa mobilité, faire attention à son comportement… Au final, elles blâment surtout les victimes reprenant les messages dominants, à savoir que c’est aux victimes d’être responsables… Les concepteurs d’application considèrent majoritairement que les actions individuelles des victimes potentielles sont les meilleures voire la seule réponse au problème, renforçant l’idée qu’elles sont les seules à pouvoir se défendre ! Quand les applications font participer les témoins, elles se focalisent majoritairement sur les situations d’urgence. Finalement, en n’invitant pas à intervenir dans nombre d’autres situations problématiques, elles limitent l’intervention, mettent l’accent sur des moments isolés, particuliers, sur une forme d’héroïsme, sans voir combien le problème tient surtout d’une violence normalisée, minimisée et qui se déroule dans nos interactions les plus quotidiennes. Au final, dans ces applications, si les incidents ne sont pas extrêmes, ils ne sont pas considérés comme des problèmes ! Pour les deux chercheuses, les dispositifs d’intervention n’adressent pas le problème social fondamental des inégalités des rapports de genre. Pire, pourrait-on ajouter, les caractéristiques des outils soulignent combien ceux en charge de leur conception semblent finalement n’avoir jamais croisé la moindre victime d’abus, et n’ont jamais associé celles-ci aux solutions qu’ils proposent.

Dans la dernière partie de leur article, les deux chercheuses relèvent le défi de faire des propositions. Sur la question de la prévention, les deux chercheuses rappellent que beaucoup de programmes de formation à destination des victimes consistent à apprendre des compétences d’autodéfense verbale et physique pour mieux résister aux agresseurs connus. Si ces programmes ont également des limites (on sait qu’il est difficile pour les victimes de s’opposer à des personnes qui abusent d’elles et qui ont souvent des formes d’emprise ou de pouvoir sur elles), cette piste est totalement absente des applications existantes. « Les applications qui traitent les violences sexuelles comme une catastrophe imminente ne contribuent pas à éliminer le problème social des violences sexuelles ».

Les programmes de prévention de la violence à l’encontre des prédateurs, eux, sont souvent multimodaux. Ils impliquent parents, pairs, éducateurs et surtout des figures d’autorité modèles. Ceux qui ont des résultats positifs permettent de critiquer et démonter les stéréotypes de genre ou d’acquérir des compétences pour gérer les relations et conflits tout en augmentant l’empathie à l’égard des victimes. Reste que le public des prédateurs est certainement difficile à adresser en dehors des programmes de rééducation spécifiques… Quant aux témoins, des applications de sensibilisation et de formation à l’intervention seraient peut-être là aussi plus efficaces pour améliorer la sensibilité à la large gamme des violences existantes et à mieux intervenir, dans le réel, comme sur les réseaux sociaux, lorsqu’ils sont témoins non pas seulement de violences, mais plus largement de comportements déplacés. Elles soulignent également qu’il est possible de documenter et construire des stratégies responsables à l’égard des comportements abusifs au travail ou dans des communautés spécifiques, là encore via des programmes de formation spécifiques que des applications pourraient encadrer. La force de ces propositions consiste justement à ne pas seulement répondre aux violences les plus graves, mais de tenter de changer les normes et attitudes sociales qui autorisent et permettent nombre de formes de violences à l’égard des femmes.

Comprendre les idéologies de la conception

Dans un article bien plus récent, pour le Journal of Digital Social Research (@jdsr_journal), les deux chercheuses proposent une méthode pour analyser le rôle de l’idéologie dans la conception d’applications. « Les solutions proposées par les développeurs (pour résoudre un problème) reflètent surtout la façon dont ils pensent que les utilisateurs et autres parties prenantes comprennent le problème ». Pour elles, en analysant le fonctionnement des outils que les designers proposent (comme elles l’ont fait plus tôt en observant le scope des applications de lutte contre le viol), ont peu révéler la façon typique dont les développeurs et innovateurs pensent résoudre un problème. Pour cela, il faut observer le contenu, les interfaces, les fonctionnalités, les affordances des outils… Elles proposent donc une méthode pour « analyser les caractéristiques » de solutions techniques dédiées à un problème spécifique. Un moyen de comprendre les normes, les hypothèses et les idéologies culturelles qu’elles recouvrent.

La méthode est très proche de celle exposée dans leur étude sur les applications de viol. Elle consiste à identifier les outils, puis à identifier et classer les fonctionnalités que ces outils mettent à disposition, puis à catégoriser comment les fonctionnalités adressent le problème en s’intéressant aux actions qu’elles proposent. Enfin, elles proposent d’utiliser la conception spéculative pour imaginer des alternatives. Elles invitent également à étudier les développeurs, à être attentifs aux publics auxquels ces outils s’adressent. Peut-être oublient-elles un peu rapidement l’importance à rappeler les apports de la littérature scientifique sur les questions étudiées, notamment parce qu’elle aide plus que jamais à comprendre combien les outils répondent bien souvent à côté de ce que la science sait.

Cette étude vient compléter des observations que d’autres avaient déjà faites et que nous avions déjà évoquées. À savoir que « les applications pour l’accessibilité des personnes handicapées ne suffisent pas à rendre la ville plus accessible », que celles pour les réfugiés ne répondent pas à leur besoin… À nouveau, pour lutter contre le solutionnisme et l’idéologisme du solutionnisme, nous continuons à avoir besoin des utilisateurs… Le mantra du « Pas pour nous sans nous », consistant à remettre l’usager dans la boucle de la conception, a encore – hélas – bien du mal à s’imposer !

Hubert Guillaud

« La science est un puissant outil politique ». Pourtant, si nous avons appris quelque chose de ces deux années de pandémie, c’est certainement combien elle n’est pas neutre. Combien elle n’est pas à même de régler les désaccords publics… explique le spécialiste de la gestion de risque à la New Mexico Tech Taylor Dotson (@dots_t) dans un lumineux extrait de son livre The Divide : how fanatical certitude is destroying democracy (Le clivage : comment la certitude fanatique détruit la démocratie, MIT Press, 2021, non traduit).

La science est souvent présentée comme pure, exempte de valeurs. De prime abord, la méthode scientifique semble à l’opposé la méthode politique. « La première présente les faits pour se demander quelle conclusion en tirer, quand la seconde présente ses conclusions pour chercher les faits capables de la soutenir ». Dans le rapport entre les deux, le problème à résoudre semble relativement simple : il y a souvent trop de politique et pas assez de science ! Mais c’est encore croire que la science serait quelque chose d’intrinsèquement pur, uniquement corrompue par des forces qui lui sont extérieures. Pour le spécialiste des rapports science-société, Daniel Sarewitz, la science a toujours été façonnée par la société. Archimède, ce scientifique modèle, a surtout fabriqué des machines de guerre, tout comme aujourd’hui la science est largement orientée par les entreprises. Reconnaître ces influences ne signifie pas que tout financement corrompt, mais que de puissants groupes d’intérêts économiques et politiques orientent effectivement la recherche. La science est orientée d’intérêts. La recherche est traditionnellement masculine et bien plus à destination des populations aisées, blanches et âgées qu’autre chose. On dépense bien plus pour les dysfonctionnements érectiles que pour les maladies tropicales. « Les valeurs façonnent la science à presque tous les stades, qu’il s’agisse de décider des phénomènes à étudier ou de choisir comment les étudier et en parler ».

« Qualifier un produit chimique de « perturbateur endocrinien » plutôt que d' »agent hormonal actif » met en évidence son potentiel de nuisance. Les scientifiques font chaque jour des choix chargés de valeurs en ce qui concerne leur terminologie, leurs questions de recherche, leurs hypothèses et leurs méthodes expérimentales, qui peuvent souvent avoir des conséquences politiques. Partout où les spécialistes des sciences sociales ont regardé de près, ils ont trouvé des éléments de politique dans la conduite de la science. Tant et si bien qu’il n’est pas simple de discerner précisément et exactement où finit la science et où commence la politique.

Certaines recherches deviennent problématiques quand d’autres ne sont toujours pas remises en question (comme les partis-pris en faveur de de l’industrie de l’armement que dénonçait brillamment le journaliste Romaric Godin de Mediapart en soulignant combien ce secteur particulièrement aidé ne produisait que très peu d’effets d’entraînement industriel ou de ruissellement d’innovation…). Le fait de considérer la science comme pure jusqu’à ce qu’elle soit politisée de l’extérieur empêche donc un débat plus large sur la question suivante : « Quels types d’influences politiques sur la science sont appropriés et quand ? »

« Améliorer la capacité des femmes et des minorités à devenir des scientifiques ou orienter la science vers des objectifs plus pacifiques ou plus satisfaisants pour la vie est politique dans un sens différent de celui qui consiste à occulter intentionnellement les effets nocifs du tabagisme », explique Taylor Dotson. Reste que pour faire ces distinctions, il serait nécessaire d’arrêter de croire au mythe d’une science apolitique – et en la croyance que la politique pourrait être basée sur LA science. Là encore, l’un des problèmes c’est certainement de croire qu’il n’y en a qu’une ! La pandémie nous a pourtant pleinement montré que la vérité de l’épidémiologie n’était pas là même selon les spécialités médicales d’où on la regardait. Pour beaucoup, il suffirait pourtant de placer des experts à la tête des décisions politiques pour éclaircir les influences que la science subit et mieux révéler une vérité qui serait, elle, impartiale. Mais, explique Taylor Dotson, « la scientisation de la politique repose sur la même hypothèse que les attaques contre la politisation explicite de la science ». Bien souvent, elle vise à dépolitiser les questions publiques qui posent problème.

Pourtant, rappelle-t-il, nous croulons sous les études scientifiques mal menées, mal conçues, aux résultats peu reproductibles ou peu fiables… Une politique guidée par la preuve scientifique ne nous garantit pas vraiment qu’elle soit guidée par la réalité. En fait, on peut largement douter que la science puisse fournir une base solide et indiscutable à l’élaboration des politiques. Reste, souligne Dotson, même si les valeurs et la politique jouent un rôle dans la recherche, la science doit rester un moyen dominant de régler les questions publiques. « Il ne fait aucun doute qu’il est préférable d’avoir recours à certaines recherches scientifiques pour décider d’une question complexe plutôt que de ne pas en avoir du tout. De plus, même si les résultats scientifiques sont parfois biaisés ou même complètement faux, les institutions scientifiques valorisent au moins le fait d’essayer d’améliorer la qualité des connaissances. »

La science s’établit progressivement, par l’accumulation de preuves et de démonstrations qui vont dans le même sens. Mais l’expertise doit toujours pouvoir être balancée et contre-balancée. Et dans ce domaine, rappelle très justement Dotson, la scientisation des controverses publiques empêche souvent de reconnaître que les personnes qui ne sont pas scientifiques ont d’importantes contributions à apporter. À Flint, dans le Michigan, les scientifiques n’ont pas porté beaucoup d’attention aux plaintes des habitants qui signalaient d’importants problèmes de santé jusqu’à ce que les études soulignent qu’ils avaient raison.

Dans la science, les controverses sont nombreuses. Bien souvent, elles sont politiques. Les écologistes sont plus critiques à l’égard des cultures génétiquement modifiées que ceux qui travaillent dans le secteur de la transformation des organismes. Aucun groupe d’experts ne peut donner une analyse complète et juste d’un problème, soutient Dotson. Dans Uncertain Hazards (Cornell University Press, 2001, non traduit), Silvia Noble Tesh explique qu’il est souvent très difficile, voire impossible, de prouver qu’une substance a des effets néfastes sur le corps humain. Les tests sont réalisés sur des animaux pour des raisons éthiques et leurs réactions sont très différentes de celles des humains. La thalidomide par exemple, qui même en quantités infimes produit des malformations congénitales chez l’homme, n’affecte les chiens qu’à fortes doses. De même, il est difficile d’obtenir une mesure précise d’une quantité de toxine à laquelle des gens peuvent être exposés et trop de facteurs favorisent des confusions (tabagisme, autres substances toxiques…) d’autant que les populations exposées tiennent de petits groupes… L’examen approfondi de cas litigieux révèle souvent des perspectives contradictoires plus que des convergences d’opinions. Daniel Sarewitz estime que dans de nombreux cas la science aggrave les controverses plus qu’elle ne les résout, notamment parce que la politique attend des certitudes, quand la science produit surtout de nouvelles questions. La science avance souvent en produisant de nouvelles incertitudes et de nouvelles complexités. On pourrait ajouter aussi qu’elle produit souvent des tendances, plus que nécessairement des certitudes.

En fait, l’un des problèmes de la science est d’introduire ses propres biais. Dans Seeds, Science and Struggle (MIT Press, 2012, non traduit), « la sociologue des sciences Abby Kinchy (@abbykinchy) a constaté que le fait de privilégier les évaluations fondées sur des faits tend à écarter les préoccupations non scientifiques. La controverse sur les cultures génétiquement modifiées est souvent réduite à la seule probabilité d’un dommage évident pour l’environnement ou le corps humain. Pour de nombreux opposants, cependant, les conséquences les plus inquiétantes des cultures OGM sont d’ordre économique, culturel et éthique », et notamment sur les cultures non transgéniques. Pour que le débat reste ancré dans la science, il exclut très souvent ce qui n’en relève pas. Ainsi dans notre réponse scientifique à la pandémie, les considérations médicales se sont faites au détriment de toutes autres considérations, notamment celles liées aux libertés publiques. De même, les débats sur le génie génétique oublient les préoccupations socio-économiques qui vont à l’encontre d’une vision industrielle de l’agriculture. De même, dans le débat sur les voitures sans conducteur, on oublie d’observer si l’avenir de nos déplacements ne bénéficierait pas bien mieux d’un monde de transports en commun…

« La politique scientifique privilégie les dimensions de la vie qui sont facilement quantifiables et rend moins visibles celles qui ne le sont pas ». Les débats scientifiques sont également biaisés quant à la charge de la preuve. Les lobbies d’entreprises exigent que les réglementations les affectant soient prouvées par une science solide, mais cela signifie qu’aucune réglementation stricte ne peut être élaborée tant qu’un préjudice n’est pas démontré de manière concluante – et ce sans compter que les camps n’ont pas toujours le même rapport de force pour élaborer ces preuves. Enfin, les scientifiques peinent souvent à fournir des réponses fermes, notamment face à des phénomènes complexes, comme c’est le cas en médecine ou dans les sciences de l’environnement. Les appels à une science solide finissent par être une tactique dilatoire qui donne un avantage aux produits industriels, et ce malgré leurs risques… Ainsi, « les scientifiques ont appris dans les années 1930 que le bisphénol A, un composant de nombreux plastiques, imitait les œstrogènes dans les cellules des mammifères, mais ce n’est qu’en 1988 que l’Agence américaine de protection de l’environnement a commencé à réglementer l’utilisation du bisphénol A et ce n’est qu’en 2016 que les fabricants ont finalement été contraints de le retirer de leurs produits. » Dans ce cas, pendant des années, les partisans du bisphénol ont fait passer leurs adversaires plus prudents pour des antiscientifiques au prétexte que les faits (c’est-à-dire l’absence de preuve concluante) n’étaient pas établis. Trop souvent finalement « l’absence de preuve est considérée comme une preuve de l’absence ».

Pourtant, chacun semble de plus en plus agir comme si la science pouvait être apolitique, alors qu’actions et discours qui résultent de cette croyance relèvent bien plus du fanatisme que du scientisme. « Dans une culture dominée par le scientisme politique, les citoyens et les responsables politiques oublient comment écouter, débattre et explorer les possibilités de compromis ou de concession les uns avec les autres. Au lieu de cela, nous en venons à croire que nos opposants n’ont qu’à être informés des faits ou vérités « corrects », sévèrement sanctionnés ou simplement ignorés. Il existe sans doute des cas où le fanatisme peut être justifié, mais le scientisme politique risque de transformer tout débat comportant un élément factuel en un débat fanatique. »

Les risques d’une politique factuelle

Dans un long article pour disponible sur The New Atlantis, Taylor Dotson rappelle que pour le philosophe Karl Popper déjà, dans La société ouverte et ses ennemis, la menace à laquelle sont confrontés nos sociétés démocratiques et ouvertes, n’est pas la désinformation ou l’ignorance, mais la certitude. Pour Popper, la connaissance scientifique est par nature provisoire. L’objectivité scientifique ne découle pas tant des qualités cognitives ou de la neutralité des chercheurs, mais de leur engagement critique vis-à-vis de leurs travaux respectifs, dans une forme de dissidence productive. Les ennemis de ce système sont ceux qui insistent d’abord et avant tout sur une certitude parfaite. « La conviction que la désinformation est aujourd’hui la principale menace pour la démocratie nous rend aveugles aux effets pernicieux de la certitude ». Popper promouvait une défense épistémologique de la démocratie, c’est-à-dire l’idée que la démocratie comprend en elle même un ensemble de stratégies pour aider les sociétés à faire face à l’incertitude. Elle met l’accent sur le caractère provisoire des vérités politiques. La politique est le résultat d’un processus de négociation dans lequel les individus se défient les uns les autres, et pas la décision liée à une compréhension supérieure d’une classe d’experts. Popper n’avait pas imaginé que la certitude fanatique descendrait jusqu’aux individus.

Internet permet de choisir son propre chemin de découverte. L’expérience que l’individu y fait lui semble libre, même si les messages, informations et recherches peuvent être sélectionnés par des algorithmes ou présentés de manière partiale. Les médias sociaux promettent une forme de liberté intellectuelle, suggérant que nous pouvons nous débrouiller seuls dans le dédale de l’information. Le scientisme est une théorie simple de l’expertise qui consiste à déléguer les questions spécifiques et techniques aux experts. Le problème, c’est que le scientisme refuse aux non-experts tout rôle dans les réponses spécifiques. Les non-experts se doivent d’écouter la science, comme si les compromis politiques qu’elle produisait n’étaient pas de leur ressort ni problématiques. Depuis que l’expression post-vérité est entrée dans notre vocabulaire, les inquiétudes liées au conspirationnisme ont explosé. Reste que la désinformation et la mésinformation ne s’y réduisent pas. D’abord parce que les conspirations existent et surtout parce que nous sommes en droit d’interroger et critiquer. Bien sûr, le conspirationnisme réduit toutes les questions politiques à des machinations, dans une forme de théorie cynique de l’expertise, où les experts ne servent que les nantis et les puissants.

Conspirationnisme comme scientisme sont tous deux préoccupés par la certitude, estime Taylor Dotson, qui les renvoie dos à dos. Les deux séduisent nos sociétés ouvertes et incertaines en promettant un monde plus simplement ordonné. D’un côté en rejetant les expertises, de l’autre en les adoubant. Pour Dotson, nous devons résister à la tentation de les mettre sur le compte de la personnalité des gens, de leur état mental ou même des médias sociaux. Car les deux tirent leur pouvoir de séduction de la préoccupation de notre culture pour les faits et les données. L’un comme l’autre produit une « politique factuelle », où les citoyens ne débattent plus, ne délibèrent plus, mais consacrent leur énergie à aligner les preuves pour étayer leurs croyances et intérêts. Ils construisent des formes d’intolérance excessives qui sont pour l’un comme l’autre camp, indiscutablement rationnelles et objectives. « Cette politique est pathologiquement pathologisante – c’est-à-dire qu’elle vise à disqualifier les opposants en les diagnostiquant comme pathologiques » Le risque est de transformer tout désaccord en maladie psychique et à en immuniser celui qui fournit le diagnostic. Pire, cela suggère que la seule raison de participer à la politique est d’avoir des opinions fondées sur des preuves. Certes, les preuves et les faits ont une grande importance, mais les valeurs en ont tout autant. Le risque, en masquant nos oppositions sur les valeurs, est de miner nos capacités à délibérer, et finalement à dépolitiser nos désaccords, à leur enlever leur complexité morale et pratique. « Dès lors que nous considérons que la politique est définie uniquement par « les faits », la politique n’existe plus », rappelle Dotson. « La démocratie fonctionne traditionnellement par le biais de la fracturation et de la reformation constantes de coalitions, d’alliances composées de groupes disparates cherchant chacun à transformer leurs propres aspirations en lois. Elle dépend des ennemis précédents qui s’associent et négocient pour conclure des accords, pour atteindre des objectifs communs ». Mais si l’opposition politique n’est considérée que comme le produit de la désinformation ou de l’analphabétisme scientifique, tout compromis devient impossible, irrationnel, puisqu’il consiste à sacrifier la vérité. « Nous nous sommes profondément trompés en croyant que l’ère de la post-vérité pouvait être combattue en redoublant d’efforts en faveur de la science », estime Dotson. Au contraire, le scientisme rend plus difficile l’enjeu à réconcilier des positions antagonistes et qui deviennent méfiantes l’une envers l’autre. La politique factuelle attise le conspirationnisme. « En se retranchant à tout bout de champ derrière le principe « suivre la science », nos dirigeants ont réduit les gens à des vecteurs de propagation de la maladie, à des points de données à contrôler, tout en affichant une attitude indifférente à l’égard de leurs réalités vécues ». Ce « leadership » rend assurément les personnes sceptiques, explique Dotson en se référant à une étude qui s’intéresse à l’impact du leadership sur les croyances conspirationnistes de leurs employés. Les leaderships despotiques – « où les employés se sentent dominés, contrôlés et marginalisés » – nourrissent les craintes. Là où les leaders sont despotiques, les employés sont plus susceptibles de croire que leurs managers sont ligués contre eux. En minimisant le caractère faillible des avis d’experts et la nature provisoire des connaissances, en minimisant le doute, le scientisme alimente le conspirationnisme. Lorsque les erreurs et changements d’avis des experts ne sont pas ouvertement discutés, l’intention malveillante devient souvent la seule explication. La politique factuelle oublie de tenir compte de l’essence même de la politique : à savoir des visions morales différentes, l’évaluation et la recherche de compromis constants. Le scientisme comme le complotisme promettent un monde où la politique serait pure. Tous deux produisent une société fermée aux désaccords politiques.

Pour Dotson, la politique devrait se préoccuper bien plus de connexion que de savoir. Pour l’historienne Sofia Rosenfeld, « ce dont les individus ont besoin, c’est du retour à un type de vie publique qui les oblige à peser et à considérer constamment les choses du point de vue des autres » – or, à tout voir par les données, le risque est de n’embrasser aucun point de vue, comme nous le disaient Lauren Klein et Catherine D’Ignazio. Pour le politiste Benjamin Barber, le discours démocratique fort incorpore « l’écoute aussi bien que la parole, le sentiment aussi bien que la pensée, et l’action aussi bien que la réflexion » Le désaccord est inéluctable. La politique est un processus d’apprentissage qui doit accepter ses incertitudes. « Les experts de la santé n’auraient pas dû décourager aussi vigoureusement le port de masques au début de la pandémie, surtout pas en affirmant avec une confiance aussi mal placée qu’il n’y avait aucune preuve que les masques fonctionnaient. Au lieu de cela, ils auraient dû faire part de leurs préoccupations concernant la pénurie de masques et de leur incertitude quant à l’utilité exacte des masques en dehors d’un hôpital ». Pour Dotson, le déploiement du vaccin restera entravé tant que les experts et les responsables nieront leurs incertitudes les concernant. Les accidents nucléaires du milieu du XXe siècle sont en partie imputables aux faits que les centrales aient été déployées plus rapidement que la reconnaissance de leurs dangers potentiels. Boeing a poussé ses ingénieurs à travailler deux fois plus vite qu’à l’accoutumée pour mettre au point la conception du 737 Max compromettant sa stabilité. L’adoption généralisée de techniques agricoles intensives a généré des problèmes environnementaux imprévus. « La nouveauté, le rythme et l’échelle se combinent pour mettre à l’épreuve la capacité des organisations, même les meilleures, à reconnaître et à corriger les erreurs. »

Dans Dealing with an Angry Public (Free Press, 1996, non traduit), Lawrence Susskind et Patrick Field soulignaient que les colères des publics sont alimentées lorsqu’elles sont minimisées ou sous-estimées. Lorsque les erreurs se produisent – et elles se produisent -, la confiance est bien souvent irrévocablement perdue. « Tant que les experts et les politiques tenteront de forcer le consensus en faisant appel à la science, les préoccupations des citoyens ne feront que croître ». Et Dotson de rappeler, à la suite du livre de l’historienne Nadja Durbach Bodily Matters (2004) que le mouvement de résistance nourri contre la vaccination antivariolique en Angleterre au XIXe et début du XXe siècle a été apaisé en introduisant l’objection de conscience. Pour Dotson, nous devrions apprendre des désaccords et leur laisser de l’espace. Être d’accord est plus la fin de la politique plus que son début, et même ainsi, être d’accord est souvent partiel, provisoire et contingent. Pour lui, en abandonnant l’idée que le consensus doit précéder la politique, nous pouvons promouvoir une gouvernance plus réactive, qui aspire à gagner la confiance progressivement en testant de nouvelles politiques.

Partir de l’expérience des gens pour les amener à considérer les points de vue différents et à créer des liens, fonctionne mieux qu’une approche basée sur les faits ou l’information. Enfin, il souligne qu’il est plus que nécessaire de s’intéresser sérieusement aux expériences de ceux qui hésitent à se faire vacciner. Les Afro-Américains par exemple, sont plus sceptiques à l’égard des vaccins alors qu’ils ont été plus touchés par le virus. Mais leur hésitation est le fruit d’une longue méfiance à l’égard du système médical, lié aux injustices raciales historiques et aux disparités de traitement actuelles, bien plus qu’à leur analphabétisme scientifique ! Le scepticisme vaccinal des personnels de santé s’explique bien plus par le fait qu’ils aient travaillé pendant des mois sans protection efficace et que le système, finalement, ne fait pas de leur bien-être une priorité. « Si notre politique avait été ancrée dans l’appréciation de l’expérience plutôt que dans l’idolâtrie de l’expertise, nous aurions depuis longtemps reconnu que l’hésitation à se faire vacciner n’est pas seulement une question d’ignorance. Nous aurions remarqué les dysfonctionnements plus profonds de notre système médical. »

Enfin, estime Dotson, nous devons ouvrir nos débats à une diversité de considérations morales plutôt que de ne regarder que les modèles épidémiologiques.

Dotson ne semble pas confiant. Remettre l’incertitude, l’expérience et le désaccord moral en politique nécessite un long chemin. Nos dirigeants préfèrent maintenir le cap d’une politique factuelle. Pour résoudre ces difficultés, Helene Landmore propose de transférer davantage de gouvernance à des conseils délibératifs… comme l’a été, en France, la convention citoyenne pour le climat. Encore faut-il entendre ce que ces conventions disent ! Pour Dotson, nous devons trouver la voie d’une démocratie qui cherche moins à avoir raison et qui recherche un peu plus la délibération et l’interconnexion.

Pas sûr que nous en prenions le chemin. Dans un monde où la donnée devient centrale, celle-ci risque de produire beaucoup d’illusion du consensus que d’antagonismes et de diversité.

Hubert Guillaud

Et si nous réparions l’internet plutôt que les géants de la tech, explique le toujours pertinent Cory Doctorow (@doctorow) dans un édito pour la revue Communications de l’ACM (@cacmmag).

Plutôt que de chercher à réparer FB en le forçant à lutter contre la désinformation ou Google en l’obligeant à filtrer les contenus qui contreviennent au droit d’auteur – sans qu’il soit certain que ces approches portent leurs fruits, puisqu’il reste difficile de faire la distinction entre la parodie, le commentaire et leurs formes problématiques ou illicites – peut-être est-il temps d’opter pour une autre approche ? Et Doctorow de proposer de déporter notre regard pour mieux embrasser le problème. Pour lui, nous avons plutôt un problème de concurrence qu’autre chose. Les monopoles du « cartel des Big Tech », comme il les appelle, ne se résoudront pas en les contraignant à réparer leurs effets toxiques (au risque de leur donner toujours plus de pouvoir), mais en regardant ce qui cause et permet leur puissance. Pour Doctorow, c’est l’internet qu’il faut donc réparer. Pour combattre la concentration et la monopolisation des géants, c’est leurs silos qu’il faut abattre. Et pour cela, le régulateur dispose d’une arme assez simple et efficace et qui a déjà fait ses preuves : l’interopérabilité !

L’interopérabilité, rappelle Doctorow, c’est la capacité des produits et services à travailler ensembles depuis des normes, standards et pratiques communes. L’interopérabilité permet à de nouveaux entrants sur un marché de profiter des avantages de « l’effet réseau » déjà établi pour l’utiliser à leur propre avantage. Doctorow rappelle d’ailleurs l’histoire d’AT&T. Jusque dans les années 70, l’opérateur historique américain détenait un impressionnant monopole sur les télécommunications américaines. Outre son monopole sur le réseau, ses abonnées devaient non seulement payer l’abonnement et la connexion, mais également la location de téléphones AT&T : l’entreprise leur interdisant l’achat ou l’utilisation de téléphones d’autres marques ! Non seulement l’entreprise finira par être scindée en différentes entités, mais surtout, elle sera poussée par le régulateur à l’interopérabilité. Ses concurrents ont pu accéder à ses réseaux et ses clients ont été libérés de la contrainte de la location monopolitistique que l’entreprise imposait.

Pour Doctorow, dans la bataille actuelle à l’encontre du cartel des Big Tech, le régulateur oublie trop souvent la valeur de l’interopérabilité.

Il en propose d’ailleurs une intéressante taxonomie.

La forme la plus courante de l’interopérabilité est une interopérabilité indifférente, c’est-à-dire quand un système ne prend aucune mesure pour faciliter ou bloquer l’interopérabilité. Une entreprise fait un produit. Une autre fait un produit qui fonctionne avec le précédent, sans lui en parler et la première laisse faire. C’est le cas par exemple de l’allume-cigare des voitures, né dans les années 20, que les constructeurs d’automobiles ont fini par monter en série pour répondre à son succès. La normalisation de ce port électrique s’est faite sans entrave, tant et si bien que cette prise permet désormais de brancher tout et n’importe quoi. C’est le cas également de la prise Jack par exemple que l’on trouve sur nombre d’appareils et qui permet d’y brancher n’importe quel casque ou écouteurs.

La seconde forme est l’interopérabilité coopérative, qui repose principalement sur la normalisation et la standardisation. Ainsi un fournisseur de téléphone mobile ou un constructeur automobile qui installe une puce Bluetooth permet à n’importe quel appareil de s’y connecter. Ici, l’enjeu est de permettre l’ajout de fonctionnalités normées ou standardisées accessibles à tous… à l’image d’API ouvertes qui permettent de récupérer des données ou des fonctionnalités pour les réutiliser. C’est là le fonctionnement assez traditionnel de l’industrie qui consiste à bâtir des normes communes afin qu’elles profitent à tous.

La limite ici, c’est qu’avec le numérique, on peut ajouter des programmes informatiques ou des conditions pour discriminer accessoires ou services normalisés. Ces programmes informatiques peuvent être avantageux pour l’utilisateur : ils peuvent par exemple vous avertir quand vous connectez un appareil Bluetooth qui a des défauts de sécurité ou qui figure sur une liste noire d’appareils malveillants qui siphonnent vos données. Mais ils peuvent également être riches d’inconvénients pour les utilisateurs : ces programmes peuvent être ajustés pour empêcher de connecter des écouteurs ou le clavier d’une marque concurrente par exemple. Les appareils et services connectés peuvent ajuster le degré d’interopérabilité de leurs interfaces numériques d’un moment à l’autre, sans préavis ni appel, ce qui signifie que le plug-in d’un navigateur peut d’un coup cesser de fonctionner du jour au lendemain parce qu’un accès a été coupé. Cette forme d’interopérabilité est donc limitée à la volonté changeante des entreprises, à leurs politiques… Normes, standards et API peuvent donc rendre le dialogue entre les systèmes plus simples… comme plus compliqués.

La troisième forme qu’évoque Doctorow est l’interopérabilité adversariale (on parle aussi d’interopérabilité contradictoire, antagoniste ou de « comptabilité compétitive »). Ici, Doctorow évoque des produits qui se connectent à un objet ou service en lui étant « hostile ». C’est le cas par exemple d’applications pour téléphones non autorisées ou plus encore de cartouches d’encre ou de capsules à café compatibles avec celles qu’imposent les marques et formats propriétaires. Bien évidemment, là encore, le numérique permet d’introduire des contre-mesures de contrôle pour tenter de pallier ces formes d’interopérabilité forcée !

Ces trois formes d’interopérabilité, explique Doctorow, reposent sur des moyens permettant d’étendre ou limiter les fonctionnalités. Ce qui les différencie, bien sûr, c’est la façon dont ils prennent en compte les priorités des utilisateurs. Fort heureusement, rappelle Doctorow, l’interopérabilité l’emporte souvent, notamment parce que c’est « l’état par défaut du monde ». « Le fabricant de chaussettes n’a pas le droit de spécifier les chaussures que vous devez porter avec elles, pas plus que la laiterie ne peut dicter sur quelles céréales vous pouvez verser son lait ».

Pour que des marchés réellement concurrentiels, innovants et dynamiques se mettent en place, l’interopérabilité ne suffit pas. Il est nécessaire de pouvoir mettre en place une interopérabilité contradictoire, c’est-à-dire une interopérabilité qui se « branche » sur des services ou produits existants « sans autorisation » des entreprises qui les fabriquent. À l’heure où l’interopérabilité s’est considérablement refermée avec le développement des brevets logiciels ou des outils de gestion des droits numériques, il faut souvent montrer patte blanche pour interconnecter ses systèmes à d’autres. Favoriser l’interopérabilité contradictoire est une partie de la solution à la concentration, estime Doctorow. Le problème est que le numérique rend l’interopérabilité contradictoire toujours plus difficile, notamment parce que l’une de ses caractéristiques est justement de pouvoir créer et démultiplier des fonctions et modalités de contrôle aux accès. Les règles se démultiplient et si vous ne les respectez pas, vos accès sont fermés. L’interopérabilité est d’autant plus mise à mal que l’incompatibilité s’étend. La fermeture favorise la domination de quelques-uns sur tous les autres.

L’interopérabilité reste pourtant un levier simple et fort pour renforcer la concurrence. Le problème est que comme elle est de plus en plus rendue compliquée, elle devient une finalité. Pour Doctorow, permettre aux utilisateurs de transférer leurs données, d’un service à l’autre, d’une entreprise à une autre devrait être un point de départ, pas une finalité. Le risque, estime-t-il, est que « l’interopérabilité soit le plafond de l’innovation plus que son plancher ».

Pour Doctorow, l’interopérabilité n’est pas le seul levier. L’Electronic Frontier Foundation (@eff), l’association de protection des libertés numérique – dont Doctorow est l’un des piliers – défend ainsi un Access Act, un projet de loi antitrust en plusieurs mesures qui vise à promulguer des lois pour : interdire l’autoréférencement (et faire passer ses produits avant ceux de ses rivaux) ; bloquer les acquisitions anticoncurrentielles ; bloquer les « jardins clos » ; à imposer l’interopérabilité en forçant les grandes entreprises à proposer des API pour permettre aux utilisateurs d’aller sur un service concurrent tout en continuant à pouvoir discuter avec ceux qui ne font pas le même choix ; et à mieux financer l’organisme régulateur américain pour s’assurer d’un meilleur contrôle. Comme l’explique l’article, il manque encore un « droit d’action privé », permettant au public de poursuivre une entreprise qui ne respecte pas ces mesures (équivalent à l’article 82.1 du RGPD, qui permet aux utilisateurs qui subissent un dommage matériel ou moral d’obtenir réparation). Le cartel des Big Tech doit avoir plus de limites légales sur l’utilisation et le traitement des données des utilisateurs, et ce en renforçant la protection de la vie privée et les droits des utilisateurs.

Mettre fin aux monopoles plutôt que les améliorer

« Bien mieux que d’essayer de transformer les monopoles massifs et peu fiables en « bons monopoles », il faut mettre fin aux monopoles et créer un monde en ligne fédéré où les utilisateurs peuvent choisir les normes d’expression qui leur conviennent et se connecter aux utilisateurs d’autres services », explique Doctorow. Plutôt que pousser les entreprises monopolistiques au filtrage et à la surveillance des contenus des utilisateurs, il serait plus efficace de les pousser à l’interopérabilité et à la portabilité.

Le problème est que nous prenons le problème à l’envers, estime Doctorow. « Au lieu de faire de Google, Facebook, Amazon, Apple et Microsoft les maîtres permanents de l’internet et de s’efforcer de les rendre aussi inoffensifs que possible, nous pouvons réparer l’internet en faisant en sorte que les grandes entreprises technologiques jouent un rôle moins central dans son avenir. ». En imposant le filtrage et la surveillance des contenus plutôt que l’interopérabilité, nous promouvons un internet hostile aux nouveaux entrants (qui ne peuvent se mettre en conformité avec les règles édictées, tant la marche technique et financière est haute) et nous minons l’autodétermination technologique des utilisateurs en faisant que les violations des conditions de services ou que la neutralisation des mesures techniques de protection (MTP ou DRM) soient transformées en infractions civiles ou pénales. Certes, reconnait Doctorow, il est probable que les gens fassent des choses mal avisées en connectant des outils à leurs comptes FB, Google ou Apple, comme cela peut arriver quand ils branchent n’importe quoi à leur prise d’allume-cigare. Mais nous les empêchons aussi de prendre soin d’eux ! C’est par exemple ce que raconte le développeur Louis Barclay @louisbarclay, blog), le fondateur de Nudge.io dans un article pour Slate. Non seulement Facebook s’en prend aux chercheurs en coupant leurs accès (comme cela a été le cas cet été à l’encontre de chercheurs de la New York University), mais il s’en prend également aux outils qui tentent de donner aux utilisateurs un plus grand contrôle sur leurs données et leur expérience. Barclay y raconte comment FB l’a menacé d’une action en justice et a désactivé définitivement tous ses comptes. Sa faute, avoir créé un outil pour rendre FB moins addictif. Cet outil était une extension pour navigateur permettant aux utilisateurs de supprimer leur fil d’actualité quand ils se rendent sur FB. À la place, ils accédaient à une page vide. Pour Barclay, c’était là un moyen de lutter contre la toxicité attentionnelle de la plateforme. Pour obtenir de l’information depuis ce plug-in, il faut se rendre sur les pages ou profils de ses amis directement, permettant d’acquérir un contrôle inédit sur les contenus disponibles (et surtout de mieux maîtriser le temps qu’on y passe). On peut supprimer manuellement les contenus de son fil en allant dans les paramètres, rappelle Barclay, mais c’est long et fastidieux. Il a juste proposé un outil pour automatiser le processus via un plug-in disponible sur le Chrome Store. Face aux menaces, Barclay a cédé : il n’a pas les moyens d’affronter le géant ! Il n’est pas le seul à subir les foudres du géant. L’été dernier FB s’en est pris à Friendly, un outil permettant aux utilisateurs de basculer entre plusieurs comptes de médias sociaux… Pour Barclay, « le comportement de FB n’est pas seulement anti-concurrentiel, il est aussi anti-consommateur ». « On nous enferme dans des plateformes (…) puis on nous empêche de faire des choix légitimes sur la façon dont nous pouvons les utiliser ».

L’essor des plateformes monopolistiques a concentré leurs pouvoirs. Leurs trésoreries illimitées leur permettent de mener un intense lobbying pour miner toute compatibilité et interopérabilité, alors que nous avons là un outil assez simple et disponible. Pour l’instant, les autorités et les États tentent de se servir des pouvoirs des plateformes pour assurer leurs propres missions. Pas sûr que cela fonctionne longtemps. Doctow rappelle qu’AT&T avait failli être démantelée dès 1956, mais que le Pentagone s’y était opposé en utilisant AT&T pour qu’elle rende des services à l’État plutôt que d’utiliser le pouvoir de l’État pour l’affaiblir. Les restrictions imposées à l’entreprise n’avaient cessé d’être bafouées… Et au final, l’État américain, 26 ans plus tard, avait été contraint de jeter l’éponge et de démanteler l’ogre du fait des protestations des entreprises et des utilisateurs. Un rappel historique qui devrait faire réfléchir en tout cas, conclut Doctorow en soulignant que les entreprises ne sont pas des gouvernements et qu’elles n’ont pas à nous gouverner !

Pour Doctorow, finalement, la tentation aujourd’hui est forte de punir les grandes entreprises en leur accordant une position encore plus dominante et permanente qu’elle n’est ! À l’heure où les problèmes qu’elles génèrent se multiplient, la tendance est forte de leur demander d’être plus répressives encore et donc d’accélérer leurs incompatibilités entre elles ! Pire : de refermer des marchés. Le filtre de YouTube, Content ID, dont le coût de développement est estimé à 100 millions de dollars est inaccessible à tout nouvel acteur qui voudrait se lancer dans la vidéo en ligne et qui serait contraint d’avoir des outils de modération équivalents. Pour Doctorow, ce filtrage coûteux devrait être une responsabilité d’État, mais comme il est le fait d’entreprises privées, il rend bien plus difficile l’émergence d’une quelconque concurrence.

Alors qu’ils doivent tous leur existence à l’interopérabilité, ironise Doctorow, le cartel des Big Tech est désormais déterminé à empêcher tous nouveaux venus de leur faire ce qu’ils ont eux-mêmes fait aux autres ! Le problème, c’est qu’elles ont truqué le système pour qu’il soit douloureux pour vous d’aller ailleurs. Alors que l’interopérabilité réduit le coût à changer, l’absence d’interopérabilité tient durablement l’usager en otage ! Pour Doctorow, l’interopérabilité est assurément l’outil dont nous avons besoin. Mais nous ne devons pas seulement ouvrir aux utilisateurs leurs possibilités, il faut aussi permettre aux plateformes de se connecter entre elles au profit des utilisateurs et pas seulement au profit de leurs seuls modèles d’affaires.

Hubert Guillaud

« Apprendre à vivre avec le virus » est un message peu rassurant qui nous demande d’apprendre à vivre avec l’incertitude, explique Lauren Collee (@lacollee) dans l’indispensable Real Life (@_reallifemag). « Ce message est aussi effrayant pour les organismes que pour le grand public, car l’incertitude est fondamentalement en contradiction avec le type de rationalisme empirique qui génère des récits rassurants sur la fermeture », c’est-à-dire sur la fin possible de la pandémie. Or, après 2 années de pandémie, le soulagement d’une fin de pandémie ne semble toujours pas à l’horizon.

En psychanalyse, Arie Kruglanski, dans les années 90 a imaginé le concept de « besoin de closure cognitive », c’est-à-dire le besoin de mettre fin à quelque chose pour en évacuer l’incertitude, l’inconfort ou l’ambiguïté. Pour la sociologue Nancy Berns (@nancy_berns), qui a étudié La fin du deuil et ce qu’il nous coûte (Temple University Press, 2011, non traduit), la fermeture est souvent considérée comme essentielle à la guérison ou à l’acceptation. Nous n’avons cessé de nous accrocher à un espoir que le moment Covid s’arrête, que le monde revienne à la normale, comme le fait une tempête. Mais, ni le Covid à court ou moyen terme, ni le réchauffement climatique à long terme n’annoncent de retour à la normale.

Pour la spécialiste de bioéthique, Catherine Belling (@CateBelling), auteure de La condition du doute : le sens de l’hypocondrie (Oxford University Press, 2012, non traduit), nous devrions plutôt prendre mieux en compte l’hypocondrie, c’est-à-dire, derrière notre inquiétude obsessionnelle à la santé, revoir le schéma trop simple qui nous mène d’un symptôme à une guérison. Pour elle, l’hypocondrie n’est pas tant un trouble psychique, que quelque chose d’inhérent à la médecine contemporaine où la connaissance est nécessairement confrontée à son propre doute. Elle n’est pas qu’une façon de se croire malade, mais un terrain d’anxiétés sociétales partagées lié à un système médical qui se pense plus omniscient qu’il n’est ! L’hypocondriaque est le reflet sombre de la biomédecine, explique-t-elle. Il pose la question de ce que l’on sait et de ce que l’on ne sait pas. Nous avons tous eu l’impression depuis le début de l’épidémie d’avoir plusieurs fois eu les symptômes du Covid. Nous sommes nombreux à être inquiets dès que quelqu’un tousse ou expectore à nos côtés ! Pourtant, l’hypocondriaque est bien le contraire du malade chronique : il ne cesse de chercher obsessionnellement une fin à ses symptômes, quand le malade chronique sait lui combien le mot guérison est un piège. Et pourtant, l’hypocondriaque ne parvient pas à fermer la page, à clore son rapport à ses angoisses médicales. Pour Belling, l’hypocondrie est finalement la condition d’un être humain rationnel dans une société médicalisée aux connaissances par nature instables. Pour l’hypocondriaque, le diagnostic du médecin est lu en relation avec nombre d’autres informations. La fermeture du diagnostic semble alors plus difficile à accepter. Comme si plus d’informations ne conduisaient jamais à plus de certitudes. Ici, l’internet n’a pas changé la donne, au contraire, comme nous le pointions nous-mêmes. Même si nous percevons l’information comme un narrateur omniscient, nous sommes surpris de constater qu’il ne peut pas toujours répondre à nos questions, comme le pointait très bien Linda Besner dans un précédent article de Real Life sur ce que nous ne pouvons pas googliser et les réponses que ne nous apportent pas l’information. Pour Belling, les récits de santé publique s’appuient souvent sur des conventions narratives assez linéaires. À l’heure où les vaccins montrent qu’ils ne sont pas la solution miracle attendue et que rien ne nous garantit d’une « fin » du Covid, on comprend que les récits simplistes et solutionnistes des autorités politiques ou scientifiques soient brouillés par des actualités qui montrent justement que cette lecture est trop simpliste et que l’avenir est plus complexe et incertain. Pour Belling la stratégie des autorités à utiliser la peur comme outil de communication finit souvent par produire une anxiété moins cohérente, qui résiste à toute réassurance. Pour Belling, le doute et l’incertitude font partie intégrante de la médecine qui ne doit pas chercher à la nier. L’hypocondrie ne vise pas tant à saper l’expertise médicale finalement, mais l’invite à adopter des modes plus auto-réflexifs et finalement plus complexes. L’idée d’avoir à vivre avec le virus nous renvoie à une cohabitation qui va continuer à façonner nos vies et nos décisions d’une manière plus incertaine que nous ne le voudrions. Accepter ces incertitudes devrait être essentiel pour construire des systèmes médicaux plus humains, plus justes, plus durables… et finalement moins coercitifs et injonctifs. Pour autant, l’espoir de fermeture demeure fort. Il explique peut-être pourquoi nous nous accrochons à des solutions imparfaites en termes de mesures de santé publique, comme ont pu l’être les confinements ou comme peut l’être le passe sanitaire.

Aimee Walleston (@AimeeWalleston) propose un constat assez proche dans un autre article pour Real Life. Le refus vaccinal doit lui aussi s’entendre dans le contexte d’une médicalisation toujours plus étendue de la société. La promesse vaccinale qui se dessinait dès l’hiver 2020 a apporté l’espoir d’un retour à la normale. Mais les variants et la difficulté à atteindre une efficacité vaccinale optimale ont rapidement douché les espoirs. Les vaccins se sont avérés protecteurs notamment contre les formes graves de la maladie. Mais tout comme les masques ou les tests, les vaccins sont également devenus un point de division de la société. Pourquoi ce vaccin a-t-il été considéré par tant de personnes comme suspicieux (contrairement aux autres obligations vaccinales, dont le rejet est finalement très marginal) ou comme une atteinte à la liberté individuelle ? À l’inverse, pourquoi ce vaccin a-t-il été promu comme LE moyen de mettre fin à la pandémie ? Ces deux réactions sont opposées, mais s’inscrivent l’une comme l’autre dans la même histoire de médicalisation de la société et la croyance que nombre de nos problèmes de santé peuvent être résolus par une intervention médicale individuelle.

La distanciation sociale, le port du masque, la fiabilité des tests, comme la vaccination… ont tous reçu le même accueil. D’un côté, ils étaient la nouvelle liturgie des uns, de l’autre ils étaient la nouvelle profanation des libertés fondamentales des autres. Les uns considérant les autres comme paranoïaques, égoïstes, soumis à un lavage de cerveau et totalement déconnectés de la réalité… et inversement. Le scepticisme comme la foi en l’autorité de l’expertise médicale étaient pour les uns comme pour les autres considérés comme de l’ignorance ou de l’aveuglement.

Les informations sont toujours restées confuses, comme elles l’ont longtemps été sur le port du masque ou comme elles le demeurent encore un peu sur ses modalités concrètes d’utilisation. Les désaccords scientifiques ont été nombreux (par exemple sur le mode de transmission). Les incohérences nourries. Les critiques à l’encontre de la médicalisation de nos sociétés et du régime de vérité imposé par la santé remontent aux années 60, armées par des sociologues, des philosophes et des psychiatres comme Irving Zola, Ivan Illich, Peter Conrad ou Thomas Szasz. Ces critiques ne disent pas que la médecine a souvent tort, mais pointent surtout combien la santé personnelle a cherché à imposer des formes de conformité sociale, comme l’explique Tiago Correia (@correia_tiag) dans un article « Revisiter la médicalisation : une critique des postulats de ce qui compte dans la connaissance médicale ». La médicalisation évoque d’abord l’influence et le rôle de la réglementation médicale dans la vie quotidienne qui a remplacé les institutions de contrôle social précédentes, notamment l’Église et l’État, notamment dans la gestion de la déviance. La maladie a pris la suite du péché et du crime dans la condamnation des comportements non conformes. Ces changements de perspectives n’ont pas eu que des effets délétères, bien sûr. La médicalisation a certainement largement participé à l’amélioration des conditions de vie sur terre. Elle a élargi ses impacts : certains comportements ne relevaient plus d’une défaillance morale personnelle ou d’un crime, mais d’une maladie, comme l’a montré la montée de la prise en compte des addictions. Mais la médicalisation a également étendu son regard sur des états qui ne relevaient ni du crime ni de la morale, recouvrant un éventail toujours plus large d’expériences. C’est un peu comme si tous nos comportements étaient désormais devenus médicaux, comme si les frontières entre les questions médicales et les autres questions s’étaient estompées. La société semble avoir pathologisé les problèmes quotidiens. C’est ce que dénonçait notamment Illich dans son livre, Némésis médicale : l’expropriation de la santé (Le Seuil, 1975), expliquant que la règle médicale s’imposait partout. « La maladie est présumée jusqu’à ce que la santé soit prouvée, tout le système juridique prétend présumer l’innocence », explique Walleston. Pour Illich, le médecin est efficace quand il diagnostique, mais, s’il ne présume pas que le patient est atteint d’une maladie, c’est néanmoins ce qu’il recherche. Il diagnostique donc la maladie plutôt que la santé. Pour Illich, nous sommes désormais dans une société qui transforme les gens en patients où les professionnels de santé exercent une autorité qui va au-delà de la salle de soins, comme l’a montré plus que jamais la pandémie. Pour Illich, nous sommes entrés dans un « impérialisme du diagnostic » qui permet aux « bureaucrates médicaux » de « subdiviser les gens entre ceux qui peuvent conduire une voiture, ceux qui peuvent s’absenter du travail, ceux qui doivent être enfermés, ceux qui peuvent devenir soldats, ceux qui peuvent franchir les frontières, cuisiner, pratiquer la prostitution… ceux qui ne peuvent pas se présenter aux élections (…) ».

Même si cela ne suffit pas pour rejeter les mesures de santé publique, l’idée permet de considérer le refus de la souveraineté médicale non pas tant comme un acte d’ignorance volontaire, mais comme une forme de lutte politique contre ce qui est perçu comme un excès de bureaucratie ou de décision du système médical comme des autorités. Si la médecine a tout pouvoir, la seule façon de s’y soustraire est de la refuser. Dans La médecine comme institution du contrôle social (1972), le sociologue Irving Zola affirme que le discours médical « écarte, voire incorpore, les institutions plus traditionnelles que sont la religion ou l’État. Il devient le nouveau dépositaire de la vérité, le lieu où les jugements absolus et souvent définitifs sont portés par des experts supposés moralement neutres et objectifs », contrairement au clergé ou aux représentants de la loi. Les jugements portés au nom de la santé semblent toujours incontestables (qui voudrait être en mauvaise santé ?), pourtant elle reste un concept politique comme un autre. La santé est ouverte au débat, complexe, multidimensionnel et évolutif, selon par exemple l’importance accordée aux objectifs individuels ou collectifs ou ce qu’on mesure comme relevant de la santé ou n’en relevant pas. « Tout comme il existe de nombreuses façons d’être désavantagés dans la société américaine, il existe de nombreuses façons de définir ce que le terme d’incapacité (ou de maladie ou de handicape) recouvre ». La crise des opioïdes est l’exemple classique de ce qu’Illich qualifiait d’iatrogenèse, par lequel l’intervention médicale accroit la maladie et ses maux sociaux.

Le Covid est bien une crise de santé publique, estime Walleston qu’on peut atténuer par les gestes barrières ou les vaccins. Reste que le scepticisme n’est pas qu’une question de désinformation, il est aussi l’expression de ce que la médicalisation de la société et l’individualisme produisent. Comme l’ont rappelé Caroline Buckee, Abdisalan Noor et Lisa Sattenspiel dans un article pour Nature, les forces centrales qui façonnent les variations locales et mondiales de la charge et de la dynamique de la maladie sont sociales, plus que biologiques. Si d’importantes questions biologiques restent sans réponses, les multiples vagues d’infections qui ont eu lieu ont aussi été favorisées par des politiques de contrôle changeantes et hétérogènes et notamment sur l’impact disproportionné que la maladie a eu sur les communautés les plus pauvres et éloignées des soins. « La perspective d’une réponse médicalisée a négligé de tenir compte de la manière dont les normes communautaires ont un impact sur la santé globale de la société – et ce d’autant plus que dans son cadre limité de diagnostics individuels, elle ne donne pas la priorité à la santé « sociale ». » La médecine est elle aussi sous l’emprise des impératifs du capitalisme et des exigences du consumérisme, comme l’a montré la crise des opioïdes et la réponse à la pandémie ne s’est pas extraite de ce contexte-ci.

Ces dernières années, l’expansion du médical dans nos vies a produit une contre-réaction importante, faite de discours alternatifs entre médecine alternative et promotion du bien-être. Le soin personnel (self-care ou auto-soin) est un concept qui a été proposé par la théoricienne des soins infirmiers Dorothea Orem pour décrire la responsabilité d’un individu dans la gestion et le maintien de sa propre santé. Pour elle, un patient ne doit pas être trop dépendant de l’assistance médicale. C’est à lui d’abord de prendre soin de lui, la médecine prenant le relais quand cela ne suffit plus. Le capitalisme a depuis avalé le concept en faisant à la fois de la santé un produit à consommer et du soin personnel une alternative à la médecine.

Enfin, explique Walleston, la question de la santé et notamment de l’assurance maladie, aux États-Unis, est largement liée à l’emploi. La santé est liée à la viabilité économique d’une personne, « comme si le maintien du bien-être était une question de maintien de la productivité du travailleur ». La santé, la sécurité ou le bonheur sont de plus en plus souvent présentés comme quelque chose qui peut être consommé de manière individuelle. Et c’est là un héritage du cadre médicalisé dans lequel nous vivons et qui a façonné la logique des réponses à la pandémie, tant de l’État, que du système de soin, que des individus. Le vaccin est devenu un combat entre factions en guerre : « un groupe veut une sécurité parfaite grâce au médical, l’autre veut une liberté parfaite grâce au refus. Mais prendre ou ne pas prendre le vaccin ne peut apporter ni l’un ni l’autre. »

Bien sûr, souligne Walleston, ces constats n’apportent aucun argument au refus vaccinal. Choisir d’être vacciné pour répondre à une crise de santé publique est la meilleure approche et la plus universellement bénéfique que nous ayons en ce moment. Reste que les controverses sur l’obligation vaccinale ne devraient pas nous servir à haïr les autres, mais à nous poser la question de la santé que nous voulons. Et celle-ci ne peut assurément pas reposer uniquement sur les ordres qu’on nous donne. Surtout quand ceux-ci finalement ne perçoivent de leurs objectifs que la seule santé au détriment de tous les autres droits. C’est un peu comme cette rengaine que la sécurité serait la première des libertés. Nos droits sont un équilibre. Les ordres de la médecine ne suffisent pas à faire société, au contraire, à mesure qu’ils se démultiplient, ils en interrogent plus que jamais le sens !

Hubert Guillaud

Le petit livre des historiens Gil Bartholeyns (@bartholeyns) et Manuel Charpy, L’étrange et folle aventure du grille-pain, de la machine à coudre et des gens qui s’en servent (Premier Parallèle, 2021) est un petit essai accessible et ludique qui tisse à grands traits la complexité de notre rapport aux machines qui ont envahi notre quotidien.

Nous possédons en moyenne quelque 70 appareils électromécaniques et électroniques dans nos intérieurs (120 si nous habitons dans une maison avec jardin, du fait de l’ajout des objets de bricolage et de jardinage)… Des appareils qui nous semblent à la fois simples et complexes, comme l’a rappelé le Toaster Project (Princeton Architectural Press, 2012, non traduit) du designer Thomas Thwaites (@thomas_thwaites) qui avait tenté de se lancer dans la fabrication de A à Z d’un grille-pain. Une aventure toute en déconvenue, puisque malgré la simplicité du projet, le fait de le construire sans avoir recours à des composants industriels, souligna surtout combien l’entreprise se révélait impossible. Avec son projet de grille-pain, Thwaites montrait surtout combien nous sommes devenus extrêmement dépendants de la mondialisation et de l’industrialisation. Le monde des appareils qui composent notre quotidien n’est plus à notre portée.

En nous replongeant dans l’histoire des objets qui assurent notre confort moderne, les deux historiens élargissent ce constat, comme si depuis qu’ils sont parmi nous, nos appareils domestiques nous avaient plus domestiqués que nous ne les avons maîtrisés. D’ailleurs, nous n’avons jamais cessé d’apprendre à nous en servir, expliquent-ils, en rappelant les innombrables formes qu’ont pris ces apprentissages : démonstrations, expositions, porte-à-porte, manuels d’utilisation, réunions à domiciles, placement de produits… qui aujourd’hui sont prolongés par le téléachat, les publicités déguisées et tutoriels vidéos… Nous ne cessons de courir après leur maîtrise, sans jamais y parvenir vraiment, d’autant plus que leurs fonctionnalités et interdépendances croissantes semblent participer sans cesse à nous en éloigner.

Il faut dire que ces objets eux-mêmes s’inscrivent dans des généalogies complexes, de techniques, d’imaginaires, d’habitudes et de gestes, dans des parcours sinueux d’évolutions esthétiques et fonctionnelles. Les premières ampoules avaient la forme de bougies comme les lampes LED d’aujourd’hui imitent les ampoules à incandescence d’hier. Les nouveautés techniques s’habillent souvent d’esthétiques anciennes, les technostalgies se recouvrent d’une couche l’autre, jusqu’à se dissimuler sous de nouvelles carrosseries, qui semblent toujours chercher à réaffirmer leur modernité. Pourtant, semblent rappeler les deux historiens, la plupart de nos appareils domestiques ont des origines plus anciennes que nous le pensons. Les premiers manuels d’utilisation naissent au XVIIIe siècle, en précisant bien souvent les façons de réparer et notamment comment faire forger ou tailler certaines pièces pour pouvoir les reproduire localement. Ils se développent massivement dès les années 1860 avec l’explosion de la vente par correspondance. Le réveil matin naît à la fin des années 1840… Les W-C également, même s’il faut attendre le début du XXe siècle pour qu’ils se généralisent en ville, d’abord sur un mode collectif, sur le palier. Le quotidien se mécanise tôt, dès les années 1830-1840 (douches chauffantes, fourneaux à gaz…)… Une première domotique naît avec le XIXe siècle qui ne va cesser de se sophistiquer et dont l’usage ne va cesser de s’étendre. Notre rapport aux objets techniques semble toujours devoir être analysé sous les épaisseurs culturelles qui les recouvrent.

C’est suite à la crise des années 30 que s’imagine l’obsolescence planifiée, comme moyen de sortir de la dépression. Prescience ? Peut-être ? Peu à peu, des formes de concurrences symboliques se mettent en place, comme quand General Motors, à l’inverse de Ford, décide de changer ses modèles de voitures pour inciter au renouvellement. Peu à peu, l’interopérabilité entre machines est délibérément compromise. L’évolution des normes et standards incite également au renouvellement. « La qualité est devenue une variable de la production ». La durabilité des produits électriques et électroniques n’a cessé de se réduire et l’interdépendance technique a accentué le phénomène. Peu à peu, l’artisanat de la réparation se réduit. Mais c’est vraiment à partir des années 1990 que la délocalisation achève la réparabilité : désormais, remplacer un produit est moins cher que le réparer. Si aujourd’hui, la réparabilité semble reprendre des lettres de noblesse, en permettant de récupérer du pouvoir sur le monde, elle semble surtout chercher à produire un peu de sens sur un monde qui nous semble irrémédiablement cassé.

Chaque adoption d’un objet technique modifie la vie quotidienne. La montre modifie le rapport au temps, la bicyclette à l’espace, les lampes à la vie nocturne, les lunettes à notre manière de voir le monde… Mais si les objets semblent vouloir imposer partout leurs techniques, les appropriations sont souvent culturellement différenciées dans l’espace et le temps. Toutes relèvent de « techniques créoles », comme disait l’historien David Edgerton, mélange d’appropriations locales et mondiales. « Adopter une technique ne revient pas à en assimiler les usages ou la culture », mais passent par des formes complexes d’acclimatations, d’adaptations, de transformations qui ne se résument pas au grand récit de la diffusion des modes de vie occidentaux, soutiennent les deux historiens.

Parce qu’elles nous modifient à leur contact, les machines convoquent les corps comme le social. Leur adoption progressive passe par des entremetteurs, à l’image des domestiques qui bien souvent manoeuvrent les premières machines avant qu’elles ne servent, dès la fin du XIXe siècle, à commander des livreurs ou des artisans quand le personnel de maison s’efface des intérieurs. Les appareils tracent des frontières sociales dans leurs utilisations. Longtemps, les nouveaux appareils discriminent, car ils sont souvent réservés aux professions supérieures… C’est surtout après les années 90, que les objets cessent d’être distinctifs, quand ils sont produits à une telle échelle qu’ils en deviennent accessibles à tous. Aujourd’hui, les plus riches possèdent autant d’appareils que les plus pauvres. La distinction reste esthétique, de qualité ou de prix. Quant aux refus des technologies, elle n’est pas tant une résistance à la nouveauté bien souvent qu’une forme de distinction là encore.

Les robots ménagers sont souvent présentés comme vecteurs d’émancipation qu’ils n’ont pas vraiment été. Les esclaves mécaniques se substituent surtout aux domestiques. Mais trier le linge, lancer une machine ou repasser demeure toujours le travail des femmes – et dans les foyers les plus aisés, celui des femmes de ménage. Le temps libéré par cette mécanisation du quotidien impose surtout de nouvelles astreintes : celles de devoir s’occuper des machines, qui attachent plus les femmes au foyer qu’elles ne les libèrent.

Les machines tiennent finalement de techniques du corps. Le premier objet technique demeure notre corps, disait Marcel Mauss. Nager ou dormir sont des techniques que les machines accompagnent, comme le font les éclairages ou les réveils. L’objet technique vise souvent à dresser les corps et les comportements. Le bracelet-montre qui se diffuse dès les années 1920 achève le travail d’intériorisation de la mesure du temps. Bien souvent, la machinerie technique est un moyen de coercition et de contrôle des corps « d’intériorisation des normes », à l’image du pèse-personne, longtemps public, qui se privatise et s’intimise dès les années 50… Les machines intègrent surtout nos injonctions sociales.

Quant à notre engorgement domestique d’objets, notre syllogomanie, elle est le pendant d’une production démesurée d’objets. Entre 2000 et 2017, le transport mondial est passé de 65 millions de containers à 175 millions ! Nous croulons sous les objets depuis le début du XXIe siècle : notamment du fait de la décohabitation et de transitions générationnelles qui semblent s’accélérer. Mais surtout du fait d’une mondialisation sans précédent qui semble avoir conduit à des réplétions partout ! Aux braderies des enseignes répondent celles de nos intérieurs. Les appareils se dupliquent plutôt qu’ils ne s’économisent… Nous démultiplions chez nous les écrans comme nos machines à café. Nous démultiplions l’adoption d’appareils sans abandonner les précédents. Nous croulons sous les appareils qui ne servent qu’une fois… « Les usages procèdent par accumulation plutôt que par transition », expliquent les historiens. « Les techniques apparentées deviennent complémentaires et différentielles » selon une loi de co-évolution, à l’image de la convergence des médias, où télé, radio, presse écrite… s’entrecroisent en contenus complémentaires. Tout comme nous l’ont dit déjà d’autres historiens comme François Jarrige ou Jean-Baptiste Fressoz en parlant d’énergie, nos usages s’accumulent plus qu’ils ne transitionnent… Même dans nos usages les plus quotidiens finalement, il n’y a pas de transition, mais une accumulation éperdue. Déjà, à la fin du XIXe siècle, les modes d’éclairages coexistent selon les heures, les pièces, les usages. Nous démultiplions nos pratiques médiatiques désormais via des de multiples appareils qui les concentrent en grande partie. Nous sommes englués dans un consumérisme, comme le dénonçait le sociologue Razmig Keucheyan dans Les besoins artificiels (la Découverte, 2019). Peut-être faut-il mieux comprendre pourquoi nous sommes incapables de nous en extraire ? Finalement, tous ces appareils nous renvoient à notre façon d’être nous-mêmes. Ils nous assurent des conforts inégalés : lumière, chaleur, eau, information… qu’ils rendent disponibles en permanence et individuellement. Plus que de nous rendre heureux, nos objets nous apportent un confort à notre démesure. C’est peut-être pour cela que nous les accumulons sans fin et que nous sommes incapables d’envisager réduire un jour ce confort ou nous en couper. Nous nous sommes fondus, identifiés à nos bardas d’objets essentiels et inutiles que la mondialisation et l’industrialisation ont rendus si facilement accessibles à tous. Perclus de confort, nous regardons encore devant nous pour nous demander… : pour combien de temps ?

Hubert Guillaud

Les organismes de réglementation ont visiblement compris qu’ils doivent réglementer la manière dont les autorités utilisent les algorithmes et les technologies d’IA. Mais ce que les régulateurs oublient trop souvent quand ils élaborent des politiques, c’est de tenir compte de la manière dont les décideurs humains interagissent avec les systèmes, explique Ben Green (@benzevgreen) dans une tribune pour The Hill (@thehill). Chercheurs, journalistes, militants… n’ont cessé ces dernières années de révéler combien les systèmes algorithmiques utilisés par les tribunaux, la police, les services d’éducation, de protection sociale et autres, sont bourrés d’erreurs et de biais. Aux États-Unis, deux projets de loi proposent d’imposer aux administrations d’évaluer les algorithmes avant de pouvoir les utiliser. Le projet de loi sur l’IA de la commission européenne va dans le même sens. Mais, souligne Green, si examiner les systèmes est certes nécessaire, ces dispositions oublient la manière dont les prédictions affectent les décisions politiques.

Les outils d’aide à la décision améliorent-ils la décision ?

Bien souvent, les algorithmes sont proposés comme des outils d’aide à la décision aux personnes qui les prennent. Reste que leurs décisions doivent équilibrer les prédictions que les systèmes fourbissent avec d’autres objectifs concurrents qui ne sont, eux, pas pris en compte par les machines. Green prend l’exemple des systèmes d’évaluation des risques qu’un prévenu ne se présente pas à son procès, très utilisé par les tribunaux américains. Pour ceux en charge de juger les prévenus, ces prévisions, pour autant qu’elles soient précises et justes – ce dont doutent nombre de défenseurs des droits et de chercheurs qui les ont étudiés -, doivent s’équilibrer d’autres intérêts, comme la présomption d’innocence. Pour Green, la question centrale qui est très souvent oubliée n’est pas seulement de savoir si les prédictions sont justes, mais aussi et surtout, de savoir si ces systèmes améliorent la décision humaine. Or, même si ces systèmes proposent des prédictions, ils n’améliorent pas nécessairement la décision. Quand on leur présente ces évaluations, bien souvent, les humains ont tendance à être plus attentifs au fait de réduire le risque justement, au détriment d’autres valeurs, changeant la manière même dont ils prennent leurs décisions, explique Green à la suite d’une étude expérimentale. Dans la pratique, ces systèmes imposent leurs choix, leur angle, leur vision… d’une certaine manière, leur idéologie. Reste que trop souvent, leur premier effet est d’altérer les processus de prise de décision. Même si dans l’étude de Green, les effets de ces outils semblent assez faibles, ils n’en sont pas moins là (et ce d’autant que l’altération de la décision est difficile à apprécier). Dans le domaine judiciaire américain, plusieurs études ont montré que les juges ont tendance à passer outre les recommandations de remises en liberté que proposent ces outils ! En fait, les juges semblent devenir plus sévères que les systèmes, parce que les systèmes leur mettent sous les yeux le risque plutôt que l’esprit des lois, comme la présomption d’innocence. En fait, les systèmes aggravent la partialité des juges en les rendant sur-attentifs aux risques !

Dans un autre article de recherche, Green souligne un autre problème, celui de la surveillance humaine des décisions algorithmiques que de plus en plus de réglementations imposent. Or, explique le chercheur, derrière ces décisions, bien souvent, les personnes sont incapables de remplir les fonctions de surveillance qui leur sont attribuées. Green estime par exemple que nous devrions calculer le taux de dérogation c’est-à-dire quand la décision n’est pas conforme à la suggestion de l’algorithme pour savoir si le processus décisionnel est automatisé ou pas.

Cette surveillance des systèmes trop souvent légitime le recours à des algorithmes défectueux, sans aborder réellement les problèmes qu’ils génèrent. Pour le chercheur, la surveillance des algorithmes donne un faux sentiment de sécurité. Pour Green, il est essentiel de s’interroger d’abord sur la nécessité du déploiement et surtout d’évaluer l’efficacité du contrôle humain des traitements, explique-t-il en rappelant la nécessité d’une meilleure évaluation, non seulement technique, mais plus encore humaine. Les politiques se doivent d’être plus rigoureuses, estime-t-il, et surtout, elles ne doivent pas seulement étudier les biais techniques des systèmes, mais aussi prendre en compte la relation homme-algorithmes et les biais qu’elle génère.

Or, rappelle le chercheur, les réglementations sur l’éthique des systèmes se concentrent uniquement sur la façon dont le calcul fonctionne. Les systèmes d’évaluation de la responsabilité algorithmique ou d’impacts évaluent une responsabilité « technique » plus qu’humaine, sans tenir compte des relations tissées avec les systèmes.

Aussi précis ou juste que le calcul soit – et il ne l’est pas souvent -, il modifie la façon de décider. En fait, ces outils génèrent des changements qui déséquilibrent l’évaluation qui est au cœur même de la prise de décision. Pour Green, la question de l’évaluation de l’IA devrait nécessiter des preuves empiriques sur ses effets, c’est-à-dire qu’elle devrait également démontrer que ces systèmes sont susceptibles d’améliorer la prise de décision. Pour cela nous devrions réaliser des évaluations expérimentales sur la collaboration homme-algorithmes, en testant comment les gens interagissent avec le système pour s’assurer qu’il produit les résultats escomptés.

Evaluer les outils de la décision, mais également la décision

L’évaluation est trop souvent encore le parent pauvre de la réglementation. Au mieux, elle reste technique. Mais bien souvent, elle reste aveugle aux impacts concrets de ces outils sur ceux qui les utilisent, suggère Green qui invite à non seulement évaluer les outils de la décision, mais également leurs impacts sur la décision.

Le constat de Green souligne combien, alors que les systèmes techniques s’imposent, l’évaluation de leurs effets concrets, elle, n’est pas à la hauteur. Derrière les biais des calculs, nous devons nous préoccuper d’autres formes d’évaluation – comme le propose les méthodes développées pour que la politique fasse la preuve de son efficacité (on parle d’evidence-based policymaking). Le gouvernement britannique a initié en ce sens un réseau d’évaluation des politiques publiques, le « What Works Network », dont l’une des branches, par exemple, a évalué les systèmes d’identification automatisés des enfants à risque par les services à l’enfance, en pointant leur inefficacité manifeste. Les États-Unis viennent de lancer une plateforme dédiée à l’évaluation des politiques publiques, rapportait récemment Federal News Network. Malgé les recommandations émises par le Conseil d’État en septembre 2020 pour améliorer l’évaluation des politiques publiques, si l’on en croit l’état du site dédié à l’évaluation en France, la priorité donnée à l’évaluation n’est pas encore là ! Si des efforts ont été initiés pour l’évaluation par les usagers des services publics – via des indicateurs de performance et de satisfaction, à l’image de ceux disponibles sur resultats-services-publics.fr ou voxusagers.gouv.fr -, la question – bien plus importante, il me semble – d’une meilleure évaluation des politiques publiques selon leurs effets semble encore avoir des marges de progrès.

Hubert Guillaud

PS : Sur LPE, Frank Pasquale annonce la tenue prochaine aux Etats-Unis d’un symposium sur l’analyse coût/bénéfice. Les méthodes quantitatives promettent d’apporter la rigueur et l’objectivité à l’évaluation des politiques publiques, mais dans les faits, leurs applications accélèrent souvent les injustices et les discriminations. Dès janvier 2021, l’administration Biden a annoncé vouloir « moderniser les modalités d’évaluations réglementaires ». Les initiatives réglementaires importantes sont de plus en plus souvent sommées de produire une analyse comparative de leurs coûts et avantages. Si ces initiatives semblent rationnelles (les coûts d’une réglementation ne doivent pas dépasser ses avantages), ces outils ont souvent été utilisés pour limiter la réglementation plutôt que pour améliorer son efficacité. Enfin, souligne Pasquale, tout est-il quantifiable ? Quelle est la valeur monétaire d’une journée sans aucune pollution au Grand Canyon ou d’une ressource naturelle ? À nouveau, la quantification n’a rien de neutre et ne peut être le seul mode d’évaluation des politiques publiques.

Toxique, sexiste, violent, abusif, harceleur… Le numérique révèle souvent ses pires aspects dans ses relations aux femmes. Le best-seller de la journaliste et activiste britannique, Caroline Criado-Perez (@CCriadoPerez), Femmes invisibles (First, 2020), s’inscrit pleinement dans ces critiques en les élargissant. Pour elle, si les femmes sont rendues aussi invisibles partout et tout le temps, c’est d’abord et avant tout parce qu’elles sont absentes des données qui construisent nos mondes. En dressant un long et éprouvant catalogue des conséquences de l’absence de prise en compte des femmes de la médecine au design, du travail à la vie civique… Criado-Perez déroule, d’une cascade de conséquence à l’autre, combien notre réalité est masculo-normée. « Les hommes confondent leur propre point de vue et la vérité absolue ».

Changer de point de vue !

« Femmes invisibles raconte ce qui se passe quand nous oublions de tenir compte de la moitié de l’humanité », sous la forme d’un long et éprouvant catalogue d’exemples, épuisants à force d’être édifiants.

Évoquons-en quelques-uns. Criado-Perez commence par exemple en racontant le travail réalisé dès 2011 par la ville de Karlskoga en Suède afin de réévaluer toutes leurs politiques publiques en les examinant sous l’angle du genre. Parmi les problèmes soulevés par cet examen, les autorités ont constaté que leur manière de déneiger les routes était sexiste ! Comme dans nombre de localités, Karlskoga déneigeait en commençant par les grandes artères et en terminant par les trottoirs et les pistes cyclables. Or, cette façon de faire n’affecte pas indifféremment les hommes et les femmes, notamment parce qu’ils ne se déplacent pas de la même façon : les femmes réalisent plus de déplacements de proximité pour prendre soin des plus jeunes ou des plus âgés. La ville de Karlskoga modifia donc l’ordre des opérations de déneigement pour donner la priorité aux piétons et aux utilisateurs de transports en commun au prétexte que conduire une voiture dans la neige est souvent plus simple que d’y pousser une poussette. L’un des effets de la mesure a été de diminuer le nombre de blessées suite à des chutes, un problème qui affectait surtout les femmes, remarquant d’ailleurs que le coût des accidents de piétons était deux fois supérieur au coût de l’entretien hivernal des routes. La planification du déneigement n’a jamais été conçue délibérément pour favoriser les hommes au détriment des femmes, souligne très justement Criado-Perez, mais relevait d’une absence de données genrées. Les hommes avaient conçu cette planification par rapport à leurs besoins, à leur vision, sans envisager que les besoins du reste de la population pouvaient être différents. D’ailleurs, trop souvent encore, les déplacements non motorisés ne sont pas considérés comme pertinents dans l’élaboration des politiques en matière d’infrastructures de déplacement, comme le montre très bien la place réduite qui leur est dévolue.

Cette prise en compte des déplacements selon le genre n’est pas propre aux pays socialement évolués du nord de l’Europe. Vienne, en Autriche, a été une municipalité soucieuse d’équité dès les années 90. Aujourd’hui, ce sont les grandes villes espagnoles qui sont à la pointe, à l’image du réseau des Fearless Cities initié par Barcelone dès 2017, qui a participé à renouveler le « municipalisme », visant à raviver la pratique politique locale en démultipliant les expériences de démocratie radicale (voir notamment Le Guide du municipalisme, Charles Léopold Mayer, 2019 qui documente nombre d’expériences de ce réseau). Criado-Perez dresse le même et accablant constat quant à l’utilisation des espaces publics. Quand ceux qui les conçoivent ne prennent pas en compte les questions de genre, ces espaces deviennent des espaces masculins par défaut. Dès les années 90, Vienne a montré que la présence des filles, dès 10 ans, diminuait dans les parcs et terrains de jeu publics du fait de leur conception. Les grands espaces ouverts poussaient les filles à abandonner l’espace aux garçons. Même constat en Suède où les responsables des villes se sont rendu compte que les financements publics allaient majoritairement aux sports dominés par les garçons. Non seulement les villes dépensaient plus pour l’équipement de sports masculins, mais les sports féminins étaient bien moins financés et bien souvent, les filles devaient dépenser plus d’argent que les garçons pour les pratiquer de façon privée – pour celles qui le pouvaient.

Un monde plus genré qu’on ne le pense

Bien sûr, il n’y a pas que l’équipement public qui se révèle plus genré qu’on ne le pense. On connaît les inégalités de genre dans le monde du travail, notamment et avant tout dans le fait que les femmes font l’essentiel du travail non rémunéré, du travail partiel, et bien sûr quand elles ont un travail rémunéré, c’est pour un salaire inférieur à celui des hommes. Trop souvent, les contraintes qui pèsent sur les femmes (maternité, charge d’enfants…) ne sont pas prises en compte par le monde du travail. Criado-Perez en donne un exemple assez simple et parlant. Une cadre et mère célibataire quand elle accepte un diner de travail le soir doit organiser par elle-même la garde de ses enfants et prendre à sa charge le coût afférent. Pour ses collègues masculins, la question ne se pose même pas. Ils peuvent même prendre une chambre d’hôtel et se la faire rembourser facilement, contrairement à la facture de la baby-sitter.

Nous ne voyons pas nos préjugés de genre, explique Criado-Perez… enfin, il faudrait plutôt dire que les hommes ne voient pas les œillères qui couvrent le regard qu’ils portent sur le social. Sans compter que nos préjugés sont bien souvent parfaitement institutionnalisés. C’est avec les auditions à l’aveugle que l’orchestre philharmonique de New York a changé sa composition, passant d’aucune femme à 45 %. Plusieurs études soulignent aussi que les évaluations de performances que pratiquent les entreprises sont plus sévères envers les femmes que les hommes, que les bonus récompensent davantage les hommes. Et c’est pire dans certains secteurs, comme le secteur financier ou les technologies. La méritocratie a bon dos ! « Si la méritocratie est une religion dans la Silicon Valley, son dieu est un étudiant blanc, de sexe masculin, qui a abandonné ses études à Harvard. Et la plupart de ses disciples le sont aussi ». Même constat à l’université : les doctorantes ont moins de chances que les doctorants de recevoir un financement, un poste… ou d’être publiées (sauf quand elles sont évaluées en double aveugle). « Le lieu de travail moderne est criblé de lacunes de genre », à l’image de la température standard des bureaux climatisés, des portes et outils trop lourds… « Le travail moderne, que ce soit en termes de localisation, d’horaires, ou de normes réglementaires, a été conçu en fonction de la vie des hommes, et il n’est plus adapté à ses objectifs », explique la militante en invitant à refondre ses règlements, ses équipements, notre culture. Criado-Perez enfile les études comme autant de preuves, toutes aussi accablantes les unes que les autres. On pourrait certes discuter du poids et de la pertinence de chaque élément, reste qu’au final, la masse qu’elle convoque fait effet et nous accable sous l’accumulation.

Plus inquiétante encore est la masse d’exemples qu’elle convoque sur la santé, comme le fait qu’on en sache assez peu sur les blessures des femmes au travail, comme celles des femmes de ménage ou des aides-soignantes. Trop souvent, les études bio-mécaniques, celles sur les troubles musculo-squelettiques, se basent sur un « homme de référence », un homme blanc entre 25 et 30 ans pesant 70 kilos, alors qu’hommes et femmes ont des métabolismes différents (qui varient également selon l’âge). Les femmes sont largement oubliées de la technologie, même quand elles en sont les clientes. Par exemple, explique la journaliste, les femmes âgées sont plus victimes de chutes que les hommes. Sur un mois de consultation aux services d’urgences américains, 71 % des patients examinés pour ce motif sont des femmes et leur taux de fractures est 2,2 fois plus élevé que les hommes. Une meta-analyse a montré que les appareils de détection de chutes ne précisent pas le sexe des porteurs, et qu’on ne connaît pas vraiment les facteurs de risques sexospécifiques. Sans compter que pour l’instant, les différents objets technologiques proposés n’ont jamais vraiment convaincu leurs porteurs et ne sont pas adaptés aux besoins et encore moins aux besoins féminins.

Ainsi, les femmes ont tendance à être plus petites et à avoir la peau plus fine que les hommes (mais également à avoir des systèmes immunitaires et hormonaux différents, un pourcentage de graisses corporelles plus élevé…) ce qui fait qu’elles sont plus sensibles aux radiations ou aux toxines que les hommes. Alors que les études ont trop tendance à observer les réactions aux produits chimiques pris isolément, les femmes ont tendance à y être exposées de multiples façons, que ce soit les produits de ménage ou cosmétique par exemple. Pour Criado-Perez, nous avons besoin de meilleures données sur l’exposition des femmes aux produits chimiques et à produire des politiques en fonction de ces enseignements. C’est un peu comme les équipements de protection individuelle, réalisés encore trop souvent selon les tailles et caractéristiques des populations masculines. Trop souvent encore, on fournit des équipements de protection de petites tailles aux femmes, plutôt que des protections conçues pour elles. Une forme d’approche unisexe… qui ne l’est pas du tout. C’est ce que dénonce également la cardiologue Nieca Goldberg dans son livre Les femmes ne sont pas de petits hommes (Women are not small men, Ballantine Books, 2002, non traduit), pointant que les maladies cardiaques des femmes sont fondamentalement différentes de celles des hommes et que trop souvent encore, en médecine, la plupart des études sur les pathologies oublient les spécificités de genre, ne considérant les femmes que comme des hommes en plus petits.

Criado-Perez creuse longuement ce problème de conception, c’est-à-dire le constat, répété, qu’on ne consulte pas les utilisateurs (et ici, les utilisatrices) avant de concevoir un produit. Que ce soit encore trop souvent pour concevoir des cuisinières adaptées aux besoins des femmes des pays en développement, à celles de claviers de pianos adaptés aux femmes (dont la taille des mains est en moyenne plus courte que celles des hommes… il existe d’ailleurs un clavier adapté, qui sans surprise reste totalement absent et du monde de la musique et de la fabrication industrielle de pianos).

Même constat par exemple avec les logiciels de reconnaissance vocale qui reconnaissent mieux les voix masculines que féminines alors que des études montrent qu’elles ont une voix nettement plus intelligible, produisent des voyelles plus longues, parlent plus lentement que les hommes, et utilisent moins de prononciations alternatives ou tronquées… Mais là encore, les banques de données d’enregistrements pour entrainer les outils sont majoritairement composées d’enregistrements de voix masculines – elles indiquent d’ailleurs assez peu le sexe des voix. Mêmes constats sur les corpus d’écrits, d’images, de vidéos… qui font tourner l’intelligence artificielle dans tous les domaines. Caroline Criado-Perez en tire un constat plutôt alarmant : « Notre savoir médical étant fortement axé sur le corps masculin, les IA pourraient compliquer les diagnostics qui concernent les femmes, au lieu de les améliorer ».

Même constat sur l’inadaptation des dispositifs de réalité virtuelle aux femmes. Il y a longtemps déjà, danah boyd avait attiré notre attention sur ce problème. En fait, pour déterminer la profondeur de champs, les hommes sont plus susceptibles de se fier à la « parallaxe du mouvement » pour percevoir la profondeur (c’est-à-dire à la façon dont un objet semble plus grand ou plus petit selon notre proximité par rapport à lui), alors que les femmes font plutôt appel à « la forme à partir des ombres » (c’est-à-dire à la façon dont l’ombre d’un point donné change quand on se déplace). Et la réalité virtuelle fait souvent un meilleur travail pour restituer la parallaxe que pour imiter les déplacements de l’ombre. Autre problème qui participe aux différences de perception des univers virtuels, explique le professeur de kinésiologie Tom Stoffregen, il y a des différences sexuelles dans l’oscillation du corps humain (et le balancement postural des femmes change même au cours du cycle menstruel)…

Dans tous les secteurs qu’elle passe en revue, les constats de blocages s’accumulent. Criado-Perez accable également le monde de l’entreprise, en évoquant par exemple les difficultés qu’a rencontrées Janica Alvarez pour lancer sa startup, Naya Health, qui proposait de réinventer le tire-lait, dominé par le monopole de l’entreprise Medela aux Etats-Unis et au Royaume-Uni. Pourtant, les investisseurs ne se sont pas précipités pour soutenir ce tire-lait, censé être plus confortable. Il faut dire que le monde de l’investissement, un secteur exclusivement masculin, n’a pas vraiment tendance à soutenir les entreprises dirigées par les femmes, comme le pointait une étude du Boston Consulting Group qui montrait que les femmes possédant des entreprises reçoivent en moyenne moitié moins d’investissements que leurs homologues masculins alors qu’elles produisent des bénéfices au moins deux fois supérieures. Le tire-lait de Naya Health quant à lui, n’était peut-être pas si révolutionnaire que cela, comme le soulignent des utilisatrices déçues. En tout cas, l’entreprise, par manque d’investissement, a visiblement tiré le rideau depuis.

Pour Caroline Criado-Perez, le grand enjeu, conclut-elle, consiste à nous mettre à produire des données genrées. Il nous faut « comprendre que la neutralité ne conduit pas automatiquement à l’égalité entre les sexes ». Nous avons besoin de plus de données et de meilleures données.

Les innombrables exemples donnés sont accablants, si accablants qu’ils donnent honte jusqu’à la science, dont on perçoit à chaque pas, combien jusqu’à présent elle peine à prendre au sérieux la question du genre. La brûlante actualité des exemples souligne combien les choses ne changent pas vraiment. Rien ne va dans notre océan de mecs, de préjugés à penser que notre point de vue est la norme et qu’il est neutre et objectif, au prétexte que les femmes ne seraient finalement que des hommes en plus petits. En cela, Femmes invisibles est un livre qui fout la honte. L’accumulation à charge produit son effet.

Reste à savoir si améliorer les données, comme le propose Criado-Perez, suffira. Si ce pas semble nécessaire, il ne sera peut-être pas suffisant pour politiser cette question. D’où l’intérêt de prolonger cette lecture d’une autre, qui, elle, justement nous explique que cet enjeu n’est pas seulement une question d’attention, d’amélioration des données, mais bien une question politique.

Une science des données pour l’émancipation !

Avec Data Feminism (MIT Press, 2020, non traduit, disponible en publication ouverte), Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein), tiennent un propos un peu plus complexe et plus politique.

Pour ces deux spécialistes en science des données, la discipline a besoin du féminisme pour se réinventer. Le Féminisme des donnée est « un mode de pensée sur la donnée et sa communication informés par l’expérience directe, par un engagement à l’action et par les idées associées à la pensée féministe intersectionnelle », qui vise à déconstruire les systèmes de pouvoir, de privilège et d’oppression. A l’heure où les données façonnent le monde et notre relation au monde, il est temps de s’intéresser très précisément à celles-ci, soulignent D’Ignazio et Klein. En cela, le féminisme de la donnée n’est pas seulement un livre, il se veut aussi un mouvement, une réflexion politique, un mode d’action sur le monde. C’est un livre sur qui a le pouvoir et qui ne l’a pas, un livre sur les conséquences de ces différentiels de pouvoir pour les mettre en évidence et les changer.

La science des données a besoin du féminisme pour mettre fin à la spirale d’injustices qu’elle participe à bâtir, expliquent D’Ignazio et Klein. Pour les deux chercheuses, les corps manquent dans les données qu’on collecte. La science des données pense qu’elle peut produire le monde sans les convoquer. Que son objectivité et sa neutralité nécessitent d’appliquer une froide raison sur tout calcul. C’est tout le contraire dont nous avons besoin, expliquent les chercheuses : les problèmes structurels ne peuvent être exposés qu’en les regardant sous l’angle spécifique des personnes et des corps. Nous devons compter ce qui ne l’est pas, notamment parce que les données et le pouvoir s’alignent trop souvent. Ramener les corps des gens, des femmes, des personnes de couleurs, des marginalisés dans les discussions et les décisions, suppose bien sûr, comme le disait déjà Sasha Costanza-Chock de savoir quelles données sont collectées, par qui et pourquoi.

L’histoire est ancienne, mais reste fameuse : quand Andrew Pole, data scientist chez Target, a mis au point un algorithme de prévision de la grossesse des clientes pour favoriser des campagnes marketing dédiées, il a montré que les corps peuvent être exploités sans que les personnes visées n’aient leur mot à dire sur cette exploitation. Target a utilisé son capital de données pour consolider son pouvoir sur ses clientes, sans leur consentement. Les décisions prises du point de vue des données sont trop souvent utilisées pour amplifier les inégalités et asymétries d’information que le contraire. En se basant sur une liste de produits que les femmes enceintes achètent, Target était capable de calculer un score de prévisibilité de grossesse, que l’entreprise a utilisé sans tenir compte des impacts et conséquences sur ses clientes. C’est justement sur les conséquences des décisions qui sont prises sur les gens, par-devers eux, qu’une approche des données par l’émancipation est essentielle. Klein et D’Ignazio déploient un propos qui va à l’encontre de la manière dont on valorise les données aujourd’hui. L’enjeu n’est pas leur transparence ou leur ouverture, qui profitent trop souvent à ceux-là mêmes qui profitent également de leur opacité, mais bien à la libération des personnes que les données calculent : libérer les gens plutôt que de seulement libérer les données !

Un point de vue neutre ne l’est jamais

Cet exemple souligne l’asymétrie profonde de la data science aujourd’hui : la collecte et l’analyse de données se déroulent sans avoir à rendre de compte aux personnes et groupes concernés et ce d’autant plus que ces groupes et personnes sont le moins en capacité de se défendre. En data science, les femmes et les groupes les plus marginalisés sont absents des équipes qui décident : et personne ne pense que c’est un problème ! A la suite de Donna Haraway, les chercheuses rappellent qu’un point de vue neutre ne l’est jamais. Si nous voulons parler d’objectivité en data science, alors nous devons porter attention à la perspective par défaut que défend cette prétendue objectivité. Klein et D’Ignazio défendent une co-libération plutôt qu’une responsabilité (qui consiste à libérer les gens plutôt qu’à libérer les données), la justice plus que l’éthique, l’équité plus que la loyauté, la réflexivité plus que la transparence, la compréhension de l’histoire, de la culture et du contexte plus que la compréhension des algorithmes.

Le féminisme des données repose sur 7 principes qui dirige son action :

• Examiner le pouvoir : le féminisme des données commence par l’analyse du fonctionnement du pouvoir.
• Défier le pouvoir : Le data féminisme s’engage à remettre en question les structures de pouvoir inégales et à œuvrer pour la justice.
• Valoriser l’émotion et l’incarnation. Le féminisme des données nous apprend à valoriser de multiples formes de connaissances, y compris celles qui proviennent des personnes en tant que corps vivants et sensibles dans le monde.
• Repenser le binarisme et les hiérarchies. Le féminisme des données nous oblige à remettre en question le binaire du genre, ainsi que d’autres systèmes de comptage et de classification qui perpétuent l’oppression.
• Adopter le pluralisme. Le féminisme des données insiste sur le fait que la connaissance la plus complète provient de la synthèse de perspectives multiples, la priorité étant donnée aux modes de connaissance locaux, autochtones et expérientiels.
• Tenir compte du contexte. Le féminisme des données affirme que les données ne sont pas neutres ou objectives. Elles sont le produit de relations sociales inégales, et ce contexte est essentiel pour mener une analyse précise et éthique.
• Rendre le travail visible. Le travail de la science des données, comme tout travail dans le monde, est le travail de nombreuses mains. Le féminisme des données rend ce travail visible afin qu’il soit reconnu et valorisé.

Data Feminism n’est pas seulement un propos sur les femmes ou le genre. C’est une réflexion sur l’émancipation par la science des données. La force du livre de Klein et D’Ignazio est de bâtir une réflexion politique sur les données et les calculs… de politiser la science des données sans la réduire à une injonction à l’ouverture ou à l’amélioration sans fin des données. Ce n’est pas un petit pas de côté !

Comme Caroline Criado-Perez, les deux chercheuses pointent combien les données sont faillibles, combien elles masquent d’innombrables lacunes de connaissance. Elles reviennent par exemple sur les complications postnatales que connaissent les femmes, et notamment les femmes noires (qui, aux Etats-Unis, ont trois fois plus de risque de mourir d’une complication postnatale que les femmes blanches). Ces différences structurelles sont connues depuis longtemps des associations comme Black Mamas, mais moins au-delà. La presse s’y est certes intéressée (Propublica par exemple), mais ni le détail des complications ni le nombre de femmes noires qui étaient concernées n’étaient détaillés. En 2018, USA Today montrait qu’il n’y avait pas de système national de suivi des complications subies pendant la grossesse et l’accouchement (voir également l’infographie), ni de système de rapport pour s’assurer que les hôpitaux respectaient les normes de sécurité (alors que ces modalités de reporting existent pour d’autres types d’opérations). Ce que nous choisissons de mesurer montre avant tout ce à quoi nous portons de la valeur. Ou pour le dire autrement, « ce que nous tolérons indique ce que nous sommes vraiment« , comme le disait Caterina Fake. Or, bien souvent, les problèmes de pouvoir structurels, systémiques, sont invisibles tant que les gens qui y sont confrontés ne les mettent pas à jour. Pour les deux chercheuses, l’invisibilité est un produit de la science des données et de la « matrice de domination » (un concept que forgea la sociologue Patricia Hill Collins) qui s’imposent à tous et plus encore à ceux qui sont à l’intersection de genre, de race, d’identité, de capacité, d’origine… des systèmes d’oppression.

Il faut prendre conscience de l’éléphant qui se cache dans les data centers. Pas plus les données que ceux qui pratiquent cette science ne sont représentatifs. « Les risques encourus lorsque des personnes issues de groupes dominants créent la plupart de nos produits de données – ne sont pas seulement que les ensembles de données soient biaisés ou non représentatifs, mais d’abord qu’ils ne soient jamais collectés du tout ». Comme le dénonce l’artiste Mimi Onuoha depuis son projet de Bibliothèque de jeux données manquants : qui montre un classeur rempli de dossiers de données vides. Le livre de Criado-Perez comme la fondation Data2X pointent très bien cette « fracture systématique des données de genre ». Pour combler ces lacunes, l’enjeu, bien sûr, consiste à développer et promouvoir un activisme des données, une forme de science des données participative pour collecter justement les données manquantes, à l’image du projet de surveillance communautaire AirBeat du quartier noir de Roxbury à Boston qui souhaitait collecter des données pour dénoncer la piètre qualité de l’air, ou de celui initié dès 1895 par la militante des droits civiques Ida B Wells sur les agressions et lynchages à l’encontre des noirs aux Etats-Unis. Les initiatives de « contre-données » sont nombreuses, à l’image du minutieux travail de Maria Salguero qui compile des informations sur les féminicides au Mexique depuis 2016. Ces initiatives comblent souvent des vides de données, des manques, des lacunes, des négligences statistiques… qui concernent trop souvent les corps minorisés qui ne détiennent pas le pouvoir. Pourtant, bien souvent, le problème n’est pas tant l’absence de données que l’inverse : les bases de données et les systèmes de données des institutions les plus puissantes sont construits sur et pour la surveillance excessive des groupes minoritaires, comme le montrait Virginia Eubanks dans son livre. Ces formes de surveillance excessives reposent souvent sur deux hypothèses erronées : croire que plus de données est toujours mieux et que les données sont neutres. Or, dans le cadre du modèle de prévision du risque de maltraitance des enfants en Pennsylvanie qu’étudiait Eubanks, la disproportion de parents pauvres dans la base de données concentre ses effets sur la pauvreté plus que sur la maltraitance. Pour Klein et D’Ignazio, « les données ne sont jamais neutres ; elles sont toujours le résultat biaisé de conditions et d’inégalités sociales, historiques et économiques ». La science des données masque souvent ses objectifs réels sous un principe d’efficacité qui ne tient pas compte de ses biais. Le système de prévision du risque de maltraitance visait avant tout à produire un mécanisme pour suppléer un personnel limité. La solution technique proposée ne visait pas tant à répondre à la maltraitance des enfants qu’à accélérer la capacité de traitement du donneur d’ordre. Comme le montrait l’exemple de Target, derrière la neutralité des déploiements techniques, les entreprises privilégient toujours leurs objectifs à ceux des personnes qu’elles sont censées servir.

Pour D’ignazio et Klein, la science des données est utilisée presque exclusivement au service du profit, de la surveillance et de l’efficacité. Cela s’explique certainement parce que les données restent coûteuses à produire et que seules les institutions puissantes peuvent les travailler. Les données servent principalement les objectifs des institutions et notamment à consolider leurs contrôles sur leurs clients. L’extractivisme de données engendre une profonde asymétrie entre ceux qui calculent et ceux qui sont calculés. Pour renverser ce paradigme, il est nécessaire d’être attentif à l’impact des données et à qui les assemble. A l’image de l’application IRTH développée par Kimberly Seals Allers, une application à destination des mères de la communauté noire, pour à la fois documenter leurs problèmes spécifiques, les mettre en avant et leur trouver des solutions adaptées. Pour D’Ignazio et Klein, comprendre et examiner qui détient le pouvoir sur les données ne sert pas seulement à comprendre, mais doit d’abord servir à contester ce pouvoir et à le changer, le renverser. Pour le dire autrement, c’est les gens et leurs corps qui doivent nous dire quelles données vont améliorer leur vie et comment. Plus encore, si la donnée ne fait qu’informer, que rendre plus efficace des formes d’extraction et de domination, alors elle rate son objectif principal : libérer celles et ceux qui sont l’objet des données et des calculs.

Co-libérer : libérer les gens plus que les données

Le Féminisme de données vise à remettre en question les structures de pouvoir. Trop souvent, « les données sont déployées pour soutenir les intérêts des personnes et des institutions en position de pouvoir ». Remédier à ce problème nécessite donc de compiler ses propres « contre-données », de cartographier l’oppression et cela ne peut se faire que depuis d’autres points de vue et donc par d’autres personnes. L’identité de ceux qui produisent les données, leur proximité avec le sujet, les conditions de la collaboration et la direction du projet sont essentielles. La science des données est essentielle pour contester le pouvoir, car l’examiner est essentiel. L’enjeu n’est pas tant l’équité que la co-libération, insistent les deux chercheuses. Le travail mené par Julia Angwin et ProPublica en 2016 sur les biais des systèmes d’évaluation de risque de récidive utilisés par le système judiciaire américain a montré combien les 137 questions qui président à ces évaluations encodaient les inégalités structurelles de la société américaine. Ruha Benjamin évoque d’ailleurs le concept de « nouveau code Jim » pour évoquer combien les systèmes techniques encodent le racisme de la société américaine. « Les données sont toujours le produit de relations sociales inégales ». Comme l’explique Ben Green dans son livre, l’apprentissage automatique prédit plus le passé que l’avenir. Le problème est que les résultats de ces calculs sont activement promus comme objectifs ou neutres, alors qu’ils ne le sont pas. Et cela devient bien plus difficile à mesure que les calculs sont barricadés dans des boîtes noires inscrutables, protégées derrière le droit des sociétés, et donc nécessitant de construire ses propres ensembles de données pour contourner leur inaccessibilité.

Pourtant, si l’analyse et la dénonciation de l’oppression des données peuvent obliger les institutions à rendre des comptes, l’efficacité de la production de contre-données ne suffit pas. Les données de Maria Salguero sur les féminicides ont eu besoin d’être complétées par des commissions gouvernementales, des rapports d’ONG et des décisions de tribunaux pour produire des effets concrets. Les contre-données ne suffisent donc pas à produire du changement, d’autant plus que les données et les calculs sont toujours considérés comme moins partiaux que les individus, plus objectifs par nature. Mais ce n’est le cas que parce que les perspectives de ceux qui les produisent passent pour la valeur par défaut. L’objectivité n’est pourtant pas immanente.

L’éthique des données vise à produire de la responsabilité et de la transparence pour remédier à ce manque d’objectivité. Mais pour les chercheuses, les termes posent problème. Il nous faut passer de concepts qui sécurisent (et entérinent le pouvoir) à des concepts qui le défient, expliquent-elles en nous invitant à modifier les concepts que nous utilisons dans les discussions sur l’utilisation des données et des algorithmes. En passant de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu est de sortir de la recherche de solutions technologiques aux problèmes que pose la technologie.

Image : traduction du tableau de synthèse proposé par Klein et D’Ignazio des principes du Féminisme des données.

Pour D’Ignazio et Klein, ce tableau ne signifie pas par exemple que l’éthique n’a pas sa place dans la science des données ou que la question des biais ou de la transparence ne devrait pas être abordée, mais que ces concepts ne suffisent pour rendre compte des causes profondes de l’oppression et limitent finalement l’éventail de réponses pour démanteler l’oppression ! C’est un moyen de remettre de la politique là où certains tentent de l’ôter pour mieux conserver le pouvoir. La capacité à dépolitiser les questions n’est que le privilège de ceux qui ont déjà le pouvoir. D’où la nécessité de parler de justice plutôt que d’éthique, d’équité plus d’égalité comme nous y invitait Sasha Costanza-Chock. Le biais par exemple n’est pas un concept suffisamment fort pour ancrer les idées d’équité et de justice. En effet, pour l’éviter, on a tendance à vouloir enlever les humains de la boucle de décision, au motif que leurs préjugés personnels seraient la principale raison de la continuation des discriminations. Mais ce raisonnement suppose que le racisme par exemple serait plus le fait de mauvais acteurs individuels que de structures ou de systèmes. Alors qu’en fait, remplacer les travailleurs sociaux – qui sont souvent des femmes voire des femmes de couleur, qui font preuve d’empathie et de capacités d’écoute – par des systèmes automatisés qui appliquent un ensemble de critères rigides quelles que soient les circonstances, ne nous prémunit pas des préjugés structurels, au contraire ! « Partir du principe que c’est l’oppression qui est le problème, et non les préjugés, conduit à des décisions fondamentalement différentes sur ce sur quoi il faut travailler, avec qui il faut travailler, et quand il faut se lever et dire qu’un problème ne peut et ne doit pas être résolu par les données et la technologie. »

L’enjeu donc n’est pas tant d’ouvrir ou libérer les données, que de libérer les personnes ! La clé de cette co-libération nécessite un engagement et la croyance dans un bénéfice mutuel, tant pour les groupes dominants que pour les groupes minorisés. La libération des uns et des autres est liée. C’est ce qui motive par exemple le projet Our Data Bodies et son Digital Defense Paybook (dont nous avions déjà parlé). La co-libération nécessite également de nouveaux outils et un autre état d’esprit. « Partir du principe que l’oppression est le problème, que l’équité est la voie à suivre et que la co-libération est l’objectif souhaité conduit à des projets fondamentalement différents qui remettent en cause le pouvoir à sa source. » Cela nécessite aussi de mesurer différemment la réussite d’un projet. La réussite ne repose plus alors sur l’efficacité d’une base de données, la précision d’un algorithme ou la taille de la base de données, mais plutôt du degré de confiance établi, du partage du pouvoir et des ressources, de l’ampleur de l’apprentissage de ceux qui y participent, de la transformation des personnes et des organisations par le processus, de la quantité d’inspiration nouvelle engendrée ! Des objectifs qui sont certes plus flous à mesurer, mais qui peuvent l’être tout de même !

Lorsque Gwendolyn Warren et les chercheurs du Detroit Geographic Expedition and Institute dans les années 70 ont recueilli des données sur les accidents de voiture impliquant les enfants noirs à Détroit, ils l’ont fait pour que les chercheurs rendent à la communauté les connaissances qu’ils exploitaient et permettent à la communauté de créer une stratégie pour combattre les discriminations qu’elle subissait. Pour Warren, l’éducation était un mécanisme d’autonomisation et de transformation.

Pour y parvenir, il faut encore que les femmes comme les personnes de couleurs soient plus nombreuses dans les salles de classe de la science des données, alors que 80 % des professeurs en IA et que 66 % des professeurs d’informatique et de statistiques sont des hommes. Cela nécessite aussi de s’extraire de la croyance que tout cela ne serait qu’une question technique. Pour Laurie Rubel (@Laurie_Rubel), à l’origine du projet Local Lotto (voir également ici), l’enjeu est d’enseigner autrement les mathématiques en tenant compte de l’équité. Laurie Rubel a proposé à des élèves du secondaire de répondre à la question : est-ce que la loterie est bonne pour votre quartier ? Les billets de loterie ont une production sociale. Ils sont bien plus achetés par les travailleurs à bas salaires que par les plus riches. Lors de ces exercices, les élèves devaient parcourir leur quartier pour dresser des cartographies, rencontrer des acheteurs… comprendre les enjeux. Ce travail leur a permis surtout de rétroagir sur leurs communautés, pour leur montrer combien la loterie leur était défavorable. Local Lotto utilise la science des données pour construire une approche concrète et sociale, plutôt qu’abstraite et technique et aider à permettre aux acteurs d’en prendre conscience pour y remédier. Le projet vise à adresser des problématiques d’inégalités de la vie quotidienne. Il valorise l’expérience vécue et le partage. « La justice est un voyage » qui nécessite de travailler aux problèmes que l’injustice cause. Examiner le pouvoir ne suffit pas, rappellent les deux chercheuses. Il faut aussi le remettre en question. Pour cela, il faut prendre l’oppression et l’inégalité comme une hypothèse de base pour créer des systèmes. Cela nécessite d’apprendre des communautés et de concevoir les systèmes avec elles.

Privilégier l’incarnation et l’émotion à la fausse neutralité

Contrairement à ce que l’on pense trop souvent, l’objectivité des données nécessite non pas de promouvoir une forme de neutralité immanente, mais au contraire de mieux les incarner, c’est-à-dire de mieux montrer et valoriser leur subjectivité intrinsèque. C’est ce que propose par exemple Periscopic dans sa formidable infographie sur le nombre de personnes tuées par arme à feu aux Etats-Unis. Contrairement à une présentation traditionnelle du phénomène, l’infographie de Periscopic valorise l’émotion en permettant d’accéder aux informations individuelles sur chaque personne tuée par arme à feu aux Etats-Unis et en totalisant le nombre moyen d’années volées à toutes ces vies !

Cette approche a généré certaines critiques. Alberto Cairo, auteur d’un livre sur la visualisation de données, The Truthful Art (New Riders, 2016, non traduit), estime que l’infographie de Periscopic instrumentalise une cause par l’émotion, alors que la visualisation doit rester neutre ! Dans A Unified Theroy of Information Design (Routledge, 2013, non traduit), Nicole Amare et Alan Manning, expliquent que la visualisation doit rester neutre. La sobriété est nécessaire pour que les lecteurs interprètent les résultats par eux-mêmes. Dans le domaine de la communication de données, l’ornement est souvent considéré comme suspect.

Comme le dit l’historien des sciences Theodore Porter, « la quantification est une technologie de la distance », c’est-à-dire qui met à distance sous principe d’objectivité. La neutralité en est l’idéal. C’est oublier que persuasion est partout, même dans le dépouillement de simples feuilles de calcul ou des plus simples graphiques. Haraway a pourtant été la première à souligner le lien entre l’apparente neutralité et l’objectivité des données. Pour elle, la visualisation de données encourage trop souvent à voir les phénomènes depuis nulle part – voire de loin ou d’en haut. Ce point de vue, cette « ruse », cependant présente comme neutre une perspective partielle, qui est là encore, bien souvent, la perspective du groupe dominant. Pour le grand spécialiste de statistique et de visualisation de l’information, Edward Tufte (@EdwardTufte), le concepteur de visualisation doit s’efforcer d’utiliser l’encre uniquement pour afficher les données… tout embellissement est suspect. Le minimalisme visuel est rationnel. Les éléments décoratifs sont tous suspects d’œuvrer à des formes de persuasion émotionnelle.

La recherche féministe a beaucoup critiqué cette opposition entre raison et émotion, qui vise plus à structurer et imposer des hiérarchies implicites qu’autre chose. Pour D’Ignazio et Klein, le minimalisme visuel n’est pas si neutre qu’il le clame. Trop de théoriciens et de praticiens de la visualisation de données relèvent des disciplines techniques de l’ingénierie et de l’informatique, mais oublient que tout objet, aussi neutre soit-il présenté, est rhétorique. Dans un visuel, un même constat peut être présenté de manière très différente selon sa représentation ou le discours qui l’accompagne, à l’image d’un même graphique factuel sur le chômage proposé par le New York Times, présentant les données selon un point de vue démocrate ou républicain. En fait, soulignent les chercheuses, la visualisation de données dépend toujours d’une interprétation. Les choix éditoriaux qui produisent une visualisation ont des effets de cadrage qui obscurcissent ou mettent en évidence certaines choses plutôt que d’autres. Les conventions autour du minimalisme favorisent une perception de visualisation comme étant neutre et objective. Au final, même les visualisations les plus simples, les plus factuelles, ne sont pas neutres. Par contre, elles sont très persuasives.

Dans une approche féministe des données, expurger toutes traces humaines pour produire une neutralité de façade n’est pas la bonne approche. L’enjeu, au contraire, consiste à affirmer la nature située des connaissances, à affirmer leur partialité. Pour D’Ignazio et Klein, il est nécessaire de rendre les données plus « viscérales » plutôt que neutres. L’émotion n’est pas aussi irrationnelle et illégitime que beaucoup la tiennent. Notre compréhension du monde est une combinaison d’expériences, d’intuitions, de raisons et d’émotions. En 2010, Kelly Dobson a fondé le groupe de recherche Data Visceralization, avec l’objectif de produire des données à ressentir, à expérimenter avec le corps, tant physiquement qu’émotionnellement. Cette viscéralisation n’était pas qu’une expérimentation créative. Pour ceux qui ont animé ce groupe de travail, l’enjeu était de rappeler que nous ne sommes pas des yeux attachés à un cerveau. La viscéralisation des données poursuit également un but d’accessibilité : les données ne peuvent être seulement visuelles. Klein et D’Ignazio évoquent ainsi le travail du Bureau de recherche créative pour le MoMA de New York qui s’est joué (vidéo) du catalogue des 123 951 oeuvres de la collection en faisant lire le nom des artistes masculins par des hommes et ceux des artistes féminins par des femmes pour souligner la nature hautement sexuée des collections… ou encore le travail du collectif Guerrilla Girls qui soulignait que pour entrer au Metropolitan Museum of Art, il fallait assurément être une femme nue arguant que les femmes nues sont le principal sujet des tableaux alors que les artistes femmes, elles, sont inexistantes dans les collections. Faire des données des expériences permet de casser la vue d’ensemble que les visualisations proposent et permettent de faire l’expérience des enjeux peu à peu. L’enjeu est ici de ressentir la différence de genre plutôt que de seulement la voir, comme s’ils s’adressaient à une autre partie du cerveau.

Image : « Moins de 5 % des artistes des sections art moderne du musée sont des femmes, mais 85 % des nus sont des femmes », infographie des Guerilla Girls, 1989.

Un autre enjeu également dans les représentations visuelles, consiste à mieux faire figurer l’incertitude, comme d’arriver à montrer la fourchette d’incertitude de sondages. Lors de l’élection de Trump en 2016, les simulations produites par les sondages étaient plus incertaines dans les intentions de vote que leurs représentations. Pour Klein et D’Ignazio, le fait que nombre de graphiques aient suggéré que Clinton allait gagner tient beaucoup au refus de montrer l’incertitude que les sondages exprimaient. Ajoutez-y les biais de nos propres raccourcis mentaux qui tendent à nous faire croire que l’avance d’une candidate sur l’autre tient d’une probabilité plus forte qu’elle gagne… Et vous comprenez mieux le risque à ne pas s’ouvrir à l’incertitude des données. Pour les deux chercheuses, ces exemples doivent nous rappeler que le contexte est roi en matière de visualisation.

Interroger les classements et les catégories

Le féminisme des données oblige à sortir des dichotomies et donc à repenser les catégories et hiérarchies. De nombreux problèmes d’inégalité structurelle sont des problèmes d’échelles. Trop souvent, seul ce qui est compté compte, et ce qui n’est pas compté ne compte pas, rappellent les chercheuses. Ici, il est nécessaire également de nous défier de l’affichage de grands principes. Ainsi, quand Facebook a élargi les modalités pour indiquer son genre, cette nouveauté a été saluée comme le signe d’une grande ouverture. Pourtant, comme l’ont montré les travaux de Rena Bivens (@renabivens), Facebook a continué de résoudre le genre des utilisateurs de manière binaire pour ses clients payants. Mêmes constats en ce qui concerne la politique des « vrais noms » de Facebook qui est justifiée pour des raisons de sécurité, mais qui met activement en danger les utilisateurs les plus marginaux de la plateforme, comme l’ont montré Oliver Haimson et Anne Lauren Hoffmann, par exemple ceux qui portent des noms Amérindiens où les personnes qui cherchent à masquer leurs identités parce qu’elle peut leur porter préjudice.

Les féministes, comme les militants antiracistes et homosexuels, ont beaucoup réfléchi aux problèmes de classification, notamment parce que cela les affectait directement. La solution pourtant ne consiste pas à refuser le classement, mais à nous interroger sur la manière dont les systèmes de classification sont construits, sur la manière dont ils encodent les valeurs et jugements, sur comment ils sont construits et dans quel but, comme l’expliquent Geoffrey Bowker et Susan Leigh Star dans Sorting Things Out (MIT Press, 2000, non traduit). Le problème consiste toujours à savoir s’il vaut mieux être compté ou pas. C’est le paradoxe de l’exposition ou de la classification. Pour un sans papier par exemple, être dénombré peut-être problématique selon ce qui est fait de ce dénombrement. Du point de vue du féminisme de données, la question est toujours de savoir si ce sont les catégories qui sont inadaptées ou le système de classification. A quoi sert-il par exemple que les scanners corporels des aéroports distinguent les hommes des femmes et s’affolent dès qu’une personne ne correspond pas à cette normativité réductrice ?

L’Association médicale américaine qualifie désormais le genre de spectre, plutôt que sur un mode binaire. L’organisme de santé publique britannique a lui développé un questionnaire inclusif et sensible qui permet d’ouvrir la question des catégories de genre en proposant des modalités de non divulgation. En fait, soulignent les chercheuses, selon les circonstances, l’institution qui collecte, et le but de ces collectes, les décisions éthiques peuvent varier. Pour le dire plus simplement, l’éthique ne peut être bornée : chaque comptage nécessite de reposer les questions de contexte et de pouvoir : faut-il compter selon le genre ? Quand et comment ? Même constat du côté de la couleur de peau… Mais la réponse à ces questions n’est possible qu’en répondant à la question à qui et à quoi servent ces comptages et plus encore en assurant que leur utilité reste circonscrite à l’objectif formulé – ce qui est plus difficile à assurer, notamment dans le monde des données, où un comptage, par nature, peut-être réutilisé à d’autres fins. Enfin, soulignent les chercheuses, la question du consentement à ces différents types de comptages est essentielle, pour les groupes minoritaires et notamment du fait des préjudices potentiels qu’il y a à distinguer les gens selon leurs identités fait peser sur eux. Respecter les gens qui sont derrière les données peut sembler tenir de l’évidence. C’est pourtant si rarement le cas qu’il faut bien le rappeler (signalons d’ailleurs sur ce sujet, le travail stimulant du Manifeste pour des technologies pleinement consenties, qui propose des principes pour des technologies de « plein consentement » : sans pression, réversibles, informées, enthousiastes et spécifiques) !

Historiquement, compter a toujours été utilisé pour dominer, discipliner et exclure. C’est pour cela qu’il est nécessaire d’interroger notre infrastructure de classification. Les chiffres ne sont pas toujours des outils d’oppression, mais ils doivent être travaillés pour rééquilibrer la répartition inégale du pouvoir.

Notre besoin de diversité est impossible à rassasier

Pour le féminisme de données, la connaissance la plus complète provient de la synthèse de perspectives multiples, et notamment les plus locales, les plus expérientielles… Sur le site Anti Eviction Map qui lutte contre les expulsions à San Francisco on trouve une centaine de cartes différentes. Beaucoup ont été produites en collaboration avec des organisations différentes afin de documenter le phénomène de l’expulsion dans sa plus complète diversité. L’une des cartes par exemple, montre que la concentration des expulsions recoupe celle des arrêts des Bus qui viennent chercher les employés des grandes entreprises de la tech. Toutes les cartes ne sont pas aussi lisibles, mais l’objectif reste de documenter ce qu’il se passe de multiples façons. Plutôt que de raconter une seule histoire « vraie » ou consensuelle, l’enjeu est aussi de reconnaître les versions multiples voire contradictoires de la réalité, explique l’architecte Katie Lloyd Thomas (@ktlloydt), fondatrice du collectif féministe Taking Place. Pour le féminisme de données, l’enjeu est d’adopter le pluralisme, de valoriser les voix, les points de vue, de la collecte à la communication… Pour se faire, il faut se défaire de la façon dont les méthodes de la science des données ont tendance à supprimer les voix, au profit de la clarté, de la propriété ou du contrôle.

Trop souvent, l’un des principaux aspects du travail du data scientist consiste à nettoyer les données pour mieux les structurer, un travail d’entretien à la fois patient et minutieux, et également un travail d’organisation glorifiant visant à dompter le chaos des chiffres. Le problème, c’est que ces processus contribuent à faire disparaitre des perspectives et à en imposer d’autres. Nettoyer les données consiste aussi à les contrôler. « Cette croyance selon laquelle les données doivent toujours être propres et contrôlées a des racines historiques douteuses ». Trop souvent, le nettoyage est « une astuce pour réduire la diversité », comme l’ont expliqué Katie Rawson (@katie_rawson) et Trevor Munoz (@trevormunoz) dans leur article « Contre le nettoyage ». Le désordre des données est riche d’informations sur les circonstances de leur collecte. Trop souvent, leur nettoyage permet qu’elles soient plus accessibles à d’autres qu’à ceux qui les ont collectés. En fait, expliquent Klein et D’Ignazio, ce nettoyage des données élargit surtout leur disponibilité et notamment leur disponibilité à un plus large niveau, les coupant du contexte de leur production. Ce nettoyage bénéficie également aux data scientists, à ces génies solitaires, souvent blancs et masculins, dont la maîtrise individuelle et l’expertise technique semblent sans bornes. L’un de ces génies est Matthew Desmond (@just_shelter), directeur de Laboratoire de l’expulsion (@evictionlab) à l’université de Princeton et auteur d’Avis d’expulsion, enquête sur l’exploitation de la pauvreté urbaine (Lux éditeur, 2019). La difficulté pour le laboratoire a longtemps consisté à trouver sur quelles données baser ses recherches. Faut-il privilégier des données plus propres et à grandes échelles, faciles à traiter et à acheter où des données plus précises, à l’échelle locale, comme celles produites par Anti Eviction Map mais qui nécessitent d’établir une relation de confiance afin qu’elles ne soient pas utilisées n’importe comment ? Comme nombre d’acteurs dans le domaine des données, le laboratoire a donné la priorité à la rapidité sur la précision. A l’inverse, si l’Anti Eviction Map a privilégié la diversité, leur décision a aussi contribué, de manière tout à fait intentionnelle, à renforcer les capacités techniques et relationnelles des acteurs locaux. L’enjeu était bien de construire une solidarité entre participants afin qu’ils s’entraident dans la lutte contre les expulsions, qu’ils apprennent les uns des autres. La multiplicité permet d’obtenir une image plus complète d’un problème et en renforce les collectifs. Encore faut-il parvenir à reconnaître la partialité de sa compréhension. Cela suppose, bien souvent, de donner accès aux données utilisées et de décrire les méthodes employées. Mais également de compléter ces informations en précisant qui a travaillé sur ces données, quels étaient les points de tensions…

« La prise en compte de la valeur des perspectives multiples ne doit pas se limiter à la transparence et à la réflexivité. Il s’agit également d’inviter activement et délibérément d’autres points de vue dans le processus d’analyse et de narration des données – plus précisément, ceux des personnes les plus marginalisées dans un contexte donné. » Pour l’Anti Eviction Map cela signifie centrer ses données sur les voix et les expériences de ceux qui ont été expulsés, à l’image de la proposition du réseau de Design Justice qui souhaite centrer son travail sur ceux les plus touchés par les données. Pour Klein et D’Ignazio, l’enjeu est bien ici de concevoir des projets de co-libération plutôt que des « données pour le bien » (ce qu’on appelle le mouvement « Data for good », un réseau de réseaux international qui promeut l’usage de la donnée pour l’intérêt général). Si le mouvement Data for good décrit des projets de science des données socialement engagés, que signifie faire le bien ? De quel bien parlons-nous ? Au profit de qui ? Pour la spécialiste en machine learning chez Google Brain et fondatrice de Delta Analytics, Sara Hooker (@sarahookr), ce concept manque de précision, notamment parce que l’engagement ne suffit pas à qualifier l’objectif – l’ingénieur Ben Green faisait une critique assez proche (.pdf) (dont nous avions rendu compte), soulignant les limites à renforcer le bien social sans interroger l’engagement. A l’inverse, la co-libération repose sur la dénonciation et la résolution des relations de pouvoir asymétriques. La co-libération présuppose une lutte qui qualifie l’enjeu… et augmente l’engagement d’objectifs, que ce soit le transfert de connaissance ou la création d’une infrastructure sociale dédiée, que ce soit pour la prise de conscience ou pour armer la lutte sociale. Elle implique des échanges à double sens pour renforcer les capacités techniques de la communauté et un renforcement de la solidarité, par exemple en allouant des ressources à l’infrastructure communautaire et pas seulement une aide technique. « Dans le modèle de co-libération, les projets de science des données deviennent des projets de science communautaire. Ils se déroulent simultanément dans la base de données et dans l’espace public. » L’enjeu est de construire une compréhension partagée autour d’une question et de mobiliser autour de cette compréhension pour en décliner des actions. Les données sont un moyen de générer une prise de conscience et de l’activer. En cela, la co-libération devient une « technologie de rassemblement », où « les informations sont échangées, la cohésion sociale est renforcée et les actions futures sont co-conspirées », une forme de « feu de camp » pour réactiver la participation politique, expliquent Kein et D’Ignazio – une forme de nouvelle cartographie d’alliances.

L’enjeu n’est pas pourtant de rester petit ou local. Les données peuvent aussi permettre d’atteindre d’autres échelles de co-libération, expliquent les chercheuses en évoquant le projet d’Atlas mondial de la justice environnementale, initié par Leah Temper et Joan Martinez-Alier qui collecte des informations sur les conflits écologiques depuis les luttes mêmes de ces acteurs. Certes, l’approche est plus pluraliste, participative et itérative que les approches extractivistes et quantitatives du Big data traditionnel, mais en fin de compte, même si cela prend plus de temps, les données, les relations et les capacités des communautés produites sont d’une bien meilleure qualité.

Les chiffres ne parlent pas d’eux-mêmes

Le féminisme des données affirme que les données ne sont ni neutres ni objectives. Elles sont le produit des inégalités et, sans contexte, elles ne disent rien : ne sont ni précises ni éthiques.

En 2014, le célèbre blog FiveThirtyEight a publié un article montrant que l’enlèvement de jeunes femmes au Nigeria était un problème qui empirait. Mais l’article a dû rapidement être rétracté. Le site avait utilisé une base de données mondiale spécialisée sur les conflits, le GDELT. Le problème est que cette base collecte des articles de presse en démultipliant les faits depuis les sources. FiveThirtyEight avait compté chaque article comme un événement alors que beaucoup d’articles de presse relayés décrivaient le même événement. L’histoire raconte la difficulté à agréger des données dont on ne sait pas grand-chose, à notre tendance à surestimer l’exhaustivité sur l’exactitude. Certains chercheurs parlent de « Big Dick Data » pour qualifier des projets qui fétichisent la taille, exagèrent leurs capacités scientifiques ou techniques et ignorent le contexte. Nous sommes de plus en plus cernés par des portails de données qui permettent de télécharger ou d’échanger de vastes ensembles de données, dans un modèle d’accès illimité à l’information que nous considérons trop souvent comme un bien inhérent.

L’un des principes centraux de la pensée féministe est que toute connaissance est située, nécessitant de relier les données au contexte de leur production pour mieux comprendre leurs limites fonctionnelles, les obligations éthiques associées et la manière dont le pouvoir a contribué à leur élaboration. Trop souvent, pourtant, rappellent les chercheuses, les jeux de données sont fournis sans contexte ni métadonnées, c’est-à-dire sans informations sur leur provenance et sans dictionnaires pour les décrire. Klein et D’Ignazio donnent l’exemple simple et courant d’un jeu de données sur les dépenses de la ville de Sao Paulo au Brésil. Le jeu de données n’est pas difficile à comprendre en tant que tel, mais le processus qui l’a produit est bien moins clair. Comment la ville gère-t-elle ses appels d’offres ? Comment décide-t-elle de leur attribution ? Les offres publiées correspondent-elles à toutes les offres ou seulement à celles qui ont passé un contrat avec la ville ? Qu’est-ce qui explique les variations de numérotation ?… Or sans réponses, il semble difficile d’explorer, analyser ou traiter ces données. Comme l’explique Christine Borgman (@scitechprof) dans son livre Big Data, Little Data, No Data (MIT Press, 2015, non traduit) : une infrastructure de connaissances est « une écologie de personnes, de pratiques, de technologies, d’institutions, d’objets matériels et de relations ».

Klein et D’Ignazio rappellent rapidement l’histoire du mouvement pour l’ouverture des données publiques, né au milieu des années 2000 d’une conjonction d’acteurs (gouvernements, associations, individus et militants) pour favoriser l’accès aux données, ces nouveaux types de documents publics. Sous prétexte de promouvoir le développement économique par la création de services les utilisant, d’accélérer le partage de connaissance et la science, et d’améliorer la transparence démocratique, nombre d’États, de villes et régions ont peu à peu ouvert des portails de données. Mais, comme elles le rappellent encore, le financement limité a conduit à prioriser l’ouverture de certaines données sur d’autres et surtout a rarement permis de documenter les jeux de données. Pour le spécialiste de l’ouverture des données britannique, Tim Davies (@timdavies), on s’est parfois retrouvé face à des « décharges de données brutes », incapables d’assurer l’engagement ou la responsabilité. Nombre de jeux de données demeurent peu utilisés, attendant que « les utilisateurs entreprennent le travail intensif de déchiffrer les arcanes bureaucratiques qui obscurcissent leur signification ». On parle aussi de données zombies pour désigner des ensembles de données publiés sans objectifs ou cas d’utilisation. Qu’importe ! Finalement, comme l’affirmait Chris Anderson de Wired en 2008, toute théorie devenait inutile, les données parleraient d’elles-mêmes ! Mais la corrélation sans contexte est clairement insuffisante, comme le montrait Safya Umoja Noble (@safiyanoble) dans son livre Algorithms of Oppression (NYU Press, 2018, non traduit), en démontrant que les résultats de Google Search ne sont pas seulement racistes et sexistes à l’image de nos sociétés, mais entretiennent le sexisme et le racisme en renvoyant vers ces contenus sous prétexte de les classer en fonction des liens et de leur audience, encourageant finalement leur audience dans une boucle de circulation perpétuelle.

Depuis 1990, suite au meurtre de Jeanne Clery, une loi visant à améliorer la collecte de données relatives aux crimes commis sur les campus américains a été votée, imposant de mettre à la disposition du public ces statistiques. En 2016, trois étudiants en journalisme de données ont téléchargé ces données collectées par le Clery Center (@CleryCenter) pour comprendre ce qu’il en était de la culture du viol sur les campus. Ils se sont rendu compte qu’un petit établissement rural du Massachusetts semblait connaître bien plus d’agressions sexuelles que la prestigieuse université de Boston. En enquêtant, ils se sont rendu compte que certains établissements publiaient leurs chiffres et que d’autres avaient les ressources institutionnelles nécessaires pour les minimiser, notamment en accompagnant les victimes pour minimiser les plaintes. Les chiffres ne parlent pas d’eux-mêmes à nouveau, les données sont bien souvent « cuites et recuites » que brutes, c’est-à-dire toujours obtenues, toujours travaillées et retravaillées, sensibles à nombre de facteurs externes qui président aux multiples étapes de leur production. Bien souvent, les données tiennent plus d’indicateurs culturels qu’elles ne décrivent une réalité. Pour les chercheuses, nous avons besoin de bien plus de théorie et de bien plus de contexte pour saisir les enjeux de pouvoir des données. Les chercheuses prennent l’exemple des travaux qu’a mené Desmond Patton (@DrDesmondPatton) du SafeLab afin d’utiliser l’IA pour comprendre le rapport à la violence des jeunes de Chicago. Mais pour mieux comprendre un jeu de données de tweets, il a utilisé certains de ces jeunes pour mieux classer les données. Il a ainsi remarqué que des tweets utilisant des termes agressifs, comme le terme « tuer » ne visait pas tant à menacer d’autres personnes qu’à faire souvent référence à des paroles de chansons et donc à partager des symboles culturels. Pour les deux chercheuses, cet exemple souligne combien il ne peut y avoir de sciences des données sans le nécessaire travail social qui en éclaire le sens et l’action.

Communiquer en contexte nécessite non pas de chercher à être neutre, mais à regarder ce que les données produisent effectivement, expliquent les chercheuses en montrant deux graphiques représentant exactement les mêmes données, le plus exact pouvant être taxé de partialité alors que le second, semblant plus neutre se révèle bien plus manipulateur et plus ouvert à une mauvaise interprétation. La justice nécessite aussi de reconnaître et nommer les formes d’oppression que ce soit le racisme, le sexisme, l’homophobie… pas de les neutraliser, expliquent-elles.

Rendre les méthodes plus robustes et conserver le contexte des données, tel est l’enjeu de Cuidando do Meu Bairro (Prendre soin de mon quartier), une initiative à destination des habitants de Sao Paulo qui vise justement à ajouter du contexte et des éclaircissements aux données locales. Heather Krause, fondatrice de Datassist et We all count (@datassist), un projet pour développer l’équité en data science, a développé nombre d’outils pour favoriser l’équité et notamment le concept de biographie des données, consistant à demander à leurs producteurs de répondre à des questions de base : « d’où vient le jeu de données ? Qui l’a collecté ? Quand ? Comment ? Pourquoi ? ». C’est exactement l’enjeu du « datasheets for datasets » développé par Timnit Gebru pour Microsoft (voir notre article Utiliser l’IA pour détecter ses propres biais ? »). Les guides d’utilisation de données sont une piste essentielle, insistent Klein et D’Ignazio ! Les deux chercheuses signalent ainsi l’exemple de Woman Stats initié par le géographe Chad Emmett (@emmett_chad) et la professeure de sciences politiques Valerie Hudson, une vaste base de données sur les violences faites aux femmes qui distingue des variables de pratiques et de droit selon les conditions juridiques des pays d’où proviennent les données. Une façon de souligner l’incomplétude de leurs données. Ainsi les statistiques sur le viol soulignent que les modalités d’enregistrements sont peu comparables d’un pays à l’autre.

Reste à savoir qui doit éclaircir les données. Bien souvent, les journalistes et les ONG font un bon travail de nettoyage et de contextualisation, pour autant qu’ils bénéficient de financements durables, d’expertises et de normes. Le problème, trop souvent, c’est que gérer les données nécessite de l’investissement au risque de garder durablement des ressources de qualité médiocres, voire dangereuses. Sans argent, la production de contexte risque de rester l’exception plus que la norme.

Rendre le travail visible

L’ultime principe du féminisme de données consiste à rendre le travail visible. Une étude sur Github, cette plateforme collaborative de travail sur le code source, montrait que les utilisatrices avaient moins de chances de voir leurs contributions acceptées si elles s’identifiaient comme femmes. Pourtant, en permettant de voir les contributions à chaque projet, Github a participé à changer le regard sur la réalité du travail du code, montrant combien il relève d’abord et avant tout d’une collaboration patiente. Mais contrairement à Github, la production de données et de visualisations s’inscrit dans de longues chaînes de collaborations qui tendent à écraser les contributions plutôt qu’à les mettre en avant. La formidable cartographie des navires qui naviguent à travers le monde est le résultat d’un long travail d’innombrables contributeurs. Comme l’explique Miriam Posner, les chaînes d’approvisionnements elles-mêmes, ont trop souvent intérêt à écraser et transformer les contributions. Et on constate la même chose dans le monde de la production de données.

La dénonciation des formes de travail invisibles est ancienne et s’est cristallisée longtemps sur le travail domestique non rémunéré des femmes. Elle s’est considérablement élargie depuis, notamment à celui des utilisateurs des plateformes. Reste que la science des données prospère largement sur cette invisibilisation en mobilisant largement des plateformes de crowdsourcing que ce soit pour étiqueter des films, des documents, corriger des fautes… comme l’ont montré nombre d’études sur la sous-classe mondiale de la modération, allant de Ghost Work (Mariner Books, 2019, non traduit) de Mary Gray et Siddharth Suri, à Derrière les écrans (La découverte, 2020) de Sarah T. Roberts (@ubiquity75) en passant par En attendant les robots (Seuil, 2019) d’Antonio Casilli (@antoniocasilli). Derrière les hiérarchies actuelles du travail des données se répètent d’anciennes hiérarchies technologiques fondées sur le sexe, la classe sociale et la race, explique Lilly Irani (@gleemie), comme celles de la première génération d’informaticiennes, ces Figures de l’ombre (Harper Collins France, 2017) qu’évoquait Margot Lee Shetterly (@margotshetterly). En 2008, d’ailleurs, Irani avait lancé le Turkopticon pour permettre aux utilisateurs du Mechanical Turk d’Amazon de signaler les conditions de travail que les commanditaires de la plateforme leur imposaient. Mais après 10 ans de service, le service, entièrement bénévole, a fermé sous l’épuisement. L’exploitation d’une main d’œuvre précaire trouve son origine bien sûr dans la longue histoire coloniale et esclavagiste, qui ne cesse de prolonger ce même schéma d’exploitation.

Pour répondre à ces invisibilisations, nous devons améliorer les études sur la production de données, estiment Klein et D’Ignazio, comme le propose Anatomy of an AI System de Kate Crawford (@katecrawford) et Vladlan Joler (@TheCreaturesLab). Montrer le travail invisible est un moyen de résister au storytelling de l’innovation dominante. Documenter qui y participe, comme y invite la Charte des droits des collaborateurs, également. Documenter ce travail permet également de montrer la quantité de travail physique nécessaire à la numérisation, comme l’a pointé la représentation visuelle du catalogage des livres pour la librairie du Congrès imaginé par Ben Schmidt (@benmschmidt). Enfin, bien sûr, c’est un moyen de valoriser également le travail de soin et le travail émotionnel à l’image du projet Atlas of Caregiving, visant à documenter le travail nécessaire autour de malades atteints de maladies chroniques afin d’en souligner sa complexité et sa pluralité.

Les déséquilibres du pouvoir sont partout dans les données… Ce n’est qu’en montrant toute la fragilité de chaque donnée que nous pourrons défier et relever leurs conséquences.

Réinventer notre rapport aux données et aux calculs

La force du livre de Klein et D’Ignazio consiste à nous confronter à nos propres impasses. Elles nous invitent à mettre à jour nos concepts, à renverser nos catégories de pensées et, pour y parvenir, à dépasser, renforcer et politiser plus avant nos exigences. Peut-être est-il plus que jamais nécessaire, comme elles nous y invitent, de modifier notre cadre de réflexion, de changer les concepts avec lesquels nous légitimons les évolutions des calculs… Les limites de l’ouverture et de la transparence dans les systèmes techniques sont dénoncées depuis longtemps. Peut-être que pour les dépasser, faut-il remiser et réinventer les concepts qu’on utilise, en tout cas les mettre à jour ! En nous invitant à passer de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu que Klein et D’Ignazio formulent nous invite à sortir de la recherche de solutions technologiques aux problèmes que pose la technologie. Ce n’est pas un petit pas de côté. En nous invitant notamment à dépasser les limites de l’ouverture des données ou du gouvernement ouvert, pour revenir au sens et à l’impact des données elles-mêmes, les deux chercheuses nous montrent une voie d’appropriation et de libération pour résister à l’impact des calculs et des bases de données.

Dans la conclusion de leur ouvrage, Klein et D’Ignazio nous invitent, à l’image des contestations qu’ont connu l’industrie de la technologie, notamment la grève chez Google de 2018 (le Google Walkout for real change), à « occuper en masse les infrastructures numériques », à ralentir les chaînes numériques, à canaliser les solidarités numériques vers les espaces physiques… De la Tech Workers Coalition (@techworkersco) aux plateformes comme Coworker.org (@teamcoworker) ou aux organisations comme Tech Solidarity (@techsolidarity) en passant par l’essor des coopératives technologiques aux manifestes comme ceux de Design Action Collective et bien sûr aux communautés de pratiques elles aussi revendicatrices comme le réseau Design Justice (@design__justice), Data for Black Lives (@data4blacklives) ou l’Algorithmic Justice League (@ajlunited)… sont autant de formes de mobilisation qui visent à faire des données un outil de changement social profond plutôt qu’une arme d’oppression au service du pouvoir financier (voir notre article « Vers un renouveau militant des questions technologiques ?).

La science des données doit désormais dépasser ses présupposés premiers, à savoir ses méthodes uniquement quantitatives reposant sur la seule puissance des données, la force brute des traitements automatisés, sa fausse neutralité, son ouverture sans enjeu… Le féminisme des données ne vise pas à produire de la technologie pour elle-même, mais au contraire, à en libérer les acteurs. Utiliser les données pour mettre fin à l’oppression est un objectif bien plus stimulant que les utiliser pour la perpétuer.

Hubert Guillaud

Cet été, Algorithm Watch (@algorithmwatch) a publié une analyse sur les applications de suivi de contact. Pour l’ONG, les résultats sont assez contradictoires, notamment parce que les applications et les situations sont peu comparables les unes les autres. Selon le Covid Tracing Tracker de la Technology Review, on en répertorie plus d’une cinquantaine dans le monde. Pour l’ONG cependant, nous ne disposons même pas d’une définition partagée de ce que signifie l’efficacité de ces applications : faut-il compter le nombre de contacts identifiés ou la réduction épidémique que produit ce traçage automatisé ? Pendant plusieurs mois, on a entendu que l’efficacité était liée au volume d’adoption de ces applications (notamment via le fameux seuil des 60 % de téléchargement et d’utilisation !), alors qu’elles peuvent avoir des effets protecteurs à des niveaux bien plus bas. En fait, le haut niveau de téléchargement de certaines d’entre elles ne s’est pas nécessairement traduit par des réponses efficaces en matière de recherche de contact, comme le soulignent les exemples irlandais et finlandais. Pour certains chercheurs, le déploiement de ces applications sans preuve réelle de leur efficacité demeure problématique. Reste qu’il n’aurait pas été possible d’obtenir la preuve de leur inefficacité sans les déployer. Pour autant, la conclusion reste cinglante : l’efficacité des applications de suivi de contact dans leur contribution à la lutte contre le Covid-19 n’est pas concluante !

Le suivi « manuel » des contacts, via des spécialistes humains, s’est révélé toujours plus efficace. Une autre analyse, elle aussi, conclut que les applications ne sont ni une panacée ni une solution miracle, et encore moins dans les pays les moins développés. En France, une étude de perception a montré que les personnes les plus précaires, qui sont aussi les plus exposées au virus, sont également les plus réticentes à utiliser une application. Pour le dire autrement, il ne peut y avoir d’adoption optimale sans réduction des inégalités qui agissent sur les déterminants structurels, notamment ceux qui président à la connectivité ou à l’alphabétisation numérique. Une étude parue dans The Lancet a même montré que les outils de recherche de contacts automatisés déployés entre 2000 et 2020 pour d’autres virus, n’ont, là encore, montré aucune preuve d’efficacité, tant en terme de contacts identifiés que pour réduire les transmissions. Là encore, seule la recherche « manuelle », humaine, se révèle essentielle. Les applications décentralisées de notification d’exposition (celles qui adoptent le protocole GAEN, Google/Apple Exposure Notification, développé par Apple et Google), elles, semblent avoir montré un peu plus d’efficacité que celles déployées par nombres d’États ! En Angleterre, la recherche numérique de contacts estime une étude pour Nature a permis d’atteindre plus de contacts que la recherche manuelle (4,4 contre 1,8), notamment pour identifier les contacts en dehors du foyer. Les auteurs estiment qu’entre 4 et 8000 décès ont été évités grâce à ces outils (pour 32 000 décès durant la période étudiée), ce qui n’est pas un petit effet. Ils ont estimé également qu’une augmentation de 1 % de l’utilisation de l’application se traduit par une réduction de 0,8 à 2,3 % des infections, c’est-à-dire que chaque personne positive au Covid qui a consenti à notifier ses contacts par l’application a évité en moyenne un nouveau cas. Pour Florian Gallwitz cependant, l’étude ne répond pas à une question de fond : quel pourcentage de personnes averties par l’application ont été réellement infectées ? Pour le spécialiste, il n’y a pas de preuve crédible que les avertissements automatisés soient liés à des événements d’infection réels… En Suisse, où les débats ont été vifs, notamment du fait de la présence de chercheurs qui ont poussé à l’adoption d’applications décentralisées et très protectrices de la vie privée, une étude a pointé le fait que les contacts notifiés par l’application SwissCovid entraient en moyenne en quarantaine un jour plus tôt que ceux qui n’étaient pas notifiés par l’application, mais cela tient peut-être plus du fait d’alertes pairs à pairs ou du fait que ceux qui utilisent l’application sont moins susceptibles de subir un préjudice lié à leur quarantaine, comme l’explique, critique, le chercheur Paul-Olivier Dehaye, qui parle d’un biais d’utilisation, car l’usage de ces applications n’est pas distribué uniformément dans la population. Leur utilisation privilégie des personnes en moyenne plus riches, qui ont tendance à faire confiance aux autorités, plus conscientes et engagées dans la pandémie.

Pour Lucie White et Philippe van Basshuysen, la promesse des applications de recherche de contact semble aujourd’hui largement abandonnée. Pour nombre de gouvernements, leur rôle est vu désormais comme limité. Pour les deux chercheurs, cet échec est lié à la généralisation de solutions décentralisées où les données de proximités sont calculées par les téléphones de chacun plutôt que d’être collectés et analysés dans une base de données centrale gérée par les autorités sanitaires qui aurait permis de mieux signaler le risque de contamination avant que les tests ne confirment ou non la contamination. Une étude préliminaire sur l’efficacité de l’application centralisée norvégienne souligne que l’application a permis de découvrir 11 % de contacts que la recherche manuelle de contacts n’avait pas identifiés. L’application norvégienne a cependant été suspendue en juin 2020 du fait des problèmes de confidentialité qu’elle portait. Amnesty International l’a qualifiée de profondément intrusive, tout autant que celles du Bahreïn et du Koweït, en permettant un suivi quasi direct des déplacements des utilisateurs. Reste que selon l’étude préliminaire sur l’application norvégienne, malgré ses résultats, rien ne prouve que les applications centralisées fonctionnent mieux que les applications décentralisées, au contraire.

La littérature fournit une image très mitigée en termes d’efficacité des applications. L’application israélienne HaMagen, elle, a été considérée comme un échec colossal. Le Japon a vu son programme d’application s’effondrer sous le poids des problèmes techniques. Même constat de défaillance pour l’application italienne Immuni. Aux États-Unis seuls 13 États ont atteint le seuil d’adoption de 15 % que les études de modélisation considèrent comme le premier palier de protection. Mais là encore, difficile de répondre à la question centrale : combien d’infections ont été évitées grâce aux notifications d’exposition ? Pour la journaliste de la Technology Review Betsy Ladyzhets : notre incapacité à répondre à cette question est due à la nature fracturée du système et au fait que mesurer l’efficacité de ces technologies n’était finalement pas une priorité. Pour de nombreux décideurs – en tout cas comme beaucoup s’en justifiaient à l’origine de ces déploiements applicatifs -, ne trouver ne serait-ce qu’un cas supplémentaire grâce à une application est utile – même si cette affirmation un peu rapide évacue la prise en compte du rapport coût/efficacité qui est pourtant mobilisé partout ailleurs, comme si finalement la technologie bénéficiait toujours d’un régime d’exception par rapport aux contraintes qui s’imposent partout ailleurs.

Bref, la question de l’efficacité demeure non tranchée, estime un peu facilement, Algorithm Watch. Au mieux, de nombreux déploiements indiquent un impact modéré sur la dynamique de l’infection. Les résultats obtenus restent peu comparables les uns les autres parce que les politiques de santé publique sont restées hautement contextuelles. Le problème qui demeure, pointe l’ONG, est que, dans l’urgence, ces systèmes ont été déployés sans justification, en tout cas sans apporter de preuves et de justifications d’efficacité… et souvent au déni des discussions démocratiques (notamment quand des données de santé ont pu finir dans les mains de la police). Pour Algorithm Watch, nous devons mieux comprendre quand et pourquoi la recherche de contact numérique a un sens et donc quand elle n’en a pas, c’est-à-dire « comment, quand et pourquoi elle doit cesser ». Il n’est pas certain que le déploiement de ces applications nous y ait aidés !

La confidentialité est toujours critique

Un avis qui sera certainement partagé par la mathématicienne et spécialiste en sécurité informatique de l’université de Tufts, Susan Landau, qui a publié avant l’été un petit livre People Count : contact-tracing apps and public health (MIT Press, 2021, non traduit). La spécialiste y rappelle qu’il n’y a ni santé publique ni suivi épidémiologique sans un profond et réel respect de la vie privée, ni sans s’assurer de l’équité des mesures mises en place par les politiques de santé publique, car les épidémies touchent d’une manière très différenciée les gens, selon leur niveau social, leurs professions, leurs origines, leurs statuts. L’histoire du suivi de contact que dresse en quelques pages la spécialiste souligne que « la confidentialité est toujours critique ». Or, explique-t-elle, la technologie peine à assurer de la confidentialité qu’elle déploie. Pour elle, la technologie apporte plus de biais que d’avantages, notamment parce qu’elle permet de multiplier les objectifs, provenant de multiples parties, sans les rendre nécessairement ou facilement compatibles entre eux. L’intérêt des épidémiologistes n’est pas nécessairement compatible avec celui de la médecine ou des politiques publiques. C’est l’autre aspect du problème. Enfin, sur l’efficacité globale des dispositifs, la spécialiste reste, elle aussi, circonspecte.

Dans son livre, la spécialiste fait l’histoire du suivi de contact, montrant que son efficacité fluctue selon les maladies, leurs modalités de transmission et leur contagiosité. Le caractère asymptomatique de certains malades rend le « tester, tracer, isoler » plus difficile, rappelle la chercheuse. Le travail de suivi de contact est un travail de travailleur social particulièrement intensif et très invasif en terme de vie privée. Quand il fonctionne, c’est un outil très efficace. Imaginée dès 1934 par Thomas Parran, ministre de la santé américain qui a étudié le contrôle de la syphilis, la pratique est devenue un outil essentiel pour lutter contre les maladies infectieuses ou les maladies sexuellement transmissibles. Reste que dans le cas de la syphilis, dès l’origine donc, la question de la confidentialité et de la confiance ont été primordiales. Les responsables du suivi de contact étaient chargés à la fois d’éduquer les patients sur la maladie et d’établir un lien de confiance pour qu’ils leur confient des informations on ne peut plus personnelles, puisque liées à leur sexualité. Cela nécessitait beaucoup de tact, d’écoute et d’empathie. Mais également d’établir une confiance infaillible, d’abord et avant tout en garantissant une confidentialité totale. Comme elle l’explique, « la confidentialité a toujours été critique », et notamment pour lutter contre les maladies où les questions posées par les traceurs nécessitaient d’être les plus invasives possible. Dans la lutte contre le Sida, le fait de savoir que quelqu’un était infecté pouvait avoir des conséquences dramatiques. Si la personne chargée du suivi de contact est responsable de la santé publique, son premier devoir est de respecter la confidentialité et l’autonomie des patients. Face au virus Ebola par exemple, les responsables du suivi de contact se sont heurtés à la rigueur des interdictions mises en place face du fait de la forte létalité et contagiosité du virus rendant leur travail auprès des populations touchées très difficile à réaliser.

Chaque maladie nécessite des enquêtes différentes selon ses caractéristiques infectieuses propres. Effectivement, aux questions où étiez-vous les jours précédents votre positivité et qui était avec vous, il est probable que votre téléphone le sache mieux que vous, en tout cas, c’est une information qu’il peut collecter de multiples manières. Mais pas si simplement qu’automatiquement. Détecter la proximité des personnes par Bluetooth, GPS ou via les antennes de téléphonie mobile près desquelles ils se connectent est « peut-être utile pour tracer les communications de voleurs ou de terroristes, mais est certainement bien moins efficace pour tracer des infections respiratoires ». Ces modalités sont insuffisamment précises, ne voient pas les parois de verre qui peuvent séparer deux personnes à proximité ou peuvent décider d’une proximité qui n’est pas exacte. Tracer une maladie consiste aussi à la définir même avec des approximations, comme le fait de borner la période infectieuse de la maladie ou la distance de contamination. Reste que même face à ces décisions, les technologies ne sont pas suffisamment précises. Dans son livre, Landau détaille les limites de fonctionnement de plusieurs applications, notamment celles déployées par Singapour ou l’application du gouvernement indien Aarogya Setu.

Inégalités et dérives fonctionnelles

L’une des difficultés que pointe Landau, c’est que le coût de leur utilisation n’est pas le même pour tous. Le fait d’être cas contact et contraint à l’isolement n’a pas les mêmes conséquences pour chacun. Mais surtout, constate la chercheuse, l’un des grands problèmes de ces outils numériques est leur « dérive fonctionnelle », c’est-à-dire l’élargissement de leur utilisation à d’autres modalités explique-t-elle, en prenant l’exemple des écoutes téléphoniques qui à l’origine, aux États-Unis, étaient limitées à 25 types de crimes graves, alors qu’aujourd’hui, la liste des cas qui permet leur utilisation s’est élargie à plus de 100 types d’infractions. Pour Susan Landau, nombre de ces applications, par leur très grande intrusivité, adresse de sérieuses menaces aux libertés civiles, menaces que leurs promoteurs devraient prendre plus au sérieux, et ce d’autant que la confidentialité est justement critique en santé publique. Or, les données collectées, tout anonymisées qu’elles puissent être, collectent des informations sur les déplacements et les contacts qui peuvent divulguer bien d’autres informations, comme des déplacements indus en temps de couvre-feu, ou des craintes légitimes sur l’activité de ceux qui sont dans des situations irrégulières. Répondre à ces défis nécessite de mettre la protection de la vie privée en premier, estime Carmela Troncoso (@carmelatroncoso), spécialiste de la sécurité à l’École polytechnique fédérale de Lausanne, très investi dans le développement d’applications de suivi de contact décentralisées et respectueuses de la vie privée. Nombre de chercheurs ont exploré ces idées, pour imaginer des applications qui signalent l’exposition au virus, mais pas les contacts, c’est-à-dire non pas des systèmes de suivis de contact, mais bien des systèmes de notification d’exposition, comme GAEN. Des modèles plus respectueux de la vie privée, mais qui désavantagent les autorités de santé qui cherchent, dans les logiques qui sont les leurs, à démultiplier leurs connaissances sur le suivi épidémiologique. Dans les modèles les plus respectueux, les épidémiologistes ne peuvent même pas savoir où la contamination a lieu, excluant finalement le suivi médical tel qu’ils le pratiquent.

Dans la grande galerie des applications, d’innombrables ajustements et spécificités ont pris place, chacune se démarquant des autres par les orientations locales choisies. Le respect de la vie privée a été la force de certaines applications… Mais pour la protéger, il est essentiel de savoir « Qui veut savoir des choses sur moi ? Que veulent-ils savoir ? Que veulent-ils faire de ces informations ? »… Quand les questions de santé publique impactent la société, comme dans le cas d’une pandémie, plusieurs types d’autorité souhaitent accéder aux informations de santé. La santé publique et la recherche bien sûr, mais également, trop souvent, les autorités chargées de l’application des lois, notamment pour veiller à l’application des mesures de police, comme l’isolement ou le couvre-feu. Bien sûr, il faut aussi veiller à la sécurité des dispositifs, explique longuement la spécialiste, ce qui n’est pas toujours si simple. Au final, « les applications de recherche de contacts reposent sur l’idée que la technologie peut contribuer à résoudre un problème insoluble », notamment parce que ce problème est trop souvent multiple et qu’on pense que la technologie peut tous les adresser dans une seule solution.

Dans son livre, Susan Landau pose elle aussi, la question de l’efficacité, et comme le soulignait Algorithm Watch, explique que cette efficacité est difficile à établir. La promesse des applications de suivi de contact est de notifier les gens potentiellement infectés plus vite que ne saurait le faire le traçage manuel et ainsi de diminuer la propagation de l’infection. Les applications déterminent des distances et des durées d’exposition, sans parvenir à les déterminer correctement à 100 %. La force des signaux, la fréquence de connectivité varient d’un modèle de téléphone à l’autre et sont sensibles à de multiples éléments, comme la présence de murs, la position du téléphone (selon la poche où vous le tenez par exemple), la forme des pièces, les matériaux de construction, etc. Ainsi, deux personnes détectées à proximité peuvent être dans deux appartements différents. Les applications ne savent pas détecter si les gens portent des masques ou pas, si l’une chante ou si elles sont silencieuses, ne connaissent pas les conditions de ventilation des lieux… Les applications au final, peuvent faire remonter des cas que les humains qui s’occupent de suivi de contact n’auraient pas considérés, ce qui peut-être un bénéfice comme un désavantage. Elles produisent à la fois des faux positifs et des faux négatifs. L’application britannique, lors de sa phase de test, a produit 45 % de faux positifs et 31 % de faux négatifs. Ces inexactitudes sont des défis en soi, non seulement pour la santé publique, mais peut-être plus encore pour les individus, notamment du fait des inégalités des conditions leur permettant de s’isoler facilement ou pas. En fait, souligne Landau, l’efficacité des applications reste conditionnée aux réalités et inégalités socio-économiques de la société… « 23 % des habitants de Chicago sont noirs, mais en avril 2020, 58 % des habitants de la ville décédés du Covid étaient Noirs ». Or, explique-t-elle, fort à propos : « ces applications n’ont pas été construites pour adresser les besoins spécifiques des communautés marginalisées. Elles apparaissent comme basées sur un modèle d’utilisateur de la classe moyenne ou supérieure, doté d’un travail qui peut être effectué à la maison. Elles n’ont pas été conçues pour tenir compte des craintes ou de la défiance de communautés qui sont trop souvent sur-surveillées et qui ne peuvent pas tirer parti des recommandations à rester chez soi ». Où comment les préconceptions que les concepteurs ont sur les usagers inscrivent des limites aux objets eux-mêmes, oubliant que les archétypes, que le modèle moyen de l’usager comme le citoyen modèle n’existent pas. Comme elle le dit très bien : « une application qui échoue à fonctionner pour une communauté donnée est une application qui échoue pour nous tous ».

Bien souvent, rappelle-t-elle, le suivi de contact manuel, humain, lui, doit s’adapter aux conditions, explique-t-elle en pointant le succès de celui-ci dans les réserves indiennes de l’Arizona. Là-bas, beaucoup de gens ont été infectés, mais peu en sont décédés, notamment parce que les équipes médicales locales ont adapté leur pratique aux modalités d’existences locales. Dans les communautés indigènes, les grandes distances limitent en théorie la diffusion de la maladie, mais la plupart des familles vivent dans des foyers multigénérationnels. Les enquêteurs ont concentré leurs efforts sur les aînés en demandant à ceux qui avaient des symptômes, qui sont vos grands-parents et en faisant vérifier très vite leur taux d’oxygénation du sang. Au final, les réserves ont eu un taux de mortalité moindre que le reste de l’Arizona. Comment une application générique aurait-elle pu fonctionner aussi bien que l’adaptabilité dont ont su faire preuve les personnes chargées du suivi de contact sur les réserves indiennes d’Arizona ?, questionne Landau.

Tracer les contacts n’est pas facile. Les résultats ont d’ailleurs été différents d’un pays à l’autre, d’une communauté à l’autre. À Taïwan, une personne contaminée fournit en moyenne 15 noms, en Espagne c’est seulement 3, à Philadelphie, un tiers des personnes contactées ont affirmé n’avoir été en contact avec personne. Même la réponse à cette question est éminemment sociale et culturelle. Il n’y a pas que la recherche de contact qui est difficile, l’isolement l’est tout autant. Entre mars et août 2020, en Angleterre, seuls 18 % de ceux qui ont eu des symptômes se sont pleinement isolés, pointait une enquête. L’absence de services sociaux dédiés explique largement ces lacunes : aller chercher à manger, travailler et gagner de l’argent, avoir un endroit où s’isoler, s’occuper de proches isolés sont restés des facteurs pesants sur l’inégalité des possibilités d’isolement. L’efficacité d’une application devrait surtout être testée sur différentes communautés avec différents besoins. Pour Susan Landau, assurément, les solutions qui restent sous le contrôle de l’utilisateur sont toujours celles à privilégier.

L’une des alternatives aux applications pour la population a consisté à construire de meilleurs outils pour assurer le suivi de contact « manuel », humain – même si, dans son livre, Susan Landau reste hélas, complètement silencieuse sur les déficiences des outils qui ont armé les enquêteurs : des scripts d’enquêtes robotiques et peu adaptés, en passant par des systèmes d’alerte produits pour passer à l’échelle plus que pour être précis ou pratiques, la difficulté du suivi de contact « manuel » ne semble pas toujours avoir été mieux loti que sa version applicative. Évaluer la portée des formes d’automatisation qui ont été produites spécifiquement pour les systèmes de santé et pour accompagner les efforts de suivis dans le cadre de la pandémie est encore à faire. Maurice Ronai (@mauriceronai) – qui a d’ailleurs produit une veille spécifique sur le sujet sur un blog dédié – tente d’en dresser pour la France dans un très intéressant numéro de la revue Enjeux numériques consacré aux réponses numériques à la crise sanitaire. Il souligne notamment dans un article consacré à « La construction accélérée d’un système d’information épidémiologique » (.pdf) combien le suivi de contact a nécessité d’organiser et de déployer des outils dédiés pour identifier les clusters. Mais, comme il le souligne dans un second article sur « La numérisation à marche forcée du système de santé face à la Covid-19 » (.pdf), en reprenant les constats accablants de la commission d’enquête du Sénat, « le constat global du traçage reste celui d’un échec ». Traçage lacunaire, défaut d’interconnexion des outils, défaut d’implication, éviction des médecins… L’enjeu de construction d’un millefeuille de surveillance épidémiologique pour armer le suivi et la décision médicale s’est fait dans l’urgence, négligeant l’interopérabilité, favorisant une forme d’industrialisation des réponses pour passer à l’échelle des besoins au détriment de leur qualité. Comme le pointaient les chercheurs en sociologie des organisations dans Covid-19 : une crise organisationnelle (Presses de SciencesPo, 2020), la coopération et la coordination sont restés le maillon faible, et les dispositifs techniques mis en place n’ont pas créé l’organisation nécessaire – pour autant qu’ils puissent suffire à le faire (voir notre article, « Dégouverner »).

Dans l’urgence, nous n’avons pas eu de discussion publique quant à savoir si le déploiement d’applications était une mesure de politique publique appropriée, regrette la chercheuse. Les autorités de santé utilisent les termes « surveiller et confiner » pour décrire les plus puissants outils qu’ils mobilisent à l’encontre des maladies. Avec la pandémie, les modalités de surveillance et de confinement ont été multiples et souvent sévères. Google et Apple ont été les premiers à proposer des solutions techniques dès avril 2020. En juin, SwissCovid a été la première application disponible. Durant l’été, nombre d’autres applications ont été lancées en Europe. Google et Apple, qui ne sont ni l’un ni l’autre des autorités de santé bien sûr, ont posé les bases des briques techniques et imposé à tous, par leurs spécifications, de nombreuses limites aux autres outils. S’ils ont promu des garanties comme la protection des données des utilisateurs, ils ont minimisé d’autres éléments, comme la protection des utilisateurs par exemple en optant pour une solution qui favorise de hauts niveaux de faux positifs et de faux négatifs. Pour Landau, si les applications sont des outils de santé publique, alors il faut pouvoir savoir si leur usage améliore l’équité de santé ou la dégrade.

Les applications de suivi de contact ont été une expérimentation sociale dans le monde réel. Le problème, estime Landau, c’est le risque de dérapage, de glissement qu’introduisent ces outils… Ils introduisent l’idée que la collecte de données de ce type peut devenir finalement une nouvelle normalité. Même si nous pensons aux outils les plus respectueux de la vie privée parmi ceux déployés, ils restent conçus pour révéler par qui, quand et où, notre exposition à eu lieu. Cette idée seule finalement pourrait être utilisée à d’autres objectifs, comme pour nous mettre à l’abri de la criminalité. La police utilise déjà les données de proximité des antennes de téléphones mobiles pour retrouver des criminels. Des autorités plus répressives pourraient vouloir user d’informations de ce type pour analyser les relations politiques d’opposants, de migrants, d’activistes… ou de lanceurs d’alertes ! L’usage de ces outils nous conditionne à accepter qu’il soit normal que nos outils tracent nos contacts, comme le font déjà nombre d’applications commerciales et sociales que nous utilisons tous les jours, même si nous vendre de la publicité n’a pas les mêmes conséquences que nous dénoncer aux autorités.

Les épidémies sont à la fois un phénomène médical et social. La technologie ne suffit pas à nous protéger. Sans infrastructures de santé, sans lois qui empêchent les autorités chargées du maintien de l’ordre ou de l’immigration d’accéder à ces informations, sans infrastructures de santé pour soutenir financièrement les gens en difficulté quand on les isole, la technologie seule a une valeur limitée. Oui, les épidémies tuent des gens. Reste que décider comment prioriser les interventions sociales et médicales nécessaires pour mener une lutte la plus efficace possible n’est pas immanent. Nos efforts techniques n’ont pas été des plus probants dans la lutte contre l’épidémie, comme s’en désolaient de nombreux acteurs il y a quelques mois. Comme souvent, semble-t-il, plus il y a d’impacts sociaux, moins la technologie est une bonne réponse au problème.

Enfin, toutes ces difficultés évoluent également dans le temps et c’est également un problème. Les autorités de Singapour par exemple ont d’abord affirmé que l’application de suivi de contact ne servirait qu’au suivi de contact, avant de l’utiliser pour faire surveiller l’application de la loi par les autorités chargées du maintien de l’ordre. De volontaire, l’application est devenue obligatoire pour accéder aux bureaux et locaux, passant d’une application de suivi de contact à une prémisse de passe sanitaire… Nombre d’applications ont ainsi changé d’objectifs et de fonctions au fil du temps, sans qu’on sache toujours très bien l’étendue de leurs fonctions d’ailleurs. Mais il n’y a pas que les applications qui ont évolué, le contexte sanitaire et le rapport des gens à la maladie a évolué également. Un récent article du Monde rapportait par exemple que le traçage des cas contacts avait ralenti avec l’extension de la vaccination. Alors que les agents chargés du suivi de contacts recueillaient environ 2,3 noms de personnes exposées en mars 2021, elle ne serait plus que de 1,4 contact désormais. Comme le rappellent les spécialistes du traçage, le nombre moyen de contacts déclaré a tendance à baisser lorsque la circulation du virus est forte. En fait, trop souvent, les outils se vident de leur sens à mesure qu’on les utilise, comme si, finalement, les données qu’ils produisent n’avaient une utilité que le temps qu’elles produisent la confirmation qu’on en attend. Comme s’il fallait toujours que la solution technique déroule ses impasses pour se rendre compte qu’elle ne les résout pas. La publication d’information sur les foyers de contagion a été arrêtée en novembre 2020 en France au prétexte qu’elles restaient fortement sous-estimées et qu’ils ne représentaient qu’une très faible part de l’ensemble des personnes positives. Au final, c’est comme si chaque outil, derrière ses promesses, ne faisait que révéler surtout et partout ses limites.

La pandémie interroge le sens même et la portée des infrastructures de surveillance que nous sommes capables de produire pour nous protéger. Nous n’avons pas attendu la pandémie pour construire des réseaux de vidéosurveillance disproportionnés à leurs efficacités. C’est un peu finalement comme si la pandémie avait favorisé nos pires travers, comme si la sécurité pouvait être notre seule liberté, alors qu’elle n’en est qu’une composante parmi d’autres, qui semble d’ailleurs bien plus dépendre de l’égalité et de la fraternité que de la seule surveillance.

Hubert Guillaud

En 2018, McKinsey a publié un épais rapport sur la révolution de l’automatisation, prédisant que les robots et l’IA allaient rendre obsolètes la plupart des travailleurs. Mais ce n’est pas la tendance qu’on lisait dans les statistiques publiées par le ministère américain du Travail, explique l’historien Jason Resnikoff, dans les bonnes feuilles d’un livre à paraître La fin du travail : comment la promesse de l’automatisation a dégradé le travail (Labor’s End : How the Promise of Automation Degraded Work, University of Illinois Press, 2021) publiées par le magazine en ligne Zocalo. Les statistiques montraient qu’entre 2005 et 2018, alors que nous étions « à l’aube d’une nouvelle ère d’automatisation », les États-Unis ont connu une chute remarquable de la productivité du travail, avec une croissance moyenne inférieure de 60 % à la période précédente, 1998-2004. Alors que la promesse de notre remplacement par les machines aurait du faire augmenter la productivité du travail, on constatait l’inverse ! Pour les chercheurs, cet effondrement de la productivité était un phénomène économique majeur, apportant un démenti cinglant à la perspective d’un progrès technologique inédit. Très concrètement, nombre de personnes expérimentent cette dichotomie en étant soit sous-employées ou inemployées, soit en travaillant plus que jamais. Alors que les ordinateurs étaient supposés réduire le temps de travail, ils nous ont surtout fait travailler plus que jamais !

L’automatisation : travailler plus et moins cher

Pour Jason Resnikoff, les promesses infinies de l’automatisation de l’industrie automobile ou de l’informatique étaient un cadre de discussion permettant de tirer profit de l’enthousiasme technologique d’une époque. Mais pour lui, le terme même d’automatisation relève bien plus d’une invention idéologique que technique qui n’a jamais vraiment profité aux travailleurs, puisque son sens même signifiait « l’écrasement mécanique des travailleurs », plus que leur remplacement. En fait, si on la lit depuis ce sens, l’automatisation n’a cessé de rendre la vie des travailleurs plus dure et ingrate. Les outils de l’automatisation ont surtout été utilisés pour dégrader, intensifier et accélérer le travail humain et plus encore pour l’invisibiliser derrière les machines.

« Tout ce que l’automatisation a signifié pour nous, c’est le chômage et le surmenage », déclarait un ouvrier de l’automobile dans les années 1950 ; un autre faisait remarquer que « l’automatisation n’a pas réduit la pénibilité du travail… pour le travailleur de la production, cela signifie un retour aux conditions de l’atelier clandestin, une accélération de la vitesse et une adaptation de l’homme à la machine, au lieu de la machine à l’homme ».

L’ordinateur est certainement le meilleur symbole de cette menace et promesse de l’automatisation, explique Jason Resnikoff. En 1952, l’entrepreneur américain John Diebold publie Automation (qui fut traduit en 1957 chez Dunod sous le titre Automatisme, vers l’usine automatique). Il fait de l’automatisation un terme familier et surtout introduit l’idée que l’ordinateur pourrait traiter l’information, tâche qui était jusqu’alors dévolue aux employés de bureau, en permettant d’échapper aux limites humaines de ces traitements, d’une manière plus rapide et plus fiable. Les employeurs ont été séduits par ce message, non pas tant par l’attrait de puissance ou le fantasme de machines qui écriraient toutes seules… mais parce qu’au sortir de la Seconde Guerre mondiale, les entreprises s’inquiétaient de la syndicalisation, et ce alors qu’elles s’étaient dotées d’un nombre sans précédent d’employés de bureau à bas salaire, essentiellement des femmes. « Entre 1947 et 1956, l’emploi de bureau a augmenté de 50 %, passant de 4,5 à 9 millions de personnes. En 1954, une femme salariée sur quatre aux États-Unis était employée de bureau. » Le boom d’une main d’œuvre de bureau à bas salaire était en train de transformer les bureaux en usine. Les ordinateurs ont été installés, pas tant pour accélérer le traitement que pour réduire le nombre d’employés de bureau nécessaires… sans y parvenir.

En effet, le nombre d’employés de bureau aux États-Unis a continué à augmenter jusque dans les années 80… tout comme l’information. Si les ordinateurs étaient capables de traiter l’information rapidement, la saisie de données, elle, restait une tâche humaine. « Incapables d’éliminer la main-d’œuvre humaine du travail de bureau, les gestionnaires sont revenus à ce qu’ils faisaient depuis l’aube de la révolution industrielle : ils ont utilisé des machines pour dégrader les emplois et économiser de l’argent. » Ils se sont inspirés du Taylorisme et des manuels de « gestion scientifique du travail » du début du XXe siècle et ont rebaptisé cette pratique l’automatisation… Dans une grande compagnie d’assurance des années 50, il y avait 20 employées de bureau pour chaque directeur. Bien moins de secrétariat qualifié et bien rémunéré qu’on le pense. 3 personnes sur 5 qui travaillaient avec des ordinateurs dans l’industrie de l’informatique dans les années 50 et 60 étaient des employés de bureau mal rémunérés. Cette réalité pourtant a été masquée par une rhétorique vantant l’automatisation…

« L’automatisation » dans les bureaux américains signifiait que davantage de personnes étaient contraintes de travailler comme des machines. Parfois, cela permettait aux employeurs d’engager moins de travailleurs, comme dans les industries de l’automobile, des mines de charbon et de l’emballage de la viande, où un employé faisait désormais le travail de deux. Parfois, il a fallu embaucher davantage de personnes, comme dans le cas du travail de bureau. »

Pour Jason Resnikoff, c’est encore l’histoire de l’automatisation aujourd’hui, explique-t-il en évoquant Slack, cet outil qui permet de partager un espace de discussion dans les organisations. Sur son site web, Slack présente son application comme un outil de flexibilité, quand il permet surtout d’insinuer l’idée d’un travail sans fin, où que vous vous trouviez et à n’importe quelle heure. Il y a 70 ans, les employeurs ont utilisé les technologies pour faire travailler plus et moins cher. On y est encore !

C’est visiblement le propos du livre de Resnikoff : nous aider à voir l’automatisation comme une idéologie plutôt que comme une technologie, permettant de masquer l’intensification du travail humain, de nous faire croire que la liberté consiste en l’absence de travail, et de minimiser le rôle politique de nos lieux de travail. Comme nous l’expliquait déjà Jerry Muller dans son livre, le taylorisme a permis d’éclipser ce qui était important au profit de ce qui pouvait être mesuré. À croire que nous sommes toujours englués dans ces difficultés.

Coincés dans le paradoxe de la productivité de la technologie : l’accélération plus que l’efficacité

Voilà longtemps que le paradoxe de la productivité des nouvelles technologies est mis sur la sellette, à l’image des travaux de l’économiste Robert Gordon qui montrent que les technologies de l’information et de la communication n’ont pas eu un fort impact sur la productivité. Pour certains, cela s’expliquerait par le fait que les développements technologiques seraient finalement toujours insuffisants. D’autres estiment que c’est la proposition de valeur même de nos outils technologiques qui est inadaptée.

C’est le propos notamment de l’éditorialiste et professeur d’informatique Cal Newport (blog) dans son dernier livre : Un monde sans e-mail : réimaginer le travail à l’ère de la surcharge de communication (A World Without E-mail : reimagining work in an age of communication overload, Penguin Random House, 2021, non traduit). Comme on peut le lire sur Wired ou le New Yorker, la technologie ne nous a pas aidés à travailler plus efficacement. En 1997 déjà, l’historien des technologies Edward Tenner (@edward_tenner) dans Why Things Bite Back : Technology and Revenge of Unintended Consequences (Vintage, 1997, non traduit) interrogeait le paradoxe de la productivité malgré l’introduction de l’ordinateur de bureau et soulignait déjà que la facilité n’était pas l’efficacité. « L’ordinateur a rendu certaines activités courantes plus efficaces, mais il a aussi créé davantage de travail global à effectuer », explique Newport à la suite de Tenner. En 1992, l’économiste Peter Sassone, étudiant l’impact des nouvelles technologies dans de grandes entreprises, avait montré que celles-ci avaient licencié du personnel avec l’arrivée des ordinateurs, concentrant le travail en moins de mains. Les petits employés de bureau ont alors disparu, mais, pour maintenir le niveau de production, les entreprises ont embauché plus d’employés de niveau supérieur. Pour Sassone, l’introduction des ordinateurs pour améliorer la productivité a surtout coûté plus cher aux entreprises.

Dans son livre, Newport pointe les limites de nos modes de communication actuels, que ce soit par e-mail ou via des outils comme Slack. En 2005, nous envoyions et recevions en moyenne 50 mails par jours. En moyenne, nous en sommes à 126 aujourd’hui, se désole-t-il. En 2017, l’économiste Dan Nixon soulignait que la productivité dans les économies avancées était restée faible à l’époque de l’arrivée massive des smartphones. Pour Newport, les innovations technologiques visant à rendre la communication plus rapide et omniprésente n’ont pas réussi à changer les choses. En fait, nos outils n’ont cessé d’accélérer la communication, à l’image de Gmail, qui complète nos réponses avant qu’on les écrive et qui classe et hiérarchise nos messages avant qu’on les lise. Mais accélérer les tâches ne garantit pas de nous rendre plus productifs ! S’il est facile d’envoyer un rapport à ses collègues, il est certainement plus difficile qu’avant de trouver le temps de le lire voir de le rédiger. Pour Newport, nous ne pouvons pas nous contenter de multiplier les outils, comme le font trop d’entreprises en disant aux gens débrouillez-vous. Ce qui nous manque souvent, c’est de la structure, de l’organisation. Pour le dire plus simplement, l’accélération technique ne produit ni méthode ni productivité.

Dans un autre article de Wired, la journaliste Anne Helen Petersen (@annehelen, blog), qui a publié Je ne peux même pas : comment les Millennials sont devenus la génération Burnout (Can’t Even : How Millennials Became the Burnout Generation, Mariner Books, 2020, non traduit), fait le même constat. Au lieu d’optimiser le travail, la technologie a surtout créé un barrage ininterrompu de notifications et d’interactions… Avec les réseaux sociaux de travail, la dépendance au travail (le Workaholisme) a cessé d’être un problème personnel. Comme si le numérique avait aboli toute limite au travail et renforcé l’anxiété générale. Nous travaillons tout le temps pour compenser la « sous-évaluation générale de notre propre travail », constate de dépit la journaliste. « Plutôt que de briser le système », nous nous fondons dans ses spécificités. Le Burnout n’est pas une affliction temporaire, c’est la condition de travail moderne.

« Internet n’est pas la cause première de notre épuisement. Mais sa promesse de « nous faciliter la vie » est profondément brisée, car elle est responsable de l’illusion que « tout faire » n’est pas seulement possible, mais obligatoire. Lorsque nous n’y parvenons pas, nous ne blâmons pas les outils défectueux : nous nous en prenons à nous-mêmes. Au fond de nous, nous savons que ce qui exacerbe l’épuisement professionnel n’est pas vraiment l’e-mail, ou Instagram, ou un flux constant d’alertes. C’est l’échec continu à atteindre les attentes impossibles que nous nous sommes fixées. »

Même constat de Newport dans le New Yorker : le stress est devenu la mesure par défaut pour juger si nous sommes suffisamment occupés ! Et les systèmes de travail sont devenus suffisamment autonomes pour évoluer indépendamment de tout plan rationnel. Pour Newport, le problème repose surtout sur l’autonomie accordée aux individus par nos systèmes techniques pour décider de leur travail ! Pour redevenir plus productif, il faudrait que nous en fassions moins.

Reste à savoir si ces descriptions de l’enfer des travailleurs intellectuels dépassent le cadre des Bullshit Jobs. La désorganisation de nos outils numériques favorise-t-elle l’autonomie, comme s’en désole Newport, alors que ceux-ci produisent une surveillance sans précédent de nos pratiques ? Certes, ils aident peu à démêler les priorités, comme le soulignaient les chercheurs en économie Sheila Dodge, Don Kieffer et Nelson Repenning, et malgré leurs aspects symbiotiques, produisent surtout de l’individualisation des collectifs de travail, chacun déchargeant son travail sur d’autres, au détriment de son organisation.

Pourtant, renvoyer la culpabilité à l’utilisateur final, au dernier maillon de la chaîne, est trop commode pour convaincre. Certes, ils désorganisent bien plus qu’on le pense. Mais est-ce suffisant pour expliquer la stagnation endémique de la productivité ?

L’automatisation n’annonce pas la fin du travail : le problème est bien plus économique que technologique

Alors, prenons un peu de hauteur. On peut également regarder cette question, non pas à un niveau individuel ou organisationnel, mais à un niveau macro-économique.

Cet été, le journaliste économique de Médiapart, Romaric Godin (@RomaricGodin) – qui a signé en 2019 l’excellent La guerre sociale en France (La Découverte) -, revenait sur le récent livre de l’historien de l’économie Aaron Benanav (@abenanav) : L’automatisation et l’avenir du travail (Automation and the Future of Work, Verso, 2020, non traduit).

Pour Benanav, comme pour nombre d’autres analystes que nous avons évoqué ici, « l’idée que la désindustrialisation et le sous-emploi endémique s’expliquent par une accélération de l’automatisation et de la technologie ne résistent pas aux faits ». Comme l’explique Juan Sebastian Carbonell dans un compte-rendu du même livre pour Grand Continent : « la source du chômage et du sous-emploi chroniques n’est pas technologique, mais économique ». La crainte d’une automatisation totale qui se débarrassait des travailleurs ne résiste pas aux perspectives. Depuis 4 décennies, la croissance de la productivité n’a cessé de ralentir, alors que les théoriciens de l’automatisation n’ont cessé de prédire le contraire. Pour Benanav, la désindustrialisation de l’emploi n’est pas tant le produit de l’automatisation que du ralentissement de la croissance de la production. Pour l’économiste, ce n’est pas tant la technologie qui détruit l’emploi que la surproduction. La demande ne suit pas l’évolution de nos capacités industrielles que la concurrence internationale a rendue trop redondante. Au final, dans l’industrie automobile par exemple, l’innovation technologique autour d’une quatrième révolution industrielle propose des gains de productivité trop faibles par rapport à l’investissement nécessaire pour faire advenir ce nouvel âge technologique. Il y a des secteurs où la technologie a bien supprimé le travail, l’agriculture industrielle par exemple, mais dans nombre de secteurs, l’investissement technologique n’est pas assez profitable pour se faire. Cela n’empêche pas les gourous de l’automatisation du travail de continuer à être très écoutés : leur capacité à dépeindre un futur meilleur qu’il ne se profile y est certainement pour beaucoup.

Plus qu’un chômage de masse provoqué par la technologie, la perspective à venir tient surtout d’un futur sans emploi de qualité, fait d’emplois précaires, notamment pour les plus défavorisés. Quant à la productivité, selon Kim Moody, elle serait plus le fait de l’innovation organisationnelle et du lean management que de l’automatisation technologique.

Pour dépasser cette impasse, il faudrait réorganiser la production autour d’une logique de dépassement de la rareté (post scarcity) c’est-à-dire partir des besoins collectifs pour répartir le travail, estime Benanav. « Ce n’est plus alors la logique du profit qui décide de l’attribution de l’emploi, mais celle du bien commun, prenant en compte les besoins, mais aussi les limites écologiques et sociales. »

On semble en être encore très loin.

Reste que toutes ces critiques semblent s’accorder sur un point : l’automatisation pour elle-même ne nous conduit nulle part.

Hubert Guillaud

Il est temps de refermer cette 15e saison d’InternetActu.net (@internetactu) ! Merci à tous de votre fidélité !

Cette année, nos articles (une petite quarantaine) ont réalisé en moyenne 25 000 vues (tout support confondus). InternetActu.net repose essentiellement sur 4000 à 5000 lecteurs très fidèles, qui lisent quasiment chacun de nos articles, que ce soit par e-mail, RSS ou sur le site. Une audience plus resserrée qu’il y a quelques années, notamment parce que nous avons arrêté les partenariats extérieurs et les republications. En retour, l’audience se révèle assurément moins volatile et plus fidèle – pour ce que nous en mesurons, à savoir très peu, puisque depuis 2016 nous avons supprimé tout traceurs d’audience autre qu’un simple compteur de vue par article, préférant l’autonomie et la liberté de nos lecteurs à leur contrôle, en accord avec nos convictions.

Nous espérons en tout cas que cette saison vous a nourri de sujets, de concepts, d’idées, de leviers et d’exemples pour mieux comprendre les évolutions du numérique. C’est en saisissant ses effets en profondeur que nous nous armerons collectivement pour le réorienter.

Nous avons consacré beaucoup d’articles à évoquer les risques que fait peser le numérique sur la société et notamment les dérives de l’aide sociale automatisée relatives à l’enfance, aux prestations sociales, en passant par l’extension des boites noires aux dangers de l’exécutabilité des règles, de la mal-mesure, que cela concerne la santé et la médecine comme la modération automatisée…

Nous avons plongé en profondeur dans quelques livres, toujours critiques, qui permettent de renouveler nos compréhension du numérique et de ses effets, comme Race after technology, La nouvelle guerre des étoiles, Dictature 2.0, L’âge du capitalisme de surveillance, Design Justice, Atlas of AI et Contrôler les assités…

Nous avons profondément interrogé le sens du développement informatique, sa prétendue robustesse, ses enjeux de société, les limites des méthodes prédictives, l’addiction algorithmique, les limites de l’audit algorithmique, celles de la critique, les causes de ses échecs et pannes, ses limites à auto-corriger ses propres errements, et son idéologie même.

Nous avons également instruits des questions pour retrouver des modalités d’action : l’algovernance, l’enjeu du renouveau des licences libres et celui de libérer les modes de gouvernance, interroger la question des modalités de la dé-surveillance (et ses enjeux), le levier du définancement, l’enjeu à créer une diversité de services numériques publics… et nous avons cherché à interroger les modalités possibles d’une politique numérique de gauche.

Nous avons pointé le besoin d’une mobilisation plus forte pour défaire les développements toxiques du numérique reposant sur la transparence ou son exact contraire, le risque d’une opacité sans limite ou encore l’enjeu à réparer l’ingénierie du social…

Enfin, nous avons également tenté d’instruire des questions plus difficiles liées aux transformations qu’à introduit la crise pandémique : sur la difficulté à saisir l’incertitude, sur le constat que la démultiplication des données ne fait advenir aucune vérité, sur les enjeux de la visioconférence dans laquelle nous avons tous basculés, sur la désorganisation ou encore l’avènement d’une ville de la souscription…

Nous espérons que tous ces sujets vous ont apporté de la matière pour comprendre et ré-orienter le développement technique.

Nous vous invitons à continuer à nous lire bien sûr et surtout à nous partager, à nous aider à nous faire découvrir à de nouveaux lecteurs encore et toujours, à nous référencer… Nous espérons surtout que nos propos génèrent plus de discussions demain qu’aujourd’hui, parce que plus que jamais le numérique nécessite d’être débattu, mis en question, critiqué.

Bonnes vacances à tous et à très vite !

Hubert Guillaud

La revue Terrain (@RevueTerrain, blog, index) publie un hors-série sur le « sublime bureaucratique », coordonné par les ethnologues et sociologues Emmanuel Grimaud (qui vient de faire paraître par ailleurs Dieu point zéro, PUF, 2021), Anthony Stavrianakis et Camille Noûs (@NousCamille, un pseudonyme collectif émanant du groupe RogueESR –@rogueesr – personnalisation d’une communauté académique critique issue du laboratoire délocalisé et interdisciplinaire Cogitamus – @CogitamusLab).

Un hors série qui plonge dans les formulaires et les techniques de production de la rationalité administrative, entre admiration et terreur. Dans ces exercices d’exorcisme (magnifiés de contributions graphiques provenant d’une belle diversité d’artistes pour mieux les subjuguer), les chercheurs soulignent, via nombre d’exemples, envoûtants, combien la technicité ne pourra jamais embrasser le monde. L’ensemble livre de belles épaisseurs sur l’absurdie à laquelle nous participons, que ce soit sur des objets convenus, comme Parcoursup – « Numéritocratie », une synthèse parfaite du sujet par la toujours remarquable Isabelle Bruno – , le Crédit impôt recherche – « L’équation managementale » par Nicolas Bataille qui s’intéresse aux contorsions à produire des justificatifs – , le FMI – « Dessine-moi un FMI » d’Horacio Ortiz qui s’interroge sur la difficulté à saisir une organisation par ses productions… Ou des objets qui le sont bien moins comme la formule du taux de mortalité journalier des usines à poulet en Europe – « La formule de la chimère » de Gil Bartholeyns – qui vient de publier Le hantement du monde (éditions du Dehors, 2021) qui interroge l’origine même de la production de normes. Ou encore l’incroyable article d’Etienne Bourel, « (Dé)rég(u)ler la forêt » qui s’intéresse aux diamètres minimum d’autorisation de coupe d’arbres dans l’exploitation forestière au Gabon. Les formulaires de comités d’éthique pour produire de l’éthique de Christos Panagiotopoulos dans « Déformuler » qui souligne combien la variabilité des protocoles de recherche produit d’inconsistance. Les calculs complexes du taux d’incapacité qui souligne les limites de la reconnaissance du handicap, comme si l’administration était incapable finalement de produire la sensibilité nécessaire à mesurer le sensible – « 50 nuances d’incapacité » par le groupe d’intervention Usher-Socio. Ou encore une plongée glaçante dans le formulaire de calcul du niveau de coma (le « Coma recovery scale revised ») par Sélima Chibout qui nous rappelle que plus la réalité est insaisissable, plus nous produisons des dispositifs inopérants… Ou encore ce puissant retour sur la naissance d’Excel, « La feuille qui calcule le réel » par le Recursion Lab, qui met en abîme le réductionnisme de la mise en cellule du calcul…

Nous sommes cernés par des catégorisations qui segmentent le réel sans jamais parvenir à le réduire, nous explique ce numéro. A mesure que nous recherchons plus d’efficacité, nous démultiplions les procédures certes, mais surtout les confusions… Nous éloignant toujours plus du vivant qu’on voudrait saisir. Cette « descente » dans le cœur des normes, des formulaires, des calculs, des procédures montre assurément que c’est là désormais que la politique se produit. Comme l’expliquent dans leur introduction Emmanuel Grimaud et Anthony Stavrianakis, l’envoutement se referme sur nous. « Nous ne pouvons imaginer d’autre solution » à la rationalité et à la technicité que nous mettons en œuvre, alors qu’elle ne cesse de produire ses propres limites. Nous sommes pris dans le cercle infernal de notre propre désir de règles « claires, édictées, matérialisées, formulées »… « Peut-on contrer la pulsion organisationnelle par autre chose que de l’organisation ? » Passionnant !

Hubert Guillaud

PS : nous ajouterons les liens vers les publications en ligne lorsqu’elles seront disponibles.

Pour les ingénieurs, bien souvent, la question des biais algorithmiques n’est qu’un problème technique à corriger. Le fait qu’une IA ne soit ni neutre, ni loyale, ni équitable n’est finalement qu’une question de modélisation à ajuster, de données à corriger, de calculs à améliorer…

Pour remédier aux discriminations, il suffirait finalement de calculer des mesures correctrices proportionnelles au niveau de discrimination, une discrimination positive en quelque sorte. Ce n’est peut-être pas si simple…

Kate Crawford (@katecrawford) le disait très bien : quelle correction appliquée ? La question est bien plus compliquée qu’une correction relative à des problèmes de physique, comme de corriger les turbulences d’un avion ou le freinage d’une voiture. Modéliser la société n’est pas la même chose que modéliser des problèmes de physique, disait déjà le physicien Pablo Jensen…

Reste que la question de la correction des biais des systèmes fait de plus en plus l’objet d’une attention forte des autorités. Et trouver les préjugés de l’IA est devenue une activité en plein essor pour les startups et les grands noms de la technologie, rapporte le journaliste Cade Metz (@cademetz, qui vient de publier Genius Makers, Penguin, 2021) dans le New York Times.

Le National Institute of Standards and Technology a publié récemment une proposition détaillant la manière dont les entreprises peuvent lutter contre les préjugés de leurs systèmes. Fin 2019, les régulateurs de l’État de New York ont ouvert une enquête contre United Health Group accusé d’avoir utilisé un algorithme dans des hôpitaux qui donnait la priorité aux patients blancs sur les patients noirs (et ce n’est pas le seul exemple des problèmes que l’usage de l’IA en médecine pose, cf. notre article « En médecine, l’IA est en plein essor, mais pas sa crédibilité »). Plus de 100 millions de dollars ont été investis au cours des 6 derniers mois dans des entreprises explorant les questions éthiques liées à l’intelligence artificielle, estime PitchBook, un cabinet de recherche qui suit les activités financières des entreprises. Software Alliance (@BSAnews) a proposé récemment un cadre détaillé (.pdf) pour lutter contre les préjugés de l’IA en pointant le fait que certaines technologies automatisées nécessitaient une surveillance humaine régulière. Les grandes entreprises du numérique travaillent toutes sur ces sujets et déploient des outils dédiés.

Le problème, c’est qu’il n’y a pas de solution simple pour lutter contre les biais. Pour nombre d’entreprises, construire une technologie équitable consiste surtout à ignorer les problèmes de discrimination qu’elle crée (ce qu’on appelle, d’une manière assez paradoxale, « l’équité par inconscience »). L’idée est simple : plus on apporte de données – et notamment des données les plus diverses possibles -, plus l’équité viendra. Pour la Software Alliance cependant, tout comme pour nombre de spécialistes du sujet, cet argument ne tient pas la route. Le problème n’est pas la masse de données, mais bien leur qualité, leur diversité bien sûr, qui n’est pas nécessairement assurée, mais aussi leur validité.

Le problème du problème, c’est que nous ne savons pas à quel point le problème des biais est grave, estime Jack Clark (@jackclarksf), cofondateur d’Anthropic, membre du laboratoire Human-Centered Artificial Intelligence de Stanford (StanfordHAI) et auteur de l’AI Index (@indexingai). C’est-à-dire que si nous constatons que le problème est profond, nous avons du mal à mesurer son impact et ses conséquences.

Des outils pour débiaiser ou des outils pour accélérer et réduire les coûts de la mise en conformité ?

Liz O’Sullivan (@lizjosullivan, blog), conseillère pour Arthur.ai, un système de surveillance de la performance et de détection de biais pour les outils d’IA, membre de l’American Civil Liberties Union et directrice technologique du programme Surveillance Technology Oversight Project, a construit avec Rumman Chowdhury (@ruchowdh), Parity, une technologie qui analyse les données, les technologies et les méthodes utilisées par les entreprises pour créer leurs services et identifier les « zones » à risque. Parity examine les biais, la conformité à la loi et fournit des recommandations dédiées. Mais plus que la responsabilité, Parity travaille sur le risque, une notion bien plus préhensile pour les entreprises. Parity dispose d’une bibliothèque de questions qu’elle adresse aux concepteurs des systèmes selon leurs fonctions et connaissances, des juristes aux scientifiques. Les réponses, souvent en texte libre, sont elles-mêmes analysées par des outils de traitement du langage naturel et traduit en risques, permettant souvent de montrer que les risques des uns ne correspondent pas aux risques des autres. Ensuite, la plateforme recommande un ensemble d’actions pour atténuer les risques, comme de créer un tableau de bord pour surveiller en permanence la précision d’un modèle ou mettre en place des procédures de documentation sur la manière dont il est formé et affiné. Il intègre plusieurs outils de contrôles comme AI Fairness 360 d’IBM ou les Model Cards de Google (voir notre article : « Auditer les algorithmes »). L’enjeu estime Chowdhury consiste à réduire le temps nécessaire à l’audit des systèmes pour le faire plus régulièrement et souvent, soulignant là encore, combien l’automatisation des questions de conformité (et toutes les formes d’évaluations qui les accompagne, à savoir les mesures de qualité, d’impact social et environnemental…), qui nécessitent des évaluations chronophages et coûteuses, doivent être réduites dans le but de produire des économies d’échelles et des gains de productivité. La question de l’automatisation de l’atténuation des biais relève surtout d’une automatisation de l’intégration des formes régulations. Pour Chowdhury pourtant, l’enjeu est de pousser un cran plus loin : il est de faire passer les entreprises du calcul du risque à l’analyse de leurs impacts.

Reste qu’il est finalement troublant que le « débiaisage » de l’IA utilise des technologies d’IA qui peuvent elles-mêmes être biaisées. Si ces outils sont aussi imparfaits que l’IA, ils permettent au moins de souligner certains problèmes, veulent croire les chercheuses. L’enjeu, estime Liz O’Sullivan, c’est surtout de créer du dialogue. Trop souvent le problème vient du fait qu’il demeure ignoré ou que les personnes qui en discutent ont le même point de vue. Ce qui manque, bien souvent, c’est une diversité d’approche de ces questions.

Sur son blog, Liz O’Sullivan revient par exemple sur le besoin d’équité des moteurs de recommandation. Les moteurs de recommandation aident les entreprises à prédire ce qu’elles pensent que vous aimeriez voir. Pour Netflix ou YouTube, cela se traduit par le choix de la vidéo suivante qui vous sera proposé en lecture automatique. Pour Amazon par le choix d’articles à vous suggérer dans un courriel promotionnel. Les systèmes de recommandations doivent donc prendre en compte 2 aspects d’un problème : ce qu’ils recommandent et à qui ils le recommandent.

Pour recommander des contenus, cela nécessite bien souvent d’apprendre d’une combinaison à détecter les articles similaires et les utilisateurs similaires. Les moteurs de recommandation recommandent des articles sur la base de « préjugés inductifs », selon le modèle courant que les utilisateurs qui semblent similaires dans le passé continueront à l’être dans le futur. Le problème de ce biais inductif est multiple. Tout d’abord, il favorise la popularité : quel que soit le contenu que vous recommandez à un utilisateur, tous les chemins de la recommandation mènent à la vidéo la plus populaire du jour. Grosso modo, YouTube va vous recommander la vidéo que tout le monde regarde, comme a pu l’être Gangnam Style à une époque. Le biais inductif implique de ne pas prendre de risque et de montrer ce qui a le plus plu aux autres utilisateurs. À l’inverse, bien sûr, « moins YouTube sait comment les utilisateurs vont interagir avec votre type de contenu, plus il est risqué de le promouvoir », d’où la difficulté à promouvoir des contenus très peu consultés. Bien sûr des correctifs existent. On peut favoriser les contenus récents et émergents et réduire la recommandation vers la vidéo la plus populaire. Si cela permet de favoriser les petits producteurs de contenus, le risque est de donner un avantage disproportionné à des contenus qui ne le méritent pas beaucoup, comme les contenus complotistes ou radicaux. L’IA fait un mauvais travail de prédiction dès qu’elle n’a pas beaucoup de données sur lesquelles s’appuyer. C’est hélas bien souvent le cas.

Un autre parti pris très documenté est la partialité politique, le fait que les moteurs favorisent certains types de contenus politiques ou ne distribuent pas équitablement dans la population les mêmes types de contenus. Le problème ici consiste à mesurer l’impact positif ou négatif d’une recommandation. Une publicité financière peut-être bénéfique si elle recommande le refinancement d’un prêt étudiant (à son avantage) mais nuisible dans le cadre d’un prêt sur salaire par exemple. D’où la nécessité d’évaluations qualitatives, qu’il est pourtant difficile de réaliser à grande échelle sur une multitude d’annonces.

Pour O’Sullivan, il n’y a pas de solution miracle pour atténuer ces biais, mais l’industrie devrait tout de même travailler à mieux le mesurer. Mieux évaluer la discrimination induite d’abord, comme celle produite par les choix et biais des utilisateurs eux-mêmes : « la discrimination involontaire [c’est-à-dire l’équité par inconscience] n’est plus une stratégie viable », met en garde la chercheuse.

En fait, il va peut-être falloir envisager de créer des catégories sur les contenus ou publicités en fonction de leur utilité ou nocivité, explique-t-elle. On peut par exemple distinguer des publicités proposant un enseignement supérieur selon qu’il est dispensé par des universités ou qu’il propose seulement des certifications à but lucratif… Distinguer les contenus selon ce qu’ils proposent serait effectivement une méthode de tri pertinente, mais elle implique des décisions morales et subjectives qui sont bien loin de la neutralité affichée par les plateformes. Pas sûr que grand monde sache ou souhaite de cette solution. Ensuite, il va s’agir de mesurer les recommandations selon les catégories protégées et la qualité de ce qui est recommandé – aux États-Unis, les groupes protégés sont des catégories de personnes qui disposent d’une protection spéciale pour limiter leur discrimination. Pour Liz O’Sullivan, l’atténuation des biais et préjugés est une quête sans fin nécessitant de tester ad nauseam les systèmes. C’est-à-dire « veiller, en tant que praticiens, à apporter une éthique d’amélioration continue à ces enjeux, sans jamais considérer que ce qui a été fait est « suffisamment bon » ».

Retenons pourtant de cette démonstration une précision importante : évaluer la nocivité nécessite de la catégoriser. Une proposition assez iconoclaste dans un monde où le relativisme règne en maître sous prétexte de sa neutralité, ou une publicité en vaut une autre quel que soit le produit proposé, ou l’efficacité d’un calcul est toujours évaluée par rapport aux gains financiers qu’il génère avant tout autre critère.

D’autres outils que Parity existent également pour surveiller les services d’IA, comme le rapporte la Technology Review dans un article sur les « startups de l’éthique ». Celles-ci proposent différents types de produits : des outils d’atténuation des biais à des modalités d’explicabilité des traitements. Fiddler (@fiddlerlabs), dirigé par Krishna Gade (@krishnagade), ancien responsable du News Feed de Facebook où il a développé une première base de son travail qui a donné la fonctionnalité « Pourquoi est-ce que je vois ça ? », travaille principalement sur l’explicabilité. Mais Fiddler permet également de suivre les performances des modèles en fonction de leurs résultats.

Il a même récemment introduit un détecteur de biais, qui produit des alertes si par exemple vous utilisez le code postal pour calculer un prêt immobilier ou des taux de faux positifs par catégories d’utilisateurs. Pour cela, Fiddler a développé des « métriques d’équité », basées sur les catégories légales des groupes protégés que nous évoquions ci-dessus. Par exemple, il calcule un « impact différencié » qui mesure la discrimination indirecte qui affecte de manière disproportionnée les membres d’un groupe protégé par rapport aux autres. Il calcule également la « parité démographique » : c’est-à-dire compare si les différents segments d’une classe protégée reçoivent des résultats à taux égaux. Il calcule « l’égalité des chances », c’est-à-dire évalue si toutes les personnes sont traitées de manière égale ou similaire et ne sont pas désavantagées sur la base de résultats différents. Enfin, il calcule un « avantage de groupe », c’est-à-dire détermine le taux auquel un événement particulier est prédit au sein d’un sous-groupe par rapport au taux auquel il se produit réellement.

Dans un autre billet de blog, le PDG de Fiddler explique sa collaboration avec FinRegLab, une équipe de chercheurs de l’École d’affaires de Stanford qui travaille à un système d’évaluation et d’explicabilité des outils de crédits (et notamment le fameux score Fico qui détermine les possibilités d’emprunt). Les banques et assureurs sont confrontés à plusieurs problématiques avec leurs outils : le manque de transparence quant aux raisons pour lesquelles le modèle a pris une décision, qui impacte tant ces entreprises et leurs clients que les autorités de régulation. Le manque de visibilité sur les performances des modèles en production, le risque de dérives sur les données et leur difficulté à prendre en charge les changements. Par exemple, avec la pandémie, la distribution des demandeurs de prêts s’est radicalement transformée ce qui a rendu l’évaluation du risque bien plus difficile. Les banques doivent également apprendre à gérer les biais qui peuvent se produire à l’encontre des utilisateurs finaux, pour ne pas connaître d’incidents comme celui de l’Apple Card, la carte de crédit d’Apple qui était censée désavantager les femmes par rapport aux hommes (soulignons pourtant qu’une enquête du département des services financiers de l’État de New York n’a trouvé aucune preuve concrète de ces accusations en analysant le système, rapporte Bloomberg). Enfin, dans la finance, le besoin de conformité réglementaire est assez fort… Dans son utilisation par les banques, Fiddler par exemple produit une surveillance permanente des modèles et permet de produire des alertes lorsque les modèles dérivent.

Arthur AI et Weights & Biaises proposent également des plateformes de surveillance. Le premier met l’accent sur l’explicabilité et l’atténuation des biais, tandis que le second suit les expériences d’apprentissage automatique pour améliorer la reproductibilité.

Pour O’Sullivan et Chowdury de Parity, toutes ces solutions plus ou moins concurrentes sont une bonne chose, car il n’y a pas une seule méthode pour créer de la responsabilité. On l’avait déjà constaté avec les innombrables méthodes, matrices et checks-lists existantes qui sont autant de tentatives à trouver des modalités de dialogues pour intégrer des considérations sociales aux systèmes techniques. Pour elles, soulignent-elles, l’enjeu consiste surtout à produire un écosystème qui permette d’interroger les systèmes et de montrer les implications de ces questions pour dépasser les correctifs techniques, les questions de conformité ou la mesure de risque. Comme pour mieux prendre en compte l’impact social des enjeux techniques.

Jusqu’où débiaiser ?

L’un des premiers articles (.pdf) (signé par une cohorte de jeunes chercheurs dont Tolga Boukbasi de l’université de Boston) sur le débiaisage/débruitage de systèmes par d’autres systèmes date de 2016 et portait bien sûr sur une analyse du langage pour détecter les mots genrés et leur appliquer des correctifs (plus précisément, il s’agit de comprendre les « plongements lexicaux », c’est-à-dire les associations implicites entre mots et préjugés). Sur son blog, la data scientist Mitra Mirshafiee, de la communauté de data scientist Analytics Vidhya (@analyticsvidhya, blog) revenait d’ailleurs sur cet article pour nous en expliquer la portée et les limites.

Pour elle, les systèmes d’apprentissage automatique sont en train de s’emparer du monde que nous utilisons quotidiennement et non seulement « ils reproduisent nos anciennes pensées et nos anciens schémas de pensée, mais ils les amplifient en rendant les biais plus répandus encore qu’ils n’étaient ». « Si nous ne prenons pas soin de nos algorithmes, ils continueront à étiqueter les personnes à la peau foncée comme des gorilles, à montrer aux femmes programmeurs informatiques et mathématiciennes des offres d’emploi de nettoyage et de ménage, à penser que tous les musulmans soutiennent le terrorisme, etc. »

En 2013, l’informaticien Tomas Mikolov et son équipe chez Google travaillaient à ce que les algorithmes de recherche répondent mieux aux questions des gens. Ils ont ainsi inventé word2vec, un algorithme non supervisé auto-encodeur. Ainsi, lorsqu’on lui donne une phrase, il produit pour chaque mot de cette phrase une série de nombres représentant les aspects les plus importants de ces mots. Ainsi mesurés, encastrés, on peut calculer des relations entre les mots, trouver des liens cachés. Les informaticiens ont travaillé à trouver des analogies entre les mots pour mieux mesurer leurs différences… par exemple pour calculer si l’analogie entre homme et femme était différente de celle entre femme et fille ou entre homme et fille. En produisant des analogies, ils ont ainsi remarqué que homme était lié à « informaticien »… et demandé si femme était lié à un terme comparable. Mais plutôt que de produire le terme informaticienne, la machine a répondu « femme au foyer ». En fait, ils ont ainsi montré que certains termes étaient genrés dans leur utilisation même : « libraire » s’associe plus au pronom « she » (elle) que « maestro » qui ne qualifie que des « he » (il) ! En observant comment des mots pourtant neutres en terme de genre sont associés à des genres, les chercheurs peuvent alors produire un système pour neutraliser leur connotation cachée. La démonstration de Mitra Mirshafiee est bien sûr un peu complexe, mais elle souligne comment ces calculs permettent de réduire les stéréotypes. Pas totalement pourtant : c’est toute la limite de la correction ! Elle reste limitée et incomplète. Les résultats d’atténuation sont notables, mais pas total… et restent limités à des dictionnaires terminologiques eux-mêmes élémentaires ou critiquables, qui concernent certains types de relations entre certains types de mots… Calculer et rectifier les biais de tous nos lexiques semble bien compliqué et produira peut-être des corrections… Le risque est que ce soit là un travail toujours inachevé !

D’où le fait qu’on parle bien plus de « réduction » ou « d’atténuation » de biais que de suppression… en employant via des techniques de « contraintes d’équité », de « régularisations de préjugés » ou de « débruitage contradictoire ». C’est ce que montre très bien (même si c’est là encore assez technique) les publications de la data scientist Haniyeh Mahmoudian sur les techniques d’atténuation des biais pour Towards Data Science.

L’article de Tolga Boukbasi et ses collègues a certes donné des ailes à l’automatisation du débiaisage… Pourtant, malgré quelques succès – que les techniques des startups qu’on a évoqués ici représentent parfaitement -, le débruitage demeure toujours imparfait. Le journaliste Kyle Wiggers (@Kyle_L_Wiggers) pour Venture Beat soulignait d’ailleurs que si nombre de plateformes utilisent des systèmes de détection de la toxicité du langage (notamment Jigsaw d’Alphabet/Google), ils demeurent souvent bien peu performant. Les chercheurs du Allen Institute ont étudié (.pdf) des techniques pour remédier aux déséquilibres lexicaux (le fait que des mots ou ensembles de mots soient toxiques) et dialectaux (le fait que des variantes linguistiques soient marquées comme toxiques) dans les données. Là encore, si les techniques de filtrage réduisent les biais, ils ne les éliminent jamais. Les modèles de filtrage établis continuent de marquer de manière disproportionnée certains textes comme toxiques. En fait pointent les auteurs, l’atténuation des biais dialectaux ne semble pas modifier la propension d’un modèle à étiqueter les textes d’auteurs noirs comme plus toxiques que ceux d’auteurs blancs ! Pour eux, GPT-3 (qui est pourtant l’un des modèles d’analyse linguistique le plus développé) manque certainement d’entraînement sur des variétés d’anglais afro-américains. Dans le gouffre des données, le risque est qu’il n’y en ait jamais assez sans être assuré que plus de données permettent vraiment de réparer les biais que nous ne cessons de produire.

Pour les chercheurs, le débiaisage ne suffira pas… C’est le constat récurrent que font les chercheurs de ces domaines, que ce soit les travaux de Joy Buolamwini (@jovialjoy) et Timnit Gebru (@timnitGebru) sur la reconnaissance faciale, ceux de Guillaume Chaslot (@gchaslot) et l’association Algotransparency sur les recommandations de YouTube, ceux d’Angèle Christin (@angelechristin) sur la justice prédictive… et tant d’autres, dont nous nous sommes régulièrement fait l’écho…

Même constat des chercheurs du Allen Institute. Au final, ils recommandent de mieux identifier le locuteur pour produire de meilleures corrections. Pour produire une meilleure correction des éléments lexicaux et dialectaux, il faudrait donc mieux étiqueter les textes, notamment en les catégorisant selon l’origine de leurs auteurs ! Mais cette perspective se révèle finalement plus inquiétante que les biais actuels des systèmes… puisqu’elle consiste à étiqueter sans fin les personnes sans saisir la notion culturelle des biais. Si on prolonge l’exemple d’une catégorisation de l’origine des textes, il faudrait catégoriser selon les origines de leurs auteurs… au risque de descendre dans des spécifications encore plus problématiques qu’elles ne sont ! À quelles « variétés » (sic) rattacher les textes de Ta-Nehisi Coates, Toni Morrisson, Richard Wright, James Baldwin… ?

À croire que la surproduction identitaire de l’analyse de données répond et amplifie nos névroses identitaires ! En tout cas, c’est typiquement le risque que pointait Kate Crawford dans son livre, Atlas of AI, celle d’une réduction identitaire qui risque d’encourager une mal-mesure sans fin… C’est-à-dire qu’au prétexte de vouloir corriger des biais en ajouter d’innombrables !

Pas étonnant que certains chercheurs souhaitent donc s’éloigner du concept même de biais. La chercheuse à Data & Society, Kinjal Dave (@kinjaldave7), par exemple, estime que le terme, issu de la psychologie sociale, renvoie à l’imperfection des individus, que ce soient les producteurs de systèmes comme tout un chacun, en invisibilisant le fait que les systèmes produisent non pas des biais, mais renforcent des rapports de pouvoir. Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein) dans leur livre Data Feminism, estiment que parler de biais laisse croire qu’on pourrait les corriger : elles préfèrent donc parler d’oppression. Même constat chez d’autres auteurs dont nous avons parlé comme Sasha Constanza-Chock ou Ruha Benjamin… qui parlent elles plutôt de justice, pour pointer également l’importance des rapports de pouvoir masqués par les traitements.

Ultime défiance face à ces technologies d’atténuation. Le risque que les correctifs proposés se démultiplient dans la plus grande opacité, sans qu’on soit assuré de leur efficacité comme du fait qu’ils aient été utilisés ou utilisés correctement. Qui nous assurera que les correctifs techniques ont bien été produits et appliqués ? La perspective d’une automatisation de l’éthique ne lève donc pas tous les défis du sujet !

Vers une éthique automatique ?

Un épais rapport du Pew Research Center auprès d’experts de l’IA se montre plutôt sombre… sur les perspectives à rendre l’IA éthique. Pour la majorité d’entre eux, la conception éthique de l’IA ne devrait pas être la norme avant une bonne dizaine d’années. L’optimisation des profits et le contrôle social devraient continuer à être au cœur de l’IA. Aux États-Unis, un rapport de l’agence de la responsabilité gouvernementale américaine reconnaissait que les technologies de reconnaissances faciales par exemple étaient déjà largement déployées et utilisées par nombre de services du gouvernement, s’alarmait Rachel Metz pour CNN.

Dans ce contexte plutôt sombre, l’Ada Lovelace Institute britannique (@AdaLovelaceInst) se veut plus positif. Il a organisé fin juin une série d’ateliers et de discussions pour prototyper l’avenir de l’éthique de l’IA. Pour les chercheuses Sarah Chander (@sarahchander), Erinma Ochu (@erinmaochu) et Caroline Ward (@noveltyshoe), l’enjeu, expliquent-elles en interview, n’est pas tant de rendre les systèmes moins problématiques qu’ils ne sont… n’est pas de documenter les dommages qu’ils causent, ou de débiaiser les technologies… mais d’imaginer : « si nous devions démanteler les technologies de surveillance, la domination, l’extraction, qu’y aurait-il à la place ? Qui a le droit d’écrire ce futur ? »

On se souvient, il n’y a pas si longtemps, de l’éviction de Timnit Gebru de Google pour avoir tenté de mettre un peu de responsabilité et d’éthique chez Google, lié à la publication d’un article critique des développements de GPT-3. Le licenciement de Timnit Gebru, pour emblématique qu’il soit, rappelle d’autres tensions, pointe le journaliste Tom Simonite (@tsimonite) dans un remarquable et détaillé article pour Wired sur son parcours et son éviction. Dans l’industrie minière ou chimique, les chercheurs qui étudiaient la toxicité ou la pollution pour le compte des entreprises exploitantes, n’ont jamais été très bien considérés. Pour l’instant, dans le jeune domaine de l’IA, les chercheurs qui étudient ses méfaits occupent encore bien souvent une place centrale dans les entreprises. Il est possible que le bruyant licenciement de Timnit Gebru de Google en signe la fin, explique le journaliste.

En 2016, Google avait publié un premier article de recherche sur l’équité de l’IA, un article qui tentait d’apporter des réponses pour corriger les réponses afin que l’évaluation du risque à ne pas rembourser un prêt offre un traitement égal aux individus, indépendamment de leur sexe, de leur race ou de leur religion. Dans son article, Simonite souligne les hésitations internes de Google à s’aventurer sur ces sujets, ainsi que le fait que le travail de Timnit Gebru et Margaret Mitchell (@mmitchell_ai, qui a également été remerciée) sur les questions de responsabilité avaient du mal à être intégrées à la culture Google.

Après la fronde contre Maven, le contrat controversé passé avec le Pentagone, Google a publié de grands principes pour guider ses travaux sur l’IA. En octobre 2019, Google a lancé BERT, un système d’apprentissage automatique permettant de mieux comprendre les requêtes longues et complexes et leur contexte, en travaillant depuis des volumes de textes plus grands. En mai 2020, OpenAI (@openai) a lancé GPT-3 qui avait ingéré plus de données que Bert et pouvait générer des textes d’une plus grande fluidité (nous somme là assurément dans une course à la puissance : Bert avait avalé quelques 3,3 milliards de mots, quand GPT-3 en digère près de 500 milliards – que les ingénieurs ont récupérées sur le Web, la source la plus facilement disponible à l’échelle nécessaire). Mais les ensembles de données étaient si volumineux que les assainir, ou même savoir ce qu’ils contenaient était une tâche trop ardue. Il s’agissait d’un exemple extrême du problème contre lequel Timnit Gebru avait mis en garde la communauté dans une de ses recherches, à savoir la nécessité de produire, pour chaque ensemble de données, une fiche technique les documentant (qui a visiblement contribué activement à la naissance des Google Model Cards). Alors que Google travaillait à la construction de successeurs encore plus puissants à Bert ou GPT-3, l’équipe chargée de l’éthique de l’IA chez Google a commencé à étudier les inconvénients de ces technologies. En septembre 2020, en interne, des responsables de Google se sont réunis pour discuter de l’IA responsable sans que des représentants de son équipe éthique soient conviés. Au même moment, les chercheurs de l’équipe éthique mettaient un point final à un article critique sur « Les dangers des perroquets stochastiques : les modèles linguistiques peuvent-ils être trop grands ? » qui soulignait les limites des modèles statistiques utilisés et le risque à répéter du « mauvais » langage, c’est-à-dire, des biais, des erreurs et des fautes en les amplifiant. L’article soulignait les difficultés à documenter les biais d’ensembles de données de plus en plus vastes, mais surtout, estime Gebru, critiquait ouvertement une technologie au fort potentiel commercial. Comme l’explique très bien le chercheur Olivier Ertzscheid (@affordanceinfo2) sur son blog où il revenait également sur les enjeux de ces travaux : « le danger est que nous devenions autant de « perroquets stochastiques » à force de mal manipuler des modélisations de la langue trop denses, massives et étendues ».

Depuis l’éviction de son équipe dédiée à l’éthique (qui a entraîné aussi quelques démissions par rebond), si l’on en croit Tom Simonite, le département de recherche de Google est déchiré par la méfiance et les rumeurs. Pour le journaliste, les perspectives de recherche « ouvertes d’esprit » sur la question de l’éthique de l’IA se sont assombries. Pour Luke Stark (@luke_stark), « les grandes entreprises technologiques ont essayé de prendre le dessus sur les régulateurs et les critiques du public en adoptant l’idée de l’éthique de l’IA ». Mais à mesure que la recherche a mûri, elle a soulevé des questions plus importantes. « Les entreprises sont devenues moins aptes à coexister avec la recherche critique interne », estime-t-il.

Depuis le drame, des chercheurs qui ont fondé une revue sur l’éthique de l’IA ont lancé un appel pour que les publications des chercheurs en IA travaillant pour des industries du secteur soient plus transparentes sur leurs travaux. Mais la suspicion sur les travaux menés par les entreprises du secteur pourrait s’installer, un peu comme la recherche industrielle sur la pollution est peu considérée par les spécialistes de l’environnement, notamment pour ses collusions, voire surtout ses dissimulations éhontées… À la dernière conférence annuelle des développeurs de Google, l’entreprise a annoncé que les grands modèles de langage qu’elle développe joueraient à l’avenir un rôle central. Une annonce balayant les critiques. Pour Meredith Whittaker (@mer__edith), directrice de l’AI Now Institute, le message de Google est clair pour ceux qui veulent mener des recherches sur la responsabilité : « nous ne les tolérons pas ». Des menaces inquiétantes, d’autant que les emplois en dehors des grandes industries du secteur sont rares.

Pour Inioluwa Deborah Raji (@rajiinio) de la Fondation Mozilla, l’échec de Google à se réformer rend désormais tout le monde conscient que la responsabilité doit venir de l’extérieur. Timnit Gebru, quant à elle, collecte désormais des fonds pour tenter de lancer un institut de recherche indépendant.

Si Google n’est plus « the place to be », peut-être que la question de l’éthique de l’IA sera récupérée par d’autres ? En ce moment, souligne la journaliste Anna Kramer (@anna_c_kramer) pour Protocol (@protocol), les regards se tournent vers Twitter qui vient de créer Meta.

En 2020, Ariadna Font Llitjos (@quicola), responsable des équipes d’apprentissage automatisé de Twitter – qui relève de Twitter Cortex, qui gère toute l’IA de l’entreprise – estime que la recherche sur l’éthique pourrait transformer l’entreprise. Elle propose donc de construire une équipe dédiée, Meta (pour Machine learning, Ethics, Transparency and Accountability) et convainc Jack Dorsey, le PDG de Twitter de faire de la responsabilité la priorité de Twitter. Rumman Chowdury a quitté Parity pour devenir la responsable de Meta. Kristian Lum (@kldivergence) et Sarah Roberts (@ubiquity75) ont rejoint l’équipe. L’enjeu : travailler depuis les propositions des chercheurs pour réellement agir sur la promesse de Twitter !

Depuis la création de Meta, Twitter a pris des premiers engagements, via son initiative pour un apprentissage automatisé responsable, où l’entreprise s’est engagé à partager publiquement la façon dont elle prendra des décisions sur ses algorithmes (ce que l’entreprise a fait par exemple sur son algorithme de recadrage d’image qui a été supprimé en donnant un plus grand contrôle aux utilisateurs sur la façon dont les images apparaissent avant publication tout en permettant de « réduire la dépendance à l’égard du Machine Learning pour une fonction, qui, nous en convenons, est mieux réalisée par les personnes utilisant nos produits », expliquait Rumman Chowdury). L’enjeu pour l’instant consiste à mieux définir les problèmes que rencontrent les utilisateurs. Pour Chowdury, l’enjeu, au-delà de la transparence publique sur les travaux engagés, est de créer un système de règles et d’évaluations qui soit une sorte de « gouvernement » sur les modèles et permette d’empêcher les préjudices aux utilisateurs de se produire, plutôt que de tenter de les corriger a posteriori. Meta se veut une équipe de création de connaissances plus qu’une force de police des algorithmes, conclut Anna Kramer. On espère que l’équipe saura relever le défi qui l’attend !

Ce que racontent ces histoires, c’est certainement que l’automatisation de l’éthique n’est pas si assurée, en tout cas, elle ne se fera pas sans éthique personnelle, sans engagements des équipes et des responsables des systèmes techniques. L’éthique de l’IA tient assurément d’un dialogue, d’une discussion entre la technologie et la société. Reste à savoir quelle direction ces recherches vont prendre… Entre l’hystérisation des calculs dans des systèmes toujours plus vastes, spéculant en boucle sur eux-mêmes ou leur réduction sous forme d’une première « dénumérisation », comme le propose pragmatiquement Rumman Chowdury pour Twitter, la gamme d’évolution est ouverte. Plus qu’une perspective d’automatisation de l’éthique (qui ne semble pas très éthique), et si l’avenir était plutôt de trouver les moyens pour dire que le recours à l’IA n’est pas – et ne devrait pas être – automatique ! C’est en tout cas là une perspective bien plus stimulante que la première, vous ne trouvez pas ?

Hubert Guillaud

Dans une longue interview pour le magazine belge Agir par la culture (@agirparculture), je tente de poser des pistes pour repolitiser la question numérique…

À l’heure où les réponses légales sont trop mouvantes, où les réponses techniques sont contournables, où les réponses économiques ne concernent pas du tout les déploiements techniques, où les réponses éthiques sont limitées, comment contenir ce que le numérique optimise trop bien ? Comment limiter et contraindre le délire calculatoire qui vient ?

« L’enjeu à venir à nouveau consiste à faire des choix de société sur ce que nous devons numériser, ce que nous devons dénumériser et comment. Mais la réponse à ces questions n’est pas numérique, mais bien politique : comment étendre les protections sociales et environnementales ? Que devons-nous définancer ? Que devons-nous refuser de moderniser ? Où devons-nous désinnover ? Si on regarde le monde numérique à l’aune de sa durabilité, ce monde n’est pas soutenable. Si on le regarde à l’aune de ses enjeux démocratiques ou sociaux, le numérique ne produit pas un monde en commun. Il va donc falloir refermer des possibles que le numérique a ouverts. La surveillance, la fausse efficacité qu’elle promet ne propose que du contrôle, de la répression, des discriminations, de la sécurité au détriment de la liberté, de l’équité, de l’égalité. On ne fait pas société seulement en calculant son efficacité maximale ! »

En espérant que cette contribution livre quelques pistes d’action !

Hubert Guillaud

En 2019, pour le magazine Commune, l’ingénieur et membre de la coalition des travailleurs de la tech (@techworkersco – voir également Collective Action In Tech et @tech_actions) Jimmy Wu (@jimmywu) revenait sur la question de l’optimisation. Qu’est-ce que le numérique optimise ?

Alors que la tech rencontre une contestation inédite, l’éthique de la technologie bénéficie d’un vif regain d’intérêt, explique Wu. Le but : apporter aux professionnels de la technologie une conscience sociale… pour redresser la crédibilité du secteur ! « Pourtant, en positionnant l’éthique comme la boussole morale de la technologie, l’informatique académique nie le fait que ses propres outils intellectuels sont la source du pouvoir dangereux de l’industrie technologique ». Pour Wu, le problème réside dans l’idéologie même de la tech. « Ce n’est pas seulement que l’enseignement de l’ingénierie apprend aux étudiants à penser que tous les problèmes méritent des solutions techniques (ce qui est certainement le cas) ; le programme est surtout construit autour de tout un système de valeurs qui ne connaît que les fonctions d’utilité, les manipulations symboliques et la maximisation des objectifs. »

L’informatique, une idéologie du statu quo ?

Wu raconte avoir assisté au premier cours sur l’éthique des données proposé par Stanford au printemps 2018. Dans un exercice proposé aux élèves, l’enjeu était d’interroger un jeu de données provenant d’un site web qui avait révélé les noms des donateurs à des organisations qui soutenaient le seul mariage hétérosexuel. Les étudiants étaient appelés à faire des propositions pour résoudre le problème. Pour Wu pourtant, le problème n’était pas la question de la granularité des données (c’est-à-dire jouer sur la visibilité du montant des dons par exemple, comme de faire passer l’obligation d’afficher les noms des donateurs à partir d’un montant plus élevé pour éviter qu’ils soient pointés du doigt, comme le proposaient des étudiants) qu’un enjeu politique qui consiste à organiser la politique depuis des dons financiers. Cette proposition à sortir du seul cadre des paramètres accessibles a mis fin aux discussions. Pour Wu, ce petit exemple illustre à lui seul « l’idéologie du statu quo » qui structure l’enseignement de l’informatique. C’est comme si en informatique, l’enjeu premier était de ne pas prendre parti ou de ne pas faire de politique… Comme si tout n’était question que de paramètres à régler.

La science informatique a visiblement largement intégré la discipline de l’esprit qu’évoquait Jeff Schmidt dans son Disciplined Minds (2000, non traduit), un livre qui critiquait justement la socialisation et la formation des professionnels qui consiste trop souvent à ne pas faire de vagues. En 4 ans d’informatique à Berkeley et Stanford, rapporte Wu, à l’exception d’un cours d’éthique, les enseignants ne nous ont jamais suggéré d’examiner de manière critique les problèmes techniques, souligne-t-il. « Les questions dites « douces » sur la société, l’éthique, la politique et l’humanité étaient silencieusement considérées comme intellectuellement inintéressantes. Elles étaient indignes de nous en tant que scientifiques ; notre travail consistait à résoudre les problèmes qui nous étaient soumis, et non à nous demander quels problèmes nous devions résoudre en premier lieu. Et nous avons appris à le faire bien trop bien. »

Pour Wu, l’enseignement technique est directement responsable du technosolutionnisme. Des programmes d’études qui exposent « la primauté du code et des manipulations symboliques engendrent des diplômés qui s’attaquent à tous les problèmes sociaux à l’aide de logiciels et d’algorithmes ». En cours d’éthique, les questions de politiques et d’orientation étaient réduites à des problèmes techniques. Wu fait référence à un cours très populaire sur l’optimisation mathématique donné par Stephen Boyd à Stanford. « Dans le monde de l’informatique et des mathématiques, un « problème d’optimisation » est toute situation dans laquelle nous avons des quantités variables que nous voulons fixer, une fonction objective à maximiser ou à minimiser, et des contraintes sur les variables ». Pour Boyd d’ailleurs « tout est un problème d’optimisation » ! Tout peut être modélisé, tout peut-être exprimé en fonction d’un critère d’utilité selon des critères plus ou moins grossiers. Une affirmation des plus banales pour ces étudiants. Pour Wu, nous sommes là face à un marqueur de l’état des sciences informatiques.

L’optimisation n’est pas récente, rappelle-t-il. Elle est née avec la Seconde Guerre mondiale et est devenue un passage obligé des sciences informatiques. La question des algorithmes d’optimisation est arrivée à maturité au milieu du XXe siècle, avec le développement de la programmation linéaire qui a permis de faire des progrès sur des problèmes allant de l’allocation des biens au routage logistique. En URSS, sous la coupe de son inventeur, Leonid Kantorovich, elle est devenue un outil central de la planification dès les années 60. En Occident, elle s’est déployée dans l’expédition et le transport. Des deux côtés du rideau de fer, longtemps, « l’optimisation a été déployée dans des contextes résolument non marchands », pour la planification notamment. Mais depuis le début du XXIe siècle, elle a été remodelée pour être utilisée par nombre d’applications, notamment commerciales. Désormais, aidés par l’IA et l’apprentissage automatisé, entreprises, armées et États exigent des algorithmes rapides, efficaces, sûrs, mais aussi intelligents, réactifs. Tout est en passe d’être exprimé à l’aide de variables, de contraintes et de fonctions objectives, puis résolues à l’aide d’un logiciel d’optimisation.

Cette prise de contrôle de l’optimisation se reflète sur les campus au vu du nombre d’inscriptions à ces cours. À Stanford toujours, au Huang Engineering Center, à quelques centaines de mètres de là où enseigne Boyd, Andrew NG (@andrewyng) donne des cours sur le Deep Learning où se pressent des milliers d’étudiants. Son cours porte sur les réseaux neuronaux profonds. Ici, les paradigmes d’optimisation ne sont pas de type planification, car les modèles n’ont que les contraintes qu’ils découvrent eux-mêmes. Une fois entraîné, le modèle est exécuté sur des échantillons de données. Si les résultats sont médiocres, le concepteur modifie les paramètres ou affine l’objectif. « L’ensemble du processus de formation d’un réseau neuronal est si ad hoc, si peu systématique et si embarrassant, que les étudiants se demandent souvent pourquoi ces techniques devraient fonctionner. » Personne ne sait très bien leur répondre, mais soyez-en assurés, elles fonctionnent ! « L’étude de l’apprentissage automatique offre une révélation stupéfiante : l’informatique du XXIe siècle manie, en réalité, des pouvoirs qu’elle comprend à peine » !

L’informatique, c’est de l’économie sans les questions politiques

Le seul autre domaine qui semble à la fois en savoir autant et si peu est l’économie, explique encore Jimmy Wu. La comparaison est à raison : cette optimisation en roue libre et heuristique rappelle la façon dont l’économie elle-même est comprise. « Plutôt que de considérer l’optimisation comme une planification, nous cherchons à libérer la puissance de l’algorithme (le marché libre). Lorsque les résultats ne sont pas ceux escomptés, ou que l’algorithme optimise son objectif (le profit) avec beaucoup trop de zèle à notre goût, nous corrigeons docilement ses excès rétrospectivement avec toutes sortes de termes secondaires et de réglages de paramètres (taxes, péages, subventions). Pendant tout ce temps, le fonctionnement interne de l’algorithme reste opaque et sa puissance de calcul est décrite en termes de magie, de toute évidence compréhensible uniquement par une classe de technocrates doués et suréduqués. »

« Lorsqu’on entre dans le « monde réel », la perspective acquise grâce à ces formations en informatique s’intègre parfaitement à l’idéologie économique dominante. Après tout, qu’est-ce que le capitalisme néolibéral sinon un système organisé selon un cadre d’optimisation particulièrement étroit ? » « À l’école, on nous a dit que tout problème pouvait être résolu en tournant les boutons algorithmiques de la bonne manière. Une fois diplômés, cela se traduit par la conviction que, dans la mesure où la société a des défauts, il est possible d’y remédier sans changement systémique : si l’accumulation du capital est le seul véritable objectif et que le marché est un terrain de jeu infiniment malléable, il suffit de donner aux agents individuels les incitations appropriées. Pour réduire l’utilisation du plastique, ajoutez une surtaxe sur les sacs d’épicerie. Pour résoudre la crise du logement, relâchez les contraintes imposées aux promoteurs d’appartements de luxe. Pour contrôler la pollution, fixez un prix de marché en utilisant un système de plafonnement et d’échange. »

« À un niveau élevé, l’interprétation computationnelle de l’économie moderne ressemble à ceci : une économie peut être considérée comme un gigantesque problème d’optimisation distribuée. Dans sa forme la plus élémentaire, nous voulons décider quoi produire, combien payer les travailleurs et quels biens doivent être alloués à qui – ce sont les variables du programme d’optimisation. Les contraintes consistent en toute limite naturelle sur les ressources, la main-d’œuvre et la logistique. Dans le capitalisme primitif du laissez-faire, l’objectif à maximiser est, bien entendu, le profit ou le produit total. »

« Le péché originel du programme capitaliste est donc qu’il optimise non pas une certaine mesure du bien-être social ou de la satisfaction humaine, mais une quantité qui ne peut être qu’un lointain substitut de ces objectifs. Pour remédier aux dommages considérables causés par cette mauvaise formulation, les démocraties libérales d’aujourd’hui cherchent à concevoir un programme plus nuancé. Le profit constitue toujours le premier terme de l’objectif, mais il est désormais accompagné d’un éventail impressionnant de termes secondaires modifiables à l’infini : imposition progressive des revenus pour ralentir l’accumulation des richesses, taxes et subventions pigouviennes pour guider le comportement des consommateurs, et marchés d’émissions financiarisés pour freiner la désintégration rapide de la planète. Lorsque les carottes et les bâtons du marché ne suffisent pas, les gouvernements tentent d’imposer des réglementations, en introduisant des contraintes supplémentaires. Ces solutions politiques suivent précisément la même logique que les exercices qu’on nous propose en classe sur les réglages algorithmiques. »

Wu rappelle qu’il n’est donc pas étonnant que le rôle sociétal des algorithmes fasse l’objet de nombreux débats. Il n’y a pas si longtemps encore, les gens pensaient que les algorithmes étaient politiquement neutres ou ne présentaient pas de danger fondamental pour les humains. Comme la révolution industrielle précédente, cette révolution était considérée « comme un fait impersonnel de l’histoire économique, et non comme quelque chose qui discriminait activement certaines populations ou servait de projet à la classe dirigeante ». En 2013, quand on évoquait des biais dans les modèles, on estimait que c’était une question purement statistique dépourvue du moindre jugement moral. Depuis 4 ou 5 ans, la critique s’est emparée de la question des boîtes noires algorithmiques, montrant qu’elles excluaient nombre de personnes des services sociaux… La fausse neutralité et objectivité des calculs ont été démasquée, constate Wu. Un nouveau parti-pris a émergé qui reconnaît qu’en pratique, les algorithmes comme les données encodent des partis-pris.

Pour Wu néanmoins, ce nouveau parti-pris continue de faire l’apologie de la « tyrannie informatique ». Il reste sans idéologie !

Le problème c’est les programmeurs humains et les données ! Pas le fait que l’informatique travaille à améliorer et automatiser le monde… Or, comme le soulignait le philosophe Mark Fisher (Wikipedia), ce « réalisme capitaliste » (Entremonde, 2018) relève précisément de l’idéologie. La tâche qui reste à l’informatique comme au capitalisme, c’est « d’affiner le système au mieux de nos capacités »… À calculer encore et toujours leur efficacité maximale, les systèmes pourraient bien tourner en rond !

Les contributions du monde universitaire au capitalisme sont essentiellement venues de l’économie, notamment des partisans ultralibéraux de l’École de Chicago, explique encore Jimmy Wu. Mais ces contributions comportaient une limite majeure : l’économie reste une arène de débat, de désaccords…

L’informatique lui est bien supérieure, ironise l’ingénieur. « Elle enseigne les axiomes et les méthodes du capitalisme avancé, sans les questions politiques qui peuvent se poser en économie ou dans d’autres sciences sociales. Dans sa forme actuelle, l’informatique est un véhicule d’endoctrinement réussi pour l’industrie et l’État, précisément parce qu’elle apparaît comme leur contraire : un domaine sans valeur qui incarne à la fois des mathématiques rigoureuses et une ingénierie pragmatique. C’est le pourvoyeur idéal du réalisme capitaliste pour une époque sceptique ; une science de droite qui prospère dans notre ère post-idéologique. »

Peut-on, doit-on, faut-il défaire l’ordinateur et ses sciences ? Le débat oppose deux camps, simplifie Jimmy Wu. D’un côté l’élite traditionnelle qui ne voit pas même le problème. De l’autre, des « humanistes de la technologie », une alliance peu structurée de fonctionnaires critiques, de médias, de chercheurs, d’ONG et de repentis de la tech… qui pensent que les pratiques technologiques peuvent être apprivoisées par une politique plus éclairée, des pratiques d’ingénieries réformées et un peu plus d’éthique… Mais les deux parties partagent finalement la même vision, même si l’un a un visage plus aimable que l’autre : « celle d’une société dominée par une aristocratie technique qui exploite et surveille le reste d’entre nous ». L’informatique universitaire file les mêmes contradictions : le matin, un étudiant peut assister à un exposé sur la maximisation publicitaire et le soir construire une base de données pour une association locale…

Avons-nous besoin d’une autre informatique ?

L’ingénieure repentie, Wendy Liu (@dellsystem) en appelait dans le magazine socialiste britannique Tribune (@tribunemagazine) à « abolir la Silicon Valley » (elle en a depuis fait un livre : Abolir la Silicon Valley : comment libérer la technologie du capitalisme, Repeater Books, 2021, non traduit). Elle n’appelait pas par là à un rejet naïf de la technologie, mais à sa régulation, à sa transformation en un secteur qui soit financé, détenu et contrôlé par la société dans son ensemble et non plus seulement par quelques actionnaires.

Pour Wu, ce réformisme ne suffit pas. Il est nécessaire de mettre en cause ce qui sous-tend cette prise de pouvoir économique sur le monde. « La Silicon Valley n’existe pas dans un vide intellectuel : elle dépend d’un certain type de discipline informatique. Par conséquent, une refonte de la Silicon Valley par le peuple nécessitera une informatique « populaire » ». C’est-à-dire une autre informatique et une autre vision de l’informatique, soutient Jimmy Wu. Nous en sommes pourtant encore très loin. « Aujourd’hui, les départements d’informatique ne se contentent pas de générer le « réalisme capitaliste », ils sont eux-mêmes gouvernés par lui. » Le financement de la recherche en informatique est totalement dépendant des géants de l’industrie et de la défense. La recherche est guidée par les seules applications industrielles. Et tout ce beau monde nie que l’informatique contemporaine soit une entreprise politique (quelles que soient ses intentions apolitiques affichées). Pour remédier à ce brouillard idéologique étouffant, nous devrions construire une « informatique communiste », soutient Jimmy Wu. Il termine en l’esquissant à grand trait : à savoir que seuls les projets au service direct ou indirect des gens et de la planète devraient pouvoir être financés, en invitant à imaginer des algorithmes pour la planification économique participative, pour estimer le temps de travail socialement nécessaire, pour créer des chaînes d’approvisionnement locales… « La froide science de l’informatique semble déclarer que le progrès social est terminé – qu’il ne peut y avoir désormais que du progrès technologique. Pourtant, si nous parvenons à arracher le contrôle de la technologie à la tour d’ivoire de la Silicon Valley, les possibilités de la société post-capitaliste sont apparemment infinies. Le mouvement des travailleurs de la technologie du XXIe siècle est un véhicule plein d’espoir pour nous amener vers de telles perspectives ! Il est certes encore naissant, mais il est de plus en plus une force avec laquelle il faut compter, et, au risque de s’emballer, nous devrions commencer à imaginer le futur que nous souhaitons habiter. Il est temps de commencer à conceptualiser, et peut-être à prototyper, l’informatique et l’information dans un monde de travailleurs. Il est temps de commencer à concevoir une nouvelle science de gauche. »

Reste à savoir si la lutte contre les dérives des technologies (le techlash des employés de la tech) ou la prise en compte des questions écologiques suffiront à mobiliser les « agents de la société technicienne » comme le dit très bien le dernier numéro de Socialter (@socialter) ?

Si l’on en croit le dernier livre du sociologue Jamie Woodcock (@jamie_woodcock), Le combat contre le capitalisme de plateforme (Press de l’université de Westminster, 2021, non traduit), les travailleurs des plateformes parviennent à organiser de plus en plus d’actions collectives et à renforcer la solidarité transnationale, explique le politologue James Muldoon (@james_muldoon_) pour le blog de la London School of Economics (@LSEReviewBooks). En Europe, expliquait récemment The Guardian, la sécurité des travailleurs des plateformes progresse, tout comme le déploiement des plateformes coopératives, notamment autour de Coopcycle qui fédère plus de 67 coopératives dans 7 pays. La France semble plutôt tenir de l’exception en la matière, puisque malgré les jugements récents, les plateformes continuent à opérer par l’auto-entrepreneuriat.

Reste que l’horizon d’une nouvelle informatique qu’esquisse Jimmy Wu semble encore loin !

Défaire l’optimisation ?

Dans son dernier livre Undoing Optimization : Civic Action in Smart Cities (Yale University Press, 2021, non traduit), la chercheuse Alison Powell (@a_b_powell, blog), qui est également la responsable du programme et réseau de recherche sur l’éthique de l’IA, Just AI (@justainet, blog), de l’Ada Lovelace Institute, rappelle que les données ne sont pas gratuites, qu’elles ne sont pas exemptes de déséquilibres de pouvoir. Comme elle l’explique dans une tribune pour la LSE, cette optimisation configure des rationalités, notamment le fait que les décisions opérationnelles soient basées sur des données disponibles. Pour elle, pour défaire l’optimisation, nous devons nous concentrer sur les frictions, les lacunes, les erreurs… Comme le propose l’anthropologue Anna Tsing, les frictions produisent des relations de négociation inédites. Pour Powell, « les relations de pouvoir inégales autour des données pourraient générer de nouvelles opportunités de changement social ».

Pour Powell, nous ne sommes pas suffisamment attentifs à la manière dont les technologies se superposent les unes aux autres. À la fin des années 90, la vogue était au citoyen en réseau, à l’individu connecté qui s’engage dans la ville grâce à la connectivité. L’accès est alors devenu une demande et a aussi produit (à la marge) quelques projets politiques (comme les réseaux communautaires sans fil, voir « Avons-nous besoin d’une vitesse limitée sur l’internet ? »). La démultiplication des données et des systèmes de capteurs connectés ont permis une collecte sans précédent et une forme d’optimisation de la vie urbaine en temps réel… Mais pour Powell, cette optimisation n’aborde pas la conception coercitive des applications qui servent à la collecte de données justement. Quand la ville intelligente donne la priorité aux données, l’optimisation produit une surveillance constante, incompatible avec les libertés collectives.

Au lieu de cela, les points de friction ouvrent une autre perspective et permettent de limiter l’objectif d’une optimisation sans limites. Pour la chercheuse, il est ainsi nécessaire d’interroger l’optimisation, de savoir « pour qui ce n’est pas optimal » justement. Pour Powell, nous devons travailler à des alternatives à l’optimisation. Elle propose un exemple, celui du projet Connected Seeds and Sensors – un projet londonien qui explore comment l’internet des objets peut soutenir la consommation et la production d’une alimentation durable – qui montrent que les données collectées sur les semences ne parviennent pas à être exhaustives. Le savoir n’est pas réductible aux informations. Pour la chercheuse, pour nous défaire de l’optimisation, nous devrions considérer que la friction est bien plus nécessaire pour créer de bonnes relations. Ensuite, nous devrions travailler à limiter la collecte de données plutôt que l’étendre. En privilégiant l’optimisation à la friction, nous risquons surtout d’oublier de construire des solidarités et des échanges qui ne soient pas que de données.

Comme elle l’expliquait dans le texte de configuration du réseau Just AI, l’éthique doit se penser d’abord comme une pratique. Comme elle le souligne encore dans un premier compte rendu de travaux portant sur la cartographie de la recherche éthique, « les préoccupations éthiques concernant l’IA sont désormais profondément imbriquées dans les préoccupations éthiques concernant de larges pans de la vie sociale ».

Dans la conclusion de son livre, Powell explique que le modèle de pensée « techno-systémique » étend sans fin la commodité des données et l’exploitation des informations personnelles. Le problème est que cette approche ne définit pas une bonne citoyenneté, mais seulement « une bonne citoyenneté technologique »… et celle-ci, d’une manière très récursive, ne consiste finalement qu’à soutenir toute optimisation. Le problème, explique Alison Powell, c’est que cet objectif restreint l’action civique à n’être qu’une consommation de ressources ! Le paradigme de l’optimisation par les données et les capteurs réduit en fait la place des citoyens à n’être que les acteurs de leur propre surveillance. Ce paradigme réduit également la diversité, favorise les intérêts privés plus que publics. Mais surtout, l’optimisation efface le conflit, les divergences, les dissensus, les frictions… Or, dans la réalité, bien souvent, les gens luttent pour redéfinir les formes normatives que produisent les données, et trouver des espaces de discontinuité entre les données. La liberté ne consiste pas seulement à ne pas être surveillé, mais également réside dans la capacité d’avoir des approches différentes, d’être en désaccord avec des interprétations, de revendiquer un droit à la discontinuité… Powell défend une datafication minimisée (un droit à la « datafication minimum viable », sur le modèle du Produit minimum viable). Pour elle, la transparence ou la responsabilité ne suffisent pas, car elles ne permettent pas de modifier le cadre technologique qui nous capture, de remettre en question son circuit de pouvoir, explique-t-elle en faisant référence au « droit à une ville intelligente soutenable » de Sara Heitlinger. Bref, de continuer à avoir le droit de faire évoluer nos modes de connaissances et de relations hors des produits prédictifs… À produire une société autrement qu’en calculant son efficacité maximale.

Cela nous renvoie au livre déjà classique de l’historien des technologies Edward Tenner (@edward_tenner), Le paradoxe de l’efficacité : ce que le Big Data ne peut pas faire (Penguin Random House, 2018, non traduit), qui soulignait combien l’inefficacité a de vertus. Tenner y rappelle que ce que nous rendons plus efficace rend toujours autre chose moins efficace. Que l’optimisation est toujours un choix qu’on peine à évaluer, dans ses coûts comme dans ses bénéfices. Dans son livre, Tenner observe l’apport ambigu de la techno sur la médecine, l’éducation et la connaissance pour souligner qu’il n’y a pas qu’une forme à l’efficacité, mais des formes qui s’imbriquent et se contrebalancent. Dans notre monde ultra rationnel, où domine le colonialisme comptable, où tout est converti en gains de productivité, l’historien pourtant bien peu radical, nous rappelle que l’inefficacité est parfois un bien meilleur chemin.

Hubert Guillaud

Avec Contrôler les assistés, genèses et usages d’un mot d’ordre (Raisons d’agir, 2021), le sociologue Vincent Dubois (@vduboisluv) signe une somme très complète et très riche de sciences sociales.

Exigeante, cette longue enquête décortique les transformations du contrôle à l’égard des bénéficiaires de l’aide sociale des Caisses d’allocations familiales (CAF). Le livre permet de prendre la mesure de l’évolution des politiques publiques et notamment, pour nous qui nous intéressons aux transformations numériques, souligne le rôle fondamental de l’intégration de la fouille de données, du croisement des fichiers et d’une rationalisation numérique qui produisent une répression plus sévère et plus forte des assistés. Vincent Dubois montre comment, depuis 2000, nous sommes passés, très progressivement, avec le numérique, à « l’âge industriel » du contrôle par un changement de méthode et de finalités. Il souligne également combien l’analyse automatisée a épousé le modèle managérial, politique, économique et idéologique libéral qui s’est peu à peu mis en place durant la même période. Il pointe combien la raison statistique a été mise au service de la raison idéologique du contrôle au détriment de l’aide, du conseil, de l’assistance…

Finalement, en plongeant dans la transformation du contrôle, Vincent Dubois livre une autre histoire des transformations que produit le recours à l’informatique depuis une vingtaine d’années. Une histoire à bas bruit, que nous avons souhaitée éclairer avec lui.

InternetActu.net : Pourriez-vous pour commencer nous raconter comment et quand est né le traitement automatisé (data mining ou fouille de données) à la CAF ?

Vincent Dubois : La mise en place de la fouille de données à la CAF commence au niveau local. À l’origine, ce n’est pas quelque chose de pensé, ni une politique nationale, rationnelle ou programmatique. L’utilisation de techniques de prédiction statistique part de la rencontre fortuite entre l’agent comptable d’une caisse locale et d’une cadre de cette même caisse. L’agent était confronté à d’importants cas de fraude et s’est rendu compte qu’il était exposé à des poursuites, car il n’aurait pas entrepris toutes les démarches nécessaires pour prévenir une telle fraude. Sa cadre dirigeante va l’informer de l’existence de techniques statistiques pour détecter les risques d’erreurs et de fraudes, des techniques déjà mobilisées dans l’assurance et les sociétés de téléphonie mobile, notamment pour identifier les mauvais payeurs. C’est donc très tôt, au début des années 2000 que cette caisse met en place une expérimentation pour détecter les risques de fraude. Fort de ses premiers résultats, la méthode est peaufinée par des échanges entre la caisse locale et nationale après 2005. Des tests à grande échelle sont lancés pour produire des modèles. Et à partir de 2010, la fouille de données est généralisée. Cela fait donc plus de 10 ans que ces techniques y sont utilisées. La fouille de données et la prévision statistique sont devenues l’outil principal de détection et de déclenchement des contrôles des allocataires.

Cette façon de regarder l’histoire par le petit bout de la lorgnette est intéressante. Elle souligne combien l’adoption de ces outils s’est expérimentée de manière itérative, progressivement voire prudemment. La CNAF a été non seulement précurseure, mais également bon élève en matière de pratiques, tant et si bien qu’elles ont été imitées et généralisées depuis à d’autres organismes. Ces techniques de fouilles de données sont notamment utilisées depuis par Pôle emploi et l’administration fiscale, même si elles ont été adoptées plus tardivement et d’une façon peut-être un peu moins généralisées.

Donc très concrètement, ce développement technique s’est fait d’une manière très empirique. Les ciblages qui avaient lieu auparavant, eux, se basaient sur des observations ou des hypothèses de risques de fraudes ou d’erreurs, selon les allocataires ou les situations, mais restaient faits de manière hypothético-déductive. Avec la fouille de données, c’est l’inverse. La CNAF a fait réaliser 5000 contrôles, à grande échelle, sur la base d’un échantillon aléatoire d’allocataires. L’étude de ces 5000 dossiers a identifié des cas d’erreurs, de fraudes, d’indus… qui ont ensuite été utilisés pour reconstruire des agencements entre critères et variables qui caractérisaient les cas et pour construire des modélisations statistiques. Différents modèles ont été conçus avant d’être testés et mis en œuvre à grande échelle. Ces enquêtes à grande échelle sont réalisées de manière périodique pour ajuster les modèles aux évolutions des facteurs de risque.

Plusieurs modèles ont été dégagés de ces calculs de corrélation, notamment un facteur de risque global de la fraude et des modèles de risques plus spécifiquement adaptés à certains types de situations, comme la question de l’isolement ou la déclaration de ressources. Et ces modèles sont utilisés conjointement. Leur sélection repose sur leur « efficacité »… Cela signifie que la sélection ne repose pas tant sur des choix préalables que sur les rendements que les différents modèles produisent.

À l’origine donc, c’est bien la question de la lutte contre la fraude qui déclenche la mobilisation autour de ces outils et leur systématisation. La façon dont la fouille de données est mobilisée aujourd’hui garde trace de ses origines. Elle reste orientée vers la lutte contre la fraude, et plus généralement l’identification des indus, c’est-à-dire des sommes perçues à tort par les allocataires, car le montant de leurs revenus n’a pas été mis à jour ou que leur situation personnelle a changé.

Ce n’est pourtant pas exclusif d’autres usages possibles de ces techniques de fouille de données. Elles peuvent également être mobilisées pour détecter le non-recours aux droits ou le recours partiel, au bénéfice des allocataires, comme c’est le cas en Belgique ou au Royaume-Uni par exemple… Mais pour l’instant, en France, elles sont peu mobilisées pour cela. Ce qui laisse à penser que ce n’est pas la technique de fouille de données qui détermine ses effets, mais bien les usages qui en sont faits.

Internetactu.net : En quoi cette technique a-t-elle épousé les transformations politiques du contrôle ?

Vincent Dubois : Une autre manière de lire cette histoire, c’est de rentrer effectivement dans le type de conception inhérente à ces outils et l’affinité qu’ils peuvent avoir avec des manières de penser et des modèles d’organisation. Si on met en perspective l’usage de type de statistiques dans l’histoire longue des usages statistiques à des fins de gouvernement des populations comme dirait Foucault, on constate que la statistique classique porte sur la population dans son ensemble pour dégager des tendances, des moyennes, qui sont aussi des normes sociales. Avec la fouille de données, l’unité d’observation n’est plus la population, mais l’individu. C’est le comportement et la situation individuelle qui sont désormais l’objet de la connaissance. Ce changement de perspective est directement en affinité avec la philosophie néolibérale du sujet et du fonctionnement social qui considère, pour le dire vite et simplement, que la société et ses problèmes ne sont que le résultat de l’agrégation des comportements individuels. Le chômage par exemple n’est pas le produit de la structure du marché de l’emploi, mais le résultat de l’agrégation des individus à travailler ou pas.

La fouille de données est en affinité avec ce qui s’est imposé comme le principe managérial des organisations, notamment pour les organismes de protection sociale, à savoir la maîtrise des risques. Cette notion qui peut paraître vague est pourtant révélatrice d’une transformation de ces organismes et de leurs orientations. La notion de risque est consubstantielle aux politiques sociales et à l’État providence et part du principe que le travail, la maladie ou la vieillesse dépassent les responsabilités individuelles et doit être assumé de façon collective. Pourtant, cette maîtrise des risques dont on parle ici n’est pas tant le risque inhérent au fonctionnement social qu’une vision plus pragmatique et réduite : à savoir le risque financier que les bénéficiaires font courir aux organismes payeurs. La maîtrise des risques est également un principe managérial qui vise à prévenir leur survenance. Si la typologie des risques est souvent entendue de manière large, en pratique, le risque est surtout défini de manière précise et est profondément lié aux erreurs de déclaration des allocataires. Si cette notion de maîtrise des risques reste très englobante, c’est pour mieux faire disparaître le cœur de cible dans un principe managérial global. Un cœur de cible qui est à l’origine de la diffusion d’un impératif de contrôle à l’ensemble des organismes de protection sociale. La statistique prédictive ici correspond parfaitement à une politique dont l’objectif est de limiter le risque avant même qu’il ne survienne. Il y a eu une rencontre qui n’était pas totalement programmée entre la statistique prédictive et l’organisation des institutions de contrôle, mais qui a permis le renforcement de l’une et de l’autre. L’usage du data mining a pris sens dans le principe d’organisation même de la protection sociale et celui-ci s’est opérationnalisé dans la mise en œuvre même de cette technique, en renforçant l’individualisation et la responsabilisation des allocataires.

InternetActu.net : La fouille de données produit donc un score de risque de fraude pour chaque allocataire depuis 2011 à la CAF. Elle est utilisée depuis 2013 par Pôle emploi. Depuis 2014, par l’administration fiscale… Comment s’est répandu ce scoring, ce calcul des risques, cette « révolution industrielle » de l’administration publique ?

Vincent Dubois : Chaque utilisation est différente. À Pôle emploi, l’automatisation est surtout utilisée pour contrôler l’effectivité de la recherche d’emploi ainsi que pour la lutte contre la fraude, mais la focale y est plus réduite qu’à la CAF (l’enjeu consiste surtout à surveiller les escroqueries aux Assedics, fausses adresses, fausses fiches de payes… et emplois fictifs). Dans l’administration fiscale, la fouille de données s’est développée récemment mais ne conduit au déclenchement que d’environ 10 % des contrôles des particuliers, la proportion étant supérieure à 60 % pour celui des bénéficiaires d’aide sociale. Il faut rappeler ici le rôle joué par la création en 2008 de la Délégation nationale à la lutte contre la fraude (DNLF). Cette innovation institutionnelle est venue concrétiser les prises de position politiques du président Sarkozy dénonçant la fraude sociale et surtout la fraude aux prestations. Cette délégation interministérielle a eu la mission de coordonner les échanges, de favoriser les bonnes pratiques, de former et d’assurer une veille technique pour l’ensemble des services concernés par différents types de fraudes. Elle est créée alors que la fouille de données est en voie de généralisation à la CNAF et qu’elle y produit des résultats probants. Elle est rapidement devenue la technique mise en avant dont la DNLF a prôné la diffusion et la généralisation.

Internetactu.net : À côté de la statistique prédictive et du data mining, votre enquête de terrain pointe une autre transformation qui bouleverse le travail des administrations : le croisement de données ! Plus qu’un croisement d’ailleurs, c’est plutôt un « échange » voir même des accès croisés, qui renforcent le contrôle et produisent des vérifications de masse, peu coûteuses, et « efficaces ». Nous sommes passés d’un contrôle artisanal à un contrôle industriel, sous la pression de forces politiques qui ont valorisé et justifié le contrôle, mais qui a été structuré par une pléthore d’outils, de base de données et de modalités d’échanges de données. À la lecture de votre livre, en comprenant comment s’opèrent les contrôles, on découvre à quoi servent ces bases de données et portails d’information et comment ils sont mobilisés. Mais surtout, on découvre très concrètement que le respect de la vie privée et l’étanchéité des services publics, voire privés, sont devenus des vains mots. La séparation des administrations publiques et la séparation des pouvoirs qui leurs sont conférés ne sont-elles pas largement en train de disparaître ?

Vincent Dubois : Effectivement. La fouille de données et l’échange de données, même s’ils renvoient à des pratiques différentes (d’un côté des outils de détection et de l’autre des outils de contrôle), peuvent être regroupés dans un même ensemble d’usages. Il est frappant de constater le caractère concomitant et exponentiel de l’usage de ces techniques. Frappant de constater également le caractère très itératif de de développement. Nous ne sommes pas confrontés à un métafichier centralisé qui contrôlerait la population… comme l’était la menace du fichier Safari dont l’histoire raconte qu’il a donné lieu à la loi informatique et libertés de 1978, non ! La réalité est bien plus réticulaire que centralisée, mais cela ne l’empêche pas d’atteindre une forme de surveillance jamais vue. Cet ajout assez progressif d’accès et de croisement de données n’en réalise pas moins une surveillance tentaculaire.

Pour comprendre ce qu’il s’est passé, il faut tenter d’en démêler les fils chronologiques. Rappelons d’abord que la CAF, du fait de ce qu’elle traite, dispose d’une précision et d’une quantité de données personnelles sans commune mesure. Du fait de la batterie de critères et de leur diversité nécessaires pour accorder des aides, les organismes sociaux savent tout de la vie des personnes : santé, logement, travail, famille…

Au début des années 90, on a un premier mouvement d’informatisation, important et précoce, avec la création de systèmes internes aux organismes de protection sociale, comme la GED (gestion électronique des documents). En 1995, le NIR (Numéro d’inscription au répertoire, plus connu sous le nom de numéro de sécurité sociale) est autorisé pour le croisement des fichiers. Ca a favorisé le passage au caractère industriel du croisement des fichiers, car son usage a fait disparaître les nombreuses erreurs d’identification qui pouvaient exister notamment sur les noms, adresses et leurs orthographes. Ensuite ont été progressivement mis en place des protocoles d’échanges de données bilatérales, de façon itérative encore : entre la CAF et l’ANPE pour les bénéficiaires du RSA puis du RMI, entre la CAF et l’administration fiscale, etc. Un ensemble de conventions décidées de gré à gré se sont ajoutées les unes aux autres conduisant à une généralisation des possibilités d’échange de données. Ensuite, ont été constituées des bases de données « internes ». Il faut rappeler qu’il n’y avait pas de fichier national des allocataires, chaque caisse locale avait son fichier, ce qui créait notamment des risques de multiaffiliation. En 2006 est venu le RNCPS (Répertoire national commun de la protection sociale) : un répertoire qui permet à chaque organisme de protection sociale grâce aux identifiants uniques d’avoir accès aux fichiers consignés par les autres organismes sociaux. Puis la Déclaration sociale unique qui va faciliter l’unification des données en matière de ressources des allocataires. L’accès à d’autres fichiers n’a cessé de progresser… notamment l’accès direct à Ficoba (Fichier national des comptes bancaires et assimilés qui permet d’accéder aux relevés bancaires) pour contrôler la structure des ressources et dépenses des allocataires, vérifier leur train de vie ou la dissimulation de ressources non déclarées…

Ces évolutions décrivent une multiplication progressive et diversifiée d’une multitude de possibilités de croisement et d’accès à des données personnelles qui ont renforcé l’information que les organismes peuvent obtenir sur des personnes. Elles ont aussi considérablement renforcé l’efficacité des contrôles. Les croisements de ressources sont automatisés et déclenchent des contrôles en cas d’incohérence. Auquel s’ajoute le droit d’accès enfin, de façon plus individualisé et artisanal, qui permet d’accéder à des données pour des vérifications au cas par cas.

InternetActu.net : une autre transformation liée au numérique – mais pas seulement, elle est également liée à la normalisation, à des modalités de structuration des décisions, de cadrages des critères – tient également des documents utilisés, de la rationalisation des indications, des rapports. La rationalité n’est pas seulement dans les chiffres et les données, elle s’inscrit jusqu’à la normalisation des pratiques. Quels sont les effets de ces pratiques, de cette révolution de la normalisation et des traitements ?

Vincent Dubois : D’une manière générale, la structuration de la politique de contrôle a été marquée par un effort de rationalisation, qui rime avec une forme de nationalisation que l’on constate avec l’amoindrissement des latitudes d’appréciation laissées aux caisses locales. Effectivement, la technicisation par la fouille et l’échange de données est allée de pair avec la rationalisation des données. Si on regarde très concrètement le cas des enquêtes à domiciles par exemple, au début des années 2000, les contrôleurs étaient peu encadrés dans l’organisation pratique de leur travail. Les décisions liées à la qualification des situations d’isolement et la rédaction des rapports étaient assez libres dans leurs décisions et préconisations. Qualifier une décision d’isolement ou de vie maritale, malgré la jurisprudence relevait beaucoup des impressions du contrôleur. Par exemple, je me souviens d’un contrôle à domicile de personnes âgées qui habitaient ensemble et parlaient d’un arrangement amiable… Une version que le contrôleur avait retenue, n’imaginant pas que des personnes âgées puissent finalement se mettre en couple. Ne pas retenir la vie maritale serait impossible aujourd’hui. Notamment du fait des outils d’aide à la décision qui ont été créés, qui reposent sur des constats critérisés, des modalités de pondération de ces critères les uns par rapport aux autres et de la notation sur le degré de certitude de ces différents critères. La décision entre une situation d’isolement ou de vie maritale se fait désormais par le biais d’une formule Excel !

Cette automatisation de la décision… on peut voir soit positivement, comme une posture normative, un rempart logique contre les décisions individuelles des contrôleurs. On peut également la voir négativement, car elle conduit à une forme de déréalisation du traitement des dossiers. Les situations sociales sont souvent complexes et mouvantes et ne se laissent pas appréhender sur la base de critères standards et formalisés… Les contextes familiaux et les situations complexes échappent aux catégories bureaucratiques standards. La normalisation réduit la prise en compte de circonstances qualitatives, de ce qui pouvait être pris comme circonstances atténuantes. La standardisation conduit à une rigueur plus grande à la fois par la rectitude de l’application des critères et à la fois par la sévérité des décisions produites.

Ces transformations en tout cas sont très frappantes jusqu’à leur matérialité même. Au début des années 2000, les rapports des contrôleurs étaient souvent manuscrits, rédigés sur papier libre, formulés selon des styles propres aux préférences des contrôleurs, circonstanciés, souvent descriptifs de situations, narratifs plus que fonctionnels, mais livraient des ambiances, des réalités de situations. Désormais standardisés, les contrôleurs ne remplissent plus que des critères formels depuis des trames de plus en plus rigides, avec très peu d’espace de rédaction libres. Cette rationalité bureaucratique sous forme technologisée de formulaire en ligne qui ne laisse de choix que dans la réponse préremplie de menus déroulants produit une forme de déréalisation. Reste à savoir si nous sommes là face à un progrès qui prévient l’arbitraire et qui garantit une plus grande égalité. Ou face à une décision sans âme qui ne fait plus rentrer en ligne de compte les situations sociales.

InternetActu.net : le risque n’est-il pas d’une rationalisation de critères qui demeurent appréciatifs ?

Vincent Dubois : Oui. On évalue depuis des critères situationnels et de fait plus que depuis des critères juridiquement strictement définis, comme ceux liés à un statut. Face à des situations complexes et instables, l’administration fait souvent face à des situations indéterminables. Sur quels critères peut-on établir une vie maritale si la mère des enfants maintient des liens avec le père ? S’il vient trois jours par semaine ? S’il est là tous les week-ends ? Où placer le curseur ? Dans la logique des situations personnelles, la situation de précarité est marquée par une grande instabilité familiale, professionnelle, résidentielle… Or, l’administration doit arrêter des décisions dans un flux de changements. On a beau formaliser, multiplier les critères rationalisés… on ne réduira jamais le réel aux critères ! Dans les régimes assurantiels, on a des droits ouverts selon des critères de droit, de statut, de condition. Dès qu’on bascule dans des critères de faits, de situations ou de comportements… on est confronté à des difficultés. Le problème qui explique l’essor du contrôle, c’est le développement d’un système social où les prestations sont versées sur des critères de faits sont de plus en plus importants. Ce n’est donc pas un hasard si le contrôle concerne les populations les plus stigmatisées, comme celles qui bénéficient du Revenu de solidarité active ou de l’Allocation de parent isolé, car elles reposent plus que d’autres sur une qualification de situations ou de comportements.

InternetActu.net : Avec le numérique, le contrôle a changé de statut et réorienté les politiques publiques, expliquez-vous. La vérification est devenue plus coercitive et punitive, prise une spirale rigoriste inédite, qui vise à restreindre de manière toujours plus forte les règles d’attribution, les montants, les durées, les conditions d’attribution, les sanctions…), comme si l’État social se contractait. L’automatisation procède-t-elle plus à l’érosion des droits où à l’extension du contrôle ?

Vincent Dubois : L’extension du contrôle est certaine, pour les multiples raisons qu’on vient d’évoquer. La réponse informatique permet un traitement de masse des dossiers d’une façon peu coûteuse – notamment parce qu’il nécessite moins d’effectifs et qu’il produit une efficacité inédite du recouvrement – et aussi – c’est une justification souvent avancée ! – parce qu’il permet un contrôle à l’insu des contrôlés ! L’automatisation et l’informatisation ont été un vecteur très important de l’intensification des contrôles, de leur généralisation, de leur effectivité croissante et de la sévérité des décisions.

Sur la question de l’érosion des droits, peut-être faudrait-il déplacer la réponse en s’intéressant plus avant à ce qui se joue avec la dématérialisation des démarches. La thèse récente de Clara Deville sur « les chemins du droit » des bénéficiaires du RSA en milieu rural revient sur l’émergence – timide ! – de la notion de non-recours comme préoccupation officielle et la promotion de l’administration électronique. La dématérialisation est souvent vue comme la solution miracle, alors que, pour les personnes en précarité, elle est surtout un obstacle supplémentaire à l’accès aux droits. Dans ce cadre, le numérique ajoute des difficultés à celles qui existaient déjà en matière d’accès. Nous avons encore besoin d’enquêtes sur ces enjeux. Dans les démarches administratives, il y a des critères de compétences bien sûr – techniques pour savoir manier l’outil, mais également linguistique pour comprendre le vocabulaire administratif… -, mais aussi des critères liés aux situations ! Dans les situations standards, il est facile de rentrer dans les cases, même si elles sont rigidifiées par les formulaires numériques. Par contre, dès que les situations sont complexes, la dématérialisation renforce les obstacles. L’administration électronique, outre les questions d’accès, nous fait basculer dans une administration à distance qui renforce les problèmes d’accès déjà présents, notamment pour les populations les plus précaires. L’absence de face à face, pourtant primordiale, comme je le soulignais dans un précédent livre, La vie au guichet, empêche de se faire expliquer les démarches ou d’expliquer sa situation. L’obstacle classique du vocabulaire est ici renforcé, durcit, tout comme difficulté à « rentrer dans les cases », à qualifier sa situation sans explications ni accompagnement. Avec l’administration électronique, quand votre situation n’est pas prévue dans le menu déroulant, la discussion est close.

InternetActu.net : Votre livre est l’un des rares, si ce n’est le premier, à éclairer la question du « scoring » pratiqué par les administrations publiques. En tant que citoyens, nous ne savons rien des scores de risques qui sont affectés à nos profils. Si, notamment, la Loi pour la République numérique de 2016 prévoit l’ouverture des algorithmes publics et la publication des règles qui président à ces calculs, pour l’instant, ces publications concernent seulement les règles de calculs des droits et taxes. Comment se fait-il que ces calculs, pratiqués pourtant depuis 10 ans par la CAF, nous soient invisibles ? Comment expliquer cette discrétion pour ne pas dire ce secret dans la « révolution industrielle » des administrations publiques ?

Vincent Dubois : Il faudrait mener une enquête sur la transformation et le déclin de la CNIL. La réponse tient en partie au résultat de transformations juridiques liées notamment au droit européen, de transformations organisationnelles et un certain déclin des idéaux de liberté publique du fait des renouvellements générationnels au sein de la commission, tout autant qu’un rapport de force qui a sans doute affaibli la place de la CNIL dans le champ bureaucratique. De manière très concrète, tout cela a conduit à ce que les croisements de données et la création de bases de données dédiées ne soient plus soumis à autorisations préalables, mais instruites en interne par des délégués à la protection des données en discussion avec les administrations… Et que les avis de la CNIL ne soient désormais plus contraignants. Ces transformations du rôle de la CNIL ont ouvert une possibilité de croisement de données qu’on pensait impensable en 1978…

InternetActu.net : dans votre livre, vous écrivez d’ailleurs : « Trente ans après la loi informatique et libertés de 1978, les fichiers et croisements d’informations ont cependant été réalisés » dans une « ampleur bien plus importante que les projets qui l’avaient initialement suscitée »…

Vincent Dubois : Cela tient certainement beaucoup à la façon dont les choses se sont mises en place. Il n’y a pas eu un projet massif et centralisé auquel s’opposer, qui aurait créé débats et controverses… Le fait que ces questions aient été traitées au cas par cas, via des accords de gré à gré, à diluer leur mise en place, et ce alors que leur généralisation a été lente et très progressive. Nous n’avons pas été confrontés à un système généralisé, mais à une facilitation des procédures. Or, qui s’émeut d’une convention d’échanges de données entre deux organismes publics ?… Pourtant, mis bout à bout, l’ensemble de ces conventions font bien systèmes et produisent une efficacité redoutable.

Ensuite, la fouille de données se pare des atours d’une neutralité statistique et mobilise des techniques relativement complexes. Cette technicité permet de laisser de côté l’approfondissement des débats sur leurs usages ou leurs limites. Au final, il faut pouvoir faire une enquête comme la mienne pour saisir comment les données sont effectivement utilisées. Les administrations (mais on peut étendre le constat aux entreprises privées, comme la banque ou l’assurance par exemple) sont peu enclines à dévoiler les fonctionnements de leurs algorithmes, comme on le constate avec Parcoursup. Pourtant, il y a là un vrai enjeu démocratique. Nous devons connaître les informations personnelles que les administrations utilisent, comment et à quelles fins.

InternetActu.net : Dans ce nouveau paysage d’une surveillance omnipotente, y’a-t-il encore une place pour que les contrôlés puissent s’adapter, trouver des espaces ou des modalités pour prolonger les modes de « fraudes de survie » dans lesquels ils sont le plus souvent ? Le nombre de fraudes identifiées a été multiplié par 30 entre 2004 et 2017, mais leurs montants seulement par 16 et au prix d’un élargissement sans fin de la définition de la fraude (qui a largement dépassé la notion d’escroquerie organisée). Dans cette surveillance, toujours plus stricte, de plus en plus réactive, « ce sont presque toujours les allocataires les plus précaires qui sont le plus contrôlés », à savoir les individus isolés ou ceux dont les conditions d’emplois sont les plus irrégulières. Le risque n’est-il pas que les méthodes de calcul toujours plus précises toujours plus volatiles et évolutives (notamment la fin de l’annualisation des droits et prestations) se fassent au détriment des plus précaires sans leur laisser d’espaces d’adaptation, de tolérance ?

Vincent Dubois : Décrire l’expérience du contrôle vu du côté des contrôlés nécessiterait une autre enquête. Elle est difficile à réaliser, car il est difficile d’accéder aux personnes contrôlées… Je ne désespère pas pourtant qu’on puisse la réaliser un jour.

L’ajustement des pratiques des allocataires à ces systèmes semble se réduire. D’abord parce qu’il est difficile de s’adapter à des modèles de détection qu’on ne connaît pas vraiment. Néanmoins, il y a toujours des effets d’ajustements, liés à l’information qui circule, à l’expérience des contrôles qui forge des compétences pour s’y ajuster… Reste que, par nature, la fouille de données pour lutter contre la fraude ne cesse de s’ajuster à l’évolution des fraudes documentées, on l’a dit. Le système n’est pas fixe et établi, mais rétroagit. Les usages de fraudes sont régulièrement remodélisés pour améliorer les formes de contrôle.

Ce n’est pourtant pas un modèle sans failles. L’une des limites qui a été identifiée par exemple, c’est que le modèle est national, global, et qu’il est donc aveugle aux disparités locales. La même variable en fonction de contextes différents n’a pas la même signification. Être chômeur dans un bassin d’emploi où il y a beaucoup de chômage n’a pas la même signification ni les mêmes implications que de l’être dans un contexte où le taux de chômage est très faible. Cela nécessite certainement un travail pour intégrer des variables contextuelles aux modèles.

Enfin, une autre limite tient certainement à l’auto-alimentation de ces techniques. Devoir déclarer plus régulièrement des ressources produit mécaniquement des erreurs, des retards… Plus on suit au plus près et de façon continue les situations, en temps réel, plus les critères font l’objet d’erreurs… Et plus on les contrôle !

Propos recueillis par Hubert Guillaud, le 16/06/2021.

En septembre 2019, dans une tribune pour le toujours sémillant The Atlantic (@TheAtlantic), Daphne Keller (@daphnehk), directrice du programme de régulation des plateformes au Centre de cyber politique de Stanford (@stanfordcyber), expliquait que les entreprises internet n’avaient pas d’état d’âme à restreindre la liberté d’expression. Elle réagissait alors au lancement de la « Cour suprême » de Facebook – devenue depuis « Conseil de surveillance » (sur FB, @oversightboard). Pour Keller, il est normal que ces places publiques modernes se dotent de règles de fonctionnement, d’autant qu’elles ont pris une importance primordiale pour les utilisateurs. « Les personnes dont les messages sont retirés des principales plateformes disent qu’elles sont exclues des canaux de communication les plus importants de notre époque ». D’où l’importance à nous préoccuper des règles que ces entreprises appliquent à nos discours et nos comportements… que ce soit de savoir si PayPal peut virer les dons à Wikileaks, si Cloudflare doit protéger les sites néonazis ou si Facebook doit retirer la célèbre photo de Nick Ut d’une jeune fille nue brûlée au Napalm sur une route du Viêt Nam.

Les médias sociaux ne sont pas des gouvernements

« Mais les plateformes privées ne sont pas vraiment la place publique, et les sociétés Internet ne sont pas des gouvernements. C’est exactement pour cela qu’elles sont libres de faire ce que tant de gens semblent vouloir : mettre de côté les règles de libre expression du premier amendement [de la Constitution des États-Unis] en faveur de nouvelles règles plus restrictives ». L’existence de cours suprêmes « privées » et de conventions spécifiques permet d’imaginer que cette refonte sera régie par les mêmes contraintes que celles qu’ont connues les gouvernements du monde réel : des règles « constitutionnelles » pour protéger les droits individuels et établir des processus démocratiques pour établir les lois sous lesquelles nous vivons… Mais les plateformes n’ont fait écrire à leurs usagers aucune Constitution et ne sont soumises à aucun processus démocratique ni même à aucun devoir de séparation des pouvoirs ni à une quelconque représentativité de leurs usagers ! Leurs règles ne sont donc « constitutionnelles » que de nom !

Des groupes de défense des utilisateurs ont demandé des droits similaires à ceux d’une « procédure régulière », comme un droit d’appel pour les personnes accusées d’avoir violées les règles des plateformes, comme on le trouve exprimé dans les principes de Santa Clara. D’autres demandent une transparence similaire à celle qu’on attendrait de législateurs, notamment pour mettre en lumière leurs interactions avec des lobbys ou leurs clients. Ces demandes sont positives et nécessaires, bien sûr, mais « il ne faut pas croire qu’imiter les systèmes gouvernementaux fera des plateformes des substituts aux gouvernements, soumis à des lois et des contraintes de pouvoir fondées sur des droits réels », prévient Daphne Keller. De fait, les plateformes sont plus à même de restreindre les libertés notamment parce qu’elles sont bien moins responsables de leurs choix que des représentants élus. Pour Keller, il nous faut mieux comprendre ces différences avant de demander aux plateformes de jouer un rôle plus important en tant qu’arbitres de la parole et de l’information, notamment parce qu’elles peuvent restreindre les discours avec plus d’efficacité que les gouvernements. Certes, elles n’emprisonnent pas les dissidents, mais elles peuvent les réduire au silence. Et notamment supprimer des publications licites, mais haineuses, harcelantes, trompeuses ou offensantes… bien plus rapidement que ne le ferait un procès. « L’absence de responsabilité démocratique ou constitutionnelle qui rend les plateformes si efficaces en tant que régulateurs de contenu les rend très difficiles à contraindre d’une autre manière ». Enfin, leurs « procédures » de contestation sont de très pâles reflets des originaux dont elles devraient s’inspirer.

Les membres de ce qu’on appelait encore la Cour suprême de Facebook ne sont pas chargés de faire respecter les droits des utilisateurs en vertu d’une Constitution ou des Droits de l’homme ou de tout autre instrument juridique, rappelle Keller. Leur travail ne consiste qu’à interpréter les règlements existants – et changeants – des plateformes. Le problème est que chaque fois que l’opinion s’indigne, les plateformes sont incitées à assumer davantage de pouvoir, que ce soit en accroissant la surveillance des utilisateurs ou l’interdiction de contenus licites… « Plus les plateformes s’arrogent ces pouvoirs, plus nous devons nous inquiéter du fait que nous ne contrôlerons pas réellement la manière dont elles les utiliseront ».

Dans ce contexte, les gouvernements ont du pouvoir : ce n’est pas un hasard si les grandes plateformes appliquent les normes européennes en matière de discours de haine dans le monde entier. Les annonceurs également ont du pouvoir : toutes les plateformes ont remanié des politiques en fonction de leurs indignations ou préconisations. Dans ce contexte, les utilisateurs sont bien souvent ceux qui ont le moins de pouvoir. « Si les plateformes n’ont pas de comptes à nous rendre, pourquoi les encourageons-nous à assumer un tel contrôle pratique sur notre discours ? »

À cause de la fuite en avant ! répond Daphne Keller. Le raisonnement est toujours le même : les plateformes ont déjà des règles et donc elles peuvent en avoir de meilleures. Le problème, c’est que ce raisonnement est à sens unique, explique la juriste. Il justifie le fait de demander aux plateformes d’en faire toujours plus, plutôt que de leur demander de revenir sur les changements qu’elles ont déjà effectués ! À l’image de la démultiplication des outils de détection automatique des contenus… lancés à l’origine pour lutter contre la pédopornographie (notamment PhotoDNA, que nous évoquions depuis notre lecture du livre de Tarleton Gillespie). Depuis, la prévalence de ces outils n’a cessé de s’étendre : pour identifier les « terroristes » (selon les propres définitions des plateformes) et pourraient demain s’étendre aux insultes à l’égard d’hommes politiques… L’expansion du rôle des filtres risque d’être sans fin et surtout sans point d’arrêt !

Les forces du marché sont censées contenir le pouvoir commercial privé. Lorsqu’elles ne suffisent pas, les démocraties usent plutôt du droit de la concurrence plutôt que de chercher à établir des règles gouvernementales pour les entreprises. Quand elles nuisent trop, les autorités les taxent pour financer des mesures correctives, comme elles le font à l’égard des entreprises qui polluent ou des fabricants de cigarettes. Les tribunaux peuvent également les obliger à prendre des mesures… Mais à l’égard des plateformes, nous ne suivons pas ce schéma où le gouvernement fixe les règles et les entreprises les suivent. Pire, souligne-t-elle : les plateformes peuvent bloquer des discours que les autorités n’ont pas le pouvoir de restreindre, ce qui peut plaire à nombre d’entre elles. Finalement, pour contourner les limites du droit, le risque est de donner plus de pouvoir aux plateformes, ce qui menace de renoncer à une réelle contribution démocratique qu’on pourrait leur demander : comme de mieux surveiller et publier les pressions qu’elles reçoivent des gouvernements.

Les entreprises privées remodèlent les normes d’expressions par à-coups, souvent brutalement, et non pas d’une manière progressive et prudente comme le ferait un tribunal ou un législateur. Le risque est que nous renoncions à des protections réellement constitutionnelles, elles, et à des aspects majeurs d’une ouverture démocratique de leur gouvernance.

Connaissez-vous le GIFCT, acteur majeur de la modération mondiale ?

Dans un article pour Slate, Chloe Hadavas (@hadavas) donne un exemple assez concret des lacunes démocratiques auxquelles ces plateformes nous confrontent. En 2017, Facebook, Microsoft, Twitter et YouTube ont créé une association – et une base de données -, le Global Internet Forum to Counter Terrorism (GIFCT, @GIFCT_official, Forum mondial de l’Internet pour la lutte contre le terrorisme) qui a pris en quelques années une importance majeure en matière de modération. Cette base de données pour coordonner la suppression de contenus relatifs à l’imagerie et la propagande terroriste violente produit une liste noire de contenus partagés entre les plateformes.

Le problème, c’est la grande opacité de son fonctionnement !, explique Hadavas. Aucune des décisions relatives au contenu n’est transparente et les chercheurs n’ont pas accès à cette base. Les règles que le consortium prend sont privées : il définit ce qui est et n’est pas un contenu terroriste, sans avoir à rendre des comptes, au risque de bloquer des reportages sur le terrorisme ou sur les violations des droits de l’homme. Le GIFCT ne force pas les plateformes à retirer les contenus qu’elle signale, mais c’est en réalité le cas, notamment parce qu’elles n’ont pas toujours les ressources suffisantes pour réévaluer les contenus que le GIFCT leur signale. Sous la pression de l’Appel de Christchurch, ce sommet politique entre gouvernements et entreprises pour lutter contre les contenus terroristes en ligne après la fusillade en Nouvelle-Zélande, le GIFCT a annoncé en 2019 qu’il allait remanier sa structure interne, notamment son comité consultatif indépendant en intégrant des représentants de plusieurs gouvernements (à savoir le Canada, la France, le Japon, le Kenya, la Nouvelle-Zélande, le Royaume-Uni et les États-Unis) pour le rendre plus responsable.

Le 30 juillet 2020 pourtant, le Center for Democracy and Technology (@CenDemTech) et 14 autres organisations de défense des droits de l’homme ont adressé une lettre à Nick Rasmussen, le directeur exécutif du GIFCT, s’inquiétant de son manque de transparence et de la participation déséquilibrée de certains gouvernements au Comité consultatif du GIFCT – au détriment d’autres ! Rappelant que les programmes de lutte contre le terrorisme et la surveillance ont violé les droits de certains pays et religions voire ont été utilisé par des gouvernements pour faire taire la société civile, les associations ont demandé à ce que « les limites entre la modération du contenu et le contre-terrorisme soient éclaircies ». Le risque est bien sûr que les plateformes décident demain de supprimer des données sous la pression de gouvernements pour imposer une censure qui ne serait pas légale autrement.

L’enjeu est de savoir comment tenir les décisions prises par le GIFCT comme responsables. Pour beaucoup, le consensus veut que le GIFCT serait plus digne de confiance s’il était plus transparent qu’il n’est. En juillet 2019 (puis en 2020), il a publié ses rapports de transparence en détaillant le fonctionnement d’un outil qui permet aux plateformes d’indiquer quand une image/vidéo/URL ne devrait pas figurer dans sa base de données. Mais c’est bien insuffisant, estime Daphne Keller, qui souhaite que des chercheurs puissent avoir accès à des copies du contenu réel bloqué par le GIFCT, pour mieux évaluer leurs biais et erreurs, ou offrir des possibilités de recours des utilisateurs lorsque leurs contenus sont bloqués par ce système. Enfin, d’autres réclament que le rôle du comité soit plus clair, notamment qu’il reste vraiment consultatif. Pour Keller, le GIFCT illustre combien la question de la responsabilité des plateformes s’avère glissante dans la pratique. Une poignée de plateformes ont créé des systèmes opaques et puissants qui appliquent des règles qui ne sont pas la loi pour contrôler les discours en ligne ! Le risque est bien que nous multiplions demain ce type de procédures et d’institutions spécifiques qui n’ont de compte à rendre à personne ! Et que ce qui n’est pas la loi devienne une norme…

Le conseil de surveillance de Facebook en ses limites

C’est en grande partie le risque que fait peser également le fameux conseil de surveillance de Facebook mis sous les projecteurs récemment pour sa décision très attendue sur l’éviction de Donald Trump. Le conseil de surveillance a donc décidé, début mai, de maintenir la « déplateformisation » de l’ancien Président, expliquait TechPolicy.press (@techpolicypress), mais en renvoyant l’entreprise à motiver et mieux délimiter la sanction. Le conseil de surveillance de Facebook a cependant approuvé les décisions prises par l’entreprise – même s’il a demandé des explications sur celles-ci. Le conseil a recommandé d’améliorer le recrutement de son personnel de modération notamment ceux spécialisés dans le traitement des utilisateurs influents, de clarifier la politique qui permet à certains utilisateurs d’échapper aux contraintes qui pèsent sur tous en raison de leurs statuts.

Pour Jordan Guiao (@jordanguiao), chercheur au Centre australien pour la technologie responsable (@CnrtResponsTech), dans une tribune pour TechPolicy, cette décision montre surtout les limites de l’exercice d’autorégulation. Pour lui, si Facebook est si incapable de traiter ces questions, c’est bien parce que sa plateforme n’a pas été conçue pour ça et que Facebook reste dominé par ses intérêts commerciaux. En Australie, le récent conflit entre Facebook et la presse a laissé des traces explique le chercheur, qui, comme Ethan Zuckerman ou Eli Pariser (que nous évoquions il y a peu), milite pour des réseaux sociaux de services publics. Plutôt que de perdre notre temps à réguler Facebook, nous devrions surtout prendre le temps de construire des solutions nouvelles et différentes. Comme le pointait le professeur de littérature Dennis Tenen (@dennistenen) sur The Reboot (@ProjectReboot) –repris et traduit par ,Mais où va le web ? -, la modération n’est pas universelle et nécessiterait d’être bien plus maîtrisée par la communauté et le contexte, selon les fins qu’elles poursuivent, plutôt que d’être conçue d’une manière totale et industrielle, qui impose un régime de modération sans nuance, sans discussion, sous forme d’un régime universel qui n’est ni transparent ni démocratique.

En février, le New Yorker est revenu en détail sur la construction du conseil de surveillance de Facebook dans un article qui en éclaire justement les limites. Son auteure, Kate Klonick (@klonick) a suivi son déploiement (avec l’autorisation de Facebook).

Au début, rappelle-t-elle, FB n’avait aucune idée sur la manière dont ce conseil devait fonctionner. Pour trouver des idées, elle a organisé des ateliers avec des experts du monde entier sous la supervision de Zoe Darme, à l’époque responsable de l’équipe gouvernance de FB, en donnant aux participants des cas concrets à modérer. Pour Klonick, ces exemples, dans leur ambivalence même, soulignaient combien l’incertitude et la difficulté à produire des règles claires était difficile, d’autant que les « intuitions » sur la liberté d’expression varient considérablement selon les clivages politiques et culturels. Au final, les opinions des experts se sont révélées assez contradictoires : dans un atelier à New York, 60 % des participants ont voté pour le rétablissement d’une image d’une femme souriante accompagnée d’une bulle où était inscrit « Tuez tous les hommes », en y voyant surtout de l’humour, alors qu’à Nairobi, seulement 40 % ont voté pour son rétablissement. Pour Zoe Darme, la raison tient peut-être plus à des questions de respect de l’État de droit : là où il est moins respecté, la liberté d’expression l’est moins également… Pas sûr que ce soit la seule explication…

« L’idée que FB, à l’instar d’une république naissante, ait besoin d’instituer des réformes démocratiques, aurait pu paraître saugrenue il y a 10 ans », explique Klonick. En 2009, FB avait lancé un référendum portant sur la modification de ses conditions d’utilisation où seul 0,32 % des utilisateurs avaient voté. L’entreprise promettait alors de donner plus de pouvoir à ses utilisateurs… Elle en est largement revenue. Alors que de plus en plus d’utilisateurs rejoignaient les plateformes de réseaux sociaux, les entreprises ont instauré de plus en plus de règles pour assainir le contenu et maintenir l’expérience qu’elles proposaient la plus agréable possible. Mais cela s’est complexifié à mesure que le nombre d’utilisateurs a progressé.

L’idée du conseil de surveillance est venue d’un professeur de droit de Harvard, Noah Feldman. Pour lui, les médias sociaux devaient créer des systèmes quasi juridiques, une sorte de « tribunal d’entreprise », afin de traiter les questions difficiles liées à la liberté d’expression. Zuckerberg a soutenu l’idée devant son conseil d’administration dubitatif et partagé, en expliquant qu’un conseil d’experts serait le mieux placé pour prendre les décisions difficiles auxquelles l’entreprise était de plus en plus confrontées. Il a lancé le projet. La charte du conseil de surveillance et ses règles de procédures, rédigées par des experts et employés de FB, ont, de réunion en réunion, été nettoyées de leur emphase juridique pour devenir plus accessibles. Les rouages de l’instance ont été mis en place : composée d’une vingtaine de membres, très bien payés, pour une quinzaine d’heures de présence par semaine. Une commission choisit les cas les plus représentatifs des 200 000 publications qui posent problème chaque jour et les soumet à une partie des membres réunis anonymement pour qu’ils statuent.

L’utilisateur incriminé doit déposer un mémoire écrit pour sa défense. Un représentant de l’entreprise dépose un argument pour expliciter la décision de l’entreprise. Le panel décide et FB exécute la décision prise. Actuellement, les utilisateurs peuvent faire appel en cas de suppression de leur publication (take-downs), mais pas quand elles sont laissées en place (keep-ups) – or un grand nombre de problèmes signalés sont bien souvent maintenus en ligne. Les utilisateurs ne peuvent pas non plus faire appel sur des questions comme la publicité politique, les algorithmes ou la déplateformisation de pages de groupes (mais FB a annoncé qu’il devrait permettre d’élargir l’appel des décisions par les utilisateurs)… Quant au conseil, il ne peut prendre des décisions que sur les affaires que lui renvoie FB, pas de sa propre initiative. Autre limite : les décisions du conseil ne deviennent pas une politique ! C’est-à-dire que si le conseil supprime ou rétabli un contenu, cela n’oblige pas FB a retirer ou maintenir les publications similaires (cela reste à la discrétion de l’entreprise). Enfin, les recommandations politiques du conseil ne sont que consultatives, ce qui en limite la portée, mais, malgré tout, entrouvre une fenêtre inédite de pression publique sur la politique de l’entreprise.

Klonick s’amuse également des discussions qui ont eu lieu pour choisir les membres de ce conseil de surveillance et notamment des innombrables pressions reçues. Dès les premières annonces, les controverses ont fleuri. En mai 2020, sa composition a été annoncée, déclenchant l’ire de certains, notamment du président Trump, sans que FB ne cède à ses pressions. Les détracteurs restent néanmoins nombreux. Pour la professeure de droit Julie Cohen (@julie17usc), ce panel de stars somptueusement rémunérées n’a aucun intérêt et ne peut se prononcer sur les problèmes les plus fondamentaux de FB. Pour Zuckerberg, FB va avoir besoin d’institutions et de surveillance supplémentaire. Créer des produits pour communiquer n’est pas le même travail que gouverner une communauté, expliquait-il directement à Klonick pour justifier de la création du conseil.

En avril 2020, les membres du conseil se sont réunis pour la première fois (sur Zoom !) et ont suivi une formation pour se connaître les uns les autres et sur les normes en matière de modération de FB. En octobre, FB a (entre)ouvert la possibilité d’appels (à 5 % des utilisateurs choisis aléatoirement). En novembre, le conseil a reçu ses premiers cas.

Un des cas traités était une photo d’église détruite en Azerbaïdjan par un utilisateur se plaignant de l’agression du pays à l’encontre des Arméniens. FB avait supprimé le post sous prétexte qu’invitait à la haine. Certains membres du conseil ont trouvé étrange d’appliquer cette règle dans le cas d’une publication se plaignant d’un groupe dominant en conflit avec un autre. Mais le conseil a finalement voté pour la suppression du message.

Dans un autre cas – une vidéo et un texte provenant de France se plaignant que le gouvernement avait refusé d’autoriser l’hydroxychloroquine contre le Covid-19 -, que FB avait supprimé pour ne pas promouvoir l’automédicamentation, les discussions ont été nourries. D’un côté des membres soulignaient que FB devait combattre la désinformation, de l’autre, des membres ont souligné que la publication prônait un changement de politique et donc relevait d’un risque de censure de discussions politiques. Le médicament n’étant pas en vente libre en France et ne pouvant donc pas promouvoir l’automédication, le conseil a finalement décidé de ne pas le censurer et de restaurer la publication.

Quelques semaines plus tard, alors que les protestations Black Lives Matter se répandaient dans le pays, Trump a publié sur FB et Twitter un message menaçant d’envoyer l’armée pour les maîtriser, précisant « quand les pillages commencent, les tirs commencent », une phrase dont la charge raciste est sans équivoque. Twitter a alors signalé à ses lecteurs que le tweet violait ses règles, mais pas FB. Zuckerberg a publié lui-même une déclaration expliquant qu’il ne partageait pas ces propos, mais que c’était aux gens de s’en rendre compte en soulignant dans une interview à Fox News que son entreprise ne pouvait pas être « l’arbitre de la vérité ». Des employés en colère ont organisé un débrayage virtuel face à cette inaction. Quelques jours plus tard, l’un des membres du conseil a suggéré une réunion du conseil au complet qui a débattu du sujet.

Plusieurs membres étaient choqués et souhaitaient publier une déclaration condamnant la décision de FB. D’autres étaient contre le fait de prendre une décision partisane. Après 2 heures de discussion, les membres ont décidé pourtant de ne pas s’exprimer sur cette question.

Face à Trump, comment Facebook s’est pris les pieds dans son opacité

Et puis il y a eu la contestation des résultats de l’élection et la prise d’assaut du Capitole. FB a supprimé deux publications de Trump le jour même. Et le lendemain des événements, Zuckerberg, sur son propre fil FB, a annoncé la suspension indéfinie du compte de Trump. Le lendemain, Twitter l’a banni à son tour. Cette « déplateformisation » comme on l’a appelé a bien sûr fait couler beaucoup d’encre. Certains s’en sont félicités, d’autres ont exprimé leur inquiétude du fait que FB avait fait taire un dirigeant démocratiquement élu. Pour le professeur de droit Eugene Volokh (blog), la cinquième entreprise des États-Unis, en situation de quasi-monopole sur son créneau, a restreint la liberté d’expression d’une personnalité politique auprès des trente millions de personnes qui le suivaient. C’est peut-être très bien… Mais ça reste un pouvoir immense, confiait-il à Klonick. Angela Merkel a qualifié cette suppression de problématique et Navalny, l’un des opposants de Poutine, a dénoncé une censure inacceptable.

En interne, seul FB avait le pouvoir de renvoyer la suspension de Trump devant le conseil de surveillance. Le conseil d’administration a plaidé pour que le conseil de surveillance examine le cas, afin de ne pas porter atteinte à sa jeune légitimité. Le lendemain de l’investiture de Joe Biden, FB a envoyé le dossier au conseil de surveillance. L’article de Klonick se terminait sur les attentes que représentait cette décision. Elles ont été douchées depuis.

Comme le raconte Klonick dans le Washington Post, le réseau social espérait s’en remettre à son instance d’appel, mais ce n’a pas été le cas. Si le conseil a confirmé la décision de bannir Trump, il a demandé que l’entreprise assume davantage la responsabilité de ses décisions. FB a dépensé 130 millions de dollars pour mettre en place ce conseil (pour assurer son fonctionnement pour une durée de 6 ans), rappelle Klonick.

Pendant des années, rappelle-t-elle, FB a maintenu des conditions exceptionnelles pour laisser Trump s’exprimer, alors qu’en regard de sa politique, il aurait dû être censuré depuis longtemps. « Lorsque vous accordez des exceptions aux personnes les plus puissantes du monde, elles abusent de leur pouvoir », alors qu’appliquer la même justice pour tous reste une des plus puissantes boussoles collectives qui soient. Le 6 janvier, ces petits accommodements ont finalement explosé au visage de l’entreprise.

Dans sa décision, le conseil rappelle finalement que FB n’a pas utilisé de règles claires, notamment parce que l’entreprise n’a cessé de les modifier à la volée, ce qui n’est pas conforme ni aux règles ni à l’équité. Il a expliqué que si FB voulait exclure Trump de façon permanente, c’était à l’entreprise de créer les règles pour cela. Le conseil rappelle que le manque de transparence de FB sur ses propres règles lui est préjudiciable et a demandé à l’entreprise de répondre sur la façon dont les décisions concernant les utilisateurs influents sont prises… Elle a aussi demandé à ce que FB éclaircisse comment ses algorithmes avaient amplifié les messages de Trump – mais pour l’instant, FB a refusé de répondre à cette question. Cette remarque est certainement la plus importante de l’avis, explique Klonick. « Si FB veut que le conseil de surveillance soit respecté comme tribunal indépendant, refuser de répondre à ses questions n’aidera pas ». Et souligne que l’enjeu principal à toute transparence demeure la question du calcul de la mise en visibilité et invisibilité des contenus.

Dans une longue interview pour The Verge, Klonick précise encore que le conseil rend des décisions anonymes à la majorité, mais éclaire dans ses notes le fait qu’il y ait des opinions divergentes. Elle rappelle à nouveau qu’une des limites du conseil c’est de rendre des décisions très étroites sur la suppression ou non d’un contenu qui ne s’élargissent pas à des contenus similaires, ce qui limite beaucoup sa portée. Le conseil a pourtant le droit de faire des recommandations de politique auxquels FB doit répondre dans les 30 jours pour préciser les raisons qui la conduise à les mettre en place ou pas. Pour le professeur de droit de Harvard, Mark Tushnet, cela reste une forme de contrôle de « forme faible », une pression de réputation surtout. Le conseil ne fait pas le droit. Il ressemble bien plus à un tribunal de première instance qu’à une Cour d’appel ou une Cour suprême !

Ce que souligne la décision malgré tout, c’est qu’une suspension permanente est de facto disproportionnée. Pour Klonick, FB semble effectivement avoir des « règles » différentes pour certaines personnes, mais nous n’avons « ni accès à la liste des personnes concernées, ni ne savons comment elle est gérée, ni bien sûr les exceptions aux règles dont elles bénéficient » – pour autant qu’il y ait vraiment des règles, il est probable, ajouterai-je qu’ils bénéficient surtout de modérateurs/appréciateurs de contenus dédiés par rapport au traitement massifié de tous les autres utilisateurs. En demandant à FB de s’expliquer, le conseil de surveillance a pleinement rempli son rôle.

Depuis, Facebook a fait de nouvelles annonces et enfin répondu au conseil de surveillance. Notamment en annonçant ramener le bannissement de Trump à 2 ans et en annonçant de nouvelles règles (avec des sanctions plus strictes, hiérarchisées et croissantes) pour les « personnalités publiques », explique FastCompany. Reste que la réponse de FB demeure floue : « Nous autorisons certains contenus dignes d’intérêt ou importants pour l’intérêt public à rester sur notre plateforme, même s’ils sont susceptibles de violer nos normes communautaires » et n’explique toujours pas qui sont les utilisateurs influents qu’il distingue du commun des mortels et qui vont continuer à recevoir un traitement particulier et accéléré pour mieux saisir leurs intentions et la réception de leurs propos. Comme le constate le chercheur Olivier Ertzscheid (@affordanceinfo2) dans une tribune pour Libération, c’est un revirement pour FB puisque désormais tout propos pourra être modéré… mais ce revirement date surtout des conséquences des décisions du 7 janvier, plus que de la réponse de FB. Pour autant, les personnalités publiques ne sont pas encore ramenées au rang de simples utilisateurs, et encore une fois, si tout propos peut-être modéré, il n’en sera pas de même si vous êtes riches et puissants que pauvre et malade !

En 2019, Klonick avait publié un article pour comprendre depuis quels critères FB pouvait définir un statut spécifique de personnalités publiques « dignes d’intérêt ». Mais « dignes d’intérêt pour qui ? » interrogeait-elle avec perspicacité. Ici, le conseil de surveillance rappelle soit que FB devrait supprimer ces exceptions soit être clair à leur sujet.

Pour Klonick, la suite des débats sera intéressante. Il est probable que le conseil s’oppose de plus en plus à FB, s’isole et finisse par s’éteindre à son terme. Mais, malgré ses innombrables limites et son pouvoir circonscrit, le conseil de surveillance de FB pourrait aussi montrer aux autorités qu’on pourrait exiger de toutes plateformes une instance de ce type – le Canada d’ailleurs envisagerait de rendre obligatoire la création de conseils de surveillance pour les plateformes de médias sociaux, avance-t-elle un peu rapidement dans l’interview, mais le projet de loi C-10 pour modifier la loi sur la radiodiffusion dont il semble être question n’avance pas ce type de propositions. Reste à savoir, suggère encore Klonick si le conseil de surveillance (de FB, mais qui ne le porte pas dans son nom officiel), va rester le conseil de surveillance de FB ou si finalement, comme l’induit son nom, il ne pourrait pas devenir une autorité pour toutes les plateformes… Twitter, qui ne s’est pas doté d’autorité de ce type, pourrait demain déverser également une somme équivalente dans la société indépendante créée par FB pour former son propre conseil… Pour Klonick, la diversité des politiques de modération des plateformes, leurs positionnements, leurs rôles et leurs différences algorithmiques sont certainement essentiels. Dans un scénario de fusion des conseils de surveillance, le risque est aussi que les normes soient partout les mêmes… Pire : l’idée qu’une entité unique contrôle demain la libre expression des États-Unis et du monde est certainement une perspective plus problématique qu’autre chose.

Et Klonick de rappeler que seulement 7 % des utilisateurs de FB sont américains ! FB impose des normes au monde entier alors que celles-ci sont décidées par une population qui n’y est même pas majoritaire ! Que FB décide de la nature de ses politiques, soit. Mais ce qui importe, c’est qu’elles soient justes, cohérentes, proportionnées, équitables. Or, les résultats injustes semblent plus la norme que l’exception, avance Klonick, qui explique que le taux d’erreur sur les décisions de modération de contenu serait de 80 % [en fait, ce chiffre semble issu d’un article d’analyse de la décision du conseil de surveillance par le Center for Democracy & Technology qui souligne que 25 contenus postés sur le compte de Trump ont été marqués comme contraires aux standards de FB, mais que suite à leur examen, seulement 5 d’entre eux ont été retenus comme contraires aux standards, ce qui révèle un taux d’erreur dans l’application des standards de 80% ! Et les auteurs de généraliser ce taux d’erreur aux décisions de retraits qui impactent tous les utilisateurs… – qui ne bénéficient pas du même traitement de vérification que les utilisateurs « dignes d’intérêt » – en rappelant d’ailleurs que FB, dans ses rapports de transparence, n’est pas très clair sur son taux d’erreur, ni sur le taux de contenus rétablis, NDT]. Dans son avis, souligne encore Klonick, le conseil de surveillance pointe le rôle du comité discret qui écrit, modifie et réécrit les règles de modération de FB à assumer son rôle politique. Pas sûr que ce soit pourtant la piste que poursuivra l’entreprise ! Jusqu’à présent, ces instances internes qui précisent et peaufinent les règles de modération, quand elles existent, ont toujours été éminemment discrètes et particulièrement protégées.

« Une plus grande modération des contenus ne signifie pas une meilleure modération »

Très concrètement, l’IA est toujours aussi nulle pour modérer les discours de haine, soulignait la Technology Review, depuis une étude (.pdf) qui a testé 4 systèmes distincts de modération en montrant que tous avaient du mal à distinguer les phrases toxiques des phrases inoffensives. Pour accomplir leur étude, les chercheurs ont mis au point 29 tests différents, afin de mieux déterminer où chaque système échoue, et ont distingué 18 types différents de discours de haine et 11 scénarios qui n’en relèvent pas et qui piègent souvent les systèmes automatisés (comme l’usage de jurons, la récupération d’insultes en contre-discours…), ainsi que des modèles spécifiques pour les groupes protégés par les lois contre la discrimination américaines. Pour chaque catégorie, ils ont créé des exemples modèles et une base de données, HateCheck. Ils ont ensuite testé des services commerciaux, comme Perspective de Google Jigsaw (utilisés par Reddit, le New York Times et le Wall Street Journal) ou SiftNinja de Two Hat. Leurs résultats soulignent la difficulté du curseur : « Modérez trop peu et vous ne parvenez pas à résoudre le problème ; modérez trop et vous pourriez censurer le type de langage que les groupes marginalisés utilisent pour s’autonomiser et se défendre ». Les catégories d’exemples produites devraient permettre d’améliorer les modèles, estiment cependant les producteurs d’outils testés.

Mais peut-être que la solution est à chercher non pas dans l’amélioration de la modération automatisée, mais dans l’amélioration des interfaces elles-mêmes ? C’est ce que montrent des chercheurs de l’université de Washington (voir l’étude) qui ont travaillé à trouver des idées de conception pour rendre les conflits sur Facebook plus « constructifs ». « Même si les espaces en ligne sont souvent décrits comme toxiques et polarisants, les gens souhaitent avoir des conversations difficiles en ligne », explique Amanda Baughan (@amanda_Baughan). Aujourd’hui, les désaccords produisent surtout des engueulades et se terminent bien souvent par des blocages ou suppressions mutuelles. Parmi les story-boards de propositions, les interfaces pourraient proposer de passer en conversation privée quand les propos s’enveniment – ce qui se passe assez souvent – ou encore de faire remonter les commentaires les plus constructifs (ce que les likes et les modalités d’affichages par importance, permettent souvent de faire déjà), ou encore d’ouvrir un écran d’alerte quand les réponses qu’on s’apprête à poster détectent des mots violents ou encore des modalités qui mettent les réponses en attente pour permettre à leurs auteurs d’y réfléchir, comme pour ralentir les conversations.

Pas sûr que ces solutions suffisent pourtant…

Dans Wired, la juriste Evelyn Douek (@evelyndouek) dresse un constat similaire : à mesure qu’elle s’étend, la modération à un coût. La modération de contenu est en train de dévorer les plateformes prévient-elle – peut-être un peu rapidement, vu les profits qu’elles engrangent. Les règlements et politiques à destination des utilisateurs explosent et se complexifient alors que les demandes de régulation par les pouvoirs publics se précisent et s’intensifient aussi. L’élection américaine et les urgences de santé publique ont poussé les mesures à une intensification inédite. Pour la chercheuse, l’époque où Facebook et Twitter se lavaient les mains des problèmes qu’ils généraient, en pensant que les internautes se gouverneraient eux-mêmes, est certainement loin derrière eux. Mais penser que l’on va résoudre tous les problèmes en effaçant chaque jour un peu plus de contenus des réseaux sociaux tient d’une réponse simpliste et inefficace à une question complexe. « Une plus grande modération des contenus ne signifie pas une meilleure modération ». Chaque étape nécessite des compromis et ce n’est pas parce qu’on les ignore qu’ils n’existent pas.

Les plateformes ont agi assez rapidement pour répondre à la désinformation autour de la pandémie et plutôt efficacement estime la juriste, tant et si bien que beaucoup se demandent maintenant pourquoi elles ne sont pas plus efficaces pour combattre d’autres types de fausses informations. Mais pour elles, la désinformation sur le virus était différente, se justifient-elles, notamment parce qu’elles pouvaient se référer à des autorités claires, comme l’Organisation mondiale de la santé (OMS). Cette ligne claire n’a pas tenu longtemps pourtant et elles n’ont cessé d’étendre les garde-fous. Elles ont collé des étiquettes d’information un peu partout, sans qu’on puisse dire qu’elles aient été efficaces. Suite à la crise du Capitole, elles ont même censuré plus que jamais négationnistes et conspirationnistes… jusqu’au président des États-Unis lui-même.

Pourtant, pour beaucoup de commentateurs, les efforts des plateformes restent insuffisants. Les appels à la modération demeurent forts et réguliers et les législateurs n’ont pas cessé leurs menaces. À l’heure actuelle, il n’y a pratiquement pas un seul pays dans le monde qui ne prenne de mesure pour réglementer les médias sociaux d’une manière ou d’une autre. Et les plateformes ne cessent de préciser leurs règles, d’en produire de nouvelles et surtout de développer un empilement de boîtes de modération – et de spécifications pour leurs éboueurs du web – les unes sur les autres (pédocriminalité, terrorisme, nudité…). Reste que depuis que Trump a été réduit au silence et que nombre de complotistes ont été chassés ou sont partis ailleurs, l’angoisse s’est un peu calmée – à croire qu’une grande partie de l’angoisse tenait peut-être plus de la politique que des plateformes elles-mêmes, souligne Douek. Mais l’impressionnante démonstration de pouvoir qu’elles ont montré a laissé des traces. L’idée qu’il existerait une catégorie claire de « fausses informations » a également pris du plomb dans l’aile.

La semaine dernière par exemple, Facebook est revenu sur une de ses décisions et a déclaré qu’il ne supprimerait plus les publications affirmant que le Covid-19 est d’origine humaine ou fabriqué. Pourtant, il n’y pas si longtemps, le New York Times lui-même et toute la presse avec lui, citait cette théorie « sans fondement » comme une preuve que les médias sociaux avaient contribué à une « crise de la réalité ». Au début de la pandémie jusqu’en juin 2020, FB a interdit les publicités pour les masques, jusqu’à ce que l’OMS les recommande. Les médias sociaux semblent s’être surtout beaucoup adaptés à la fois à une science qui s’est faite en marchant et aux erreurs commises par les autorités, sans parvenir à délimiter les limites raisonnables du débat public.

Comme le rappelle la maxime, « la science n’est pas la vérité, mais sa recherche. Quand elle change d’opinion, elle ne nous ment pas. Elle nous dit qu’elle a appris davantage » (voir notamment nos articles : « Naviguer dans les ruines de la réalité consensuelle » et « Une pandémie de données ne soigne pas de la vérité »).

Enfin, les appels à toujours plus de mesures de répression ont également montré qu’elles pouvaient avoir des coûts géopolitiques forts, rappelle Douek. Les gouvernements autoritaires et répressifs ont pu faire référence à la rhétorique des démocraties libérales pour justifier leur propre censure, à l’image du gouvernement indien tentant de faire pression pour que les plateformes limitent les critiques sur sa gestion de la crise Covid au détriment de la liberté d’expression. Pour l’instant, les gouvernements occidentaux ont refusé de regarder ce problème, laissant les plateformes se débrouiller seules face à la montée de l’autoritarisme numérique des gouvernements illibéraux. Le problème, c’est que les plateformes sont en train de perdre ce combat, estime Douek, à l’image de la suspension de Twitter par les autorités nigérianes suite à la censure d’un tweet de leur président. On le voit, la régulation des plateformes ne peut pas conduire à « augmenter la censure ici et la réduire plus loin ».

Enfin, souligne Douek, il reste encore d’autres compromis à faire. « Comme la modération du contenu à très grande échelle ne sera jamais parfaite, la question est toujours de savoir de quel côté de la ligne il faut se tromper lorsqu’on applique des règles ». Le risque est bien sûr de multiplier les règles strictes et la sévérité de leur application notamment avec une modération de plus en plus automatisée. « Ces outils sont brutaux et stupides » : ils ne peuvent pas évaluer le contexte ou faire la différence entre un contenu glorifiant la violence ou enregistrant des preuves de violations des droits de l’homme, par exemple. Les conséquences de ce type d’approche ont été mises en évidence lors de la récente crise du conflit israélo-palestinien de ces dernières semaines, Facebook ayant supprimé à plusieurs reprises des contenus importants provenant de Palestiniens ou les concernant (voir notamment, l’analyse de Mathew Ingram pour la Columbia Journalism Review ou celle du Washington Post qui expliquent que les activistes palestiniens reçoivent le même traitement que les activistes Noirs américains : ils sont bloqués !). Ces cas ne sont pas isolés. Et ces différences de traitements ont toujours tendance à toucher de manière disproportionnée les communautés déjà marginalisées et vulnérables (comme le pointait le travail de la sociologue Jen Schradie).

Pour Douek, le retrait de contenu ne résout pas les problèmes sociaux et politiques sous-jacents, pas plus que la disparition des comptes de Trump n’a fait s’évaporer son emprise sur le parti républicain – même si le monde en ligne parle beaucoup moins de lui (selon une récente étude relayée par le New York Times cependant, depuis son éviction, certains de ses messages sont parvenus à recevoir beaucoup d’attention notamment parce que ses plus fervents partisans continuent de les diffuser, estime le Global Disinformation Index. Malgré ces relais, leur diffusion est tout de même moindre, soulignant en creux l’énorme pouvoir des sociétés de médias sociaux. Le bannissement de Trump ne résout pas la désinformation, mais perturbe ses réseaux et atténue l’influence des individus les plus nuisibles qui se sont réfugiés ailleurs. En tout cas, les réseaux ont retrouvé un certain calme et Trump ne façonne plus seul l’agenda politique de son pays et du monde.

À l’heure où beaucoup d’argent se déverse dans la création de plateformes alternatives, notamment extrêmistes ou complotistes, bien plus permissives, la censure automatisée des contenus des plateformes grands publics risque de s’avérer encore moins efficaces qu’elles ne l’ont été, surtout que ces « petits » réseaux risquent d’être beaucoup plus laxistes dans leur modération.

« Supprimer les contenus ne supprime pas la cause qui les a fait naître », conclut Douek. Il est tentant de penser que nous pouvons modérer la société, mais il va être bien plus difficile de résoudre les problèmes sociaux et politiques dont ils sont l’expression. Les plateformes ne seront jamais en mesure de compenser les défaillances de nos sociétés. Cela ne veut pas dire que les plateformes ne doivent pas continuer à réfléchir à la manière d’atténuer leurs effets néfastes, bien sûr. Toute expérimentation qui n’est pas binaire (laisser ou supprimer) notamment est bonne à prendre, par exemple le fait que Twitter incite ses utilisateurs à lire un article avant de le tweeter, ou le fait de limiter le nombre de fois où l’on peut transférer un contenu depuis une même plateforme (comme le propose WhatsApp). D’innombrables ajustements peuvent être tentés sans que les plateformes ne décident de la vérité à notre place.

Quelles transparences ? Quelles gouvernances ?

On l’a vu avec ces exemples, notamment celui du conseil de surveillance et des politiques de modération de FB comme dans le cas du GIFCT, les questions de transparence et de contrôle démocratique demeurent au cœur des enjeux de régulation de la modération. Reste à savoir comment organiser, très concrètement, le contrôle démocratique d’instances qui risquent de se démultiplier à l’avenir. Reste à savoir aussi de quelle transparence nous avons besoin.

C’est la question que posait Daphne Keller sur son blog. Alors qu’elle écrit depuis des années sur le sujet, elle reconnaissait, avec humilité qu’elle ne savait pas très bien quelle transparence elle appelait de ses vœux. Beaucoup de gens estiment que plus de transparence est un mieux, mais personne n’a une liste claire de ce qui devrait être transparent. « Quelles informations sont essentielles ? Lesquelles faut-il vraiment rendre transparentes ? Quels sont les compromis à faire ? » Cette imprécision est en passe de devenir un problème, alors que nombre d’autorités s’apprêtent à produire des exigences de transparence auprès des plateformes. Or, « ce que la loi n’exigera pas ne sera peut-être jamais plus rendu accessible », reconnait la juriste. Exiger une transparence totale n’est peut-être pas pleinement judicieux d’autant plus que cela a un coût, explique la juriste à la suite d’Evelyn Douek. « Des obligations de transparence très prescriptives pourraient également entraîner une normalisation et une homogénéité de facto des règles des plateformes, des pratiques de modération et des fonctionnalités. » Ce ne sont bien sûr pas des raisons d’y renoncer, mais de pointer que nous devons être plus précis sur ce que la transparence signifie vraiment et concrètement.

Keller a dressé une petite liste « préliminaire et très provisoire » des problèmes que posent les rapports de transparence existants. Pour la chercheuse, par exemple, il est essentiel de savoir avec une grande précision le nombre de demandes d’accès à des données qu’une plateforme reçoit des autorités, comment elle y répond, quel contrôle judiciaire elles produisent. Elle rappelle également que les chiffres ne sont pas tout. Pour comprendre les erreurs ou les préjugés des plateformes sur leurs propres données, il est nécessaire que les chercheurs indépendants puissent voir le contenu impliqué dans les décisions de retrait par exemple.

En 2009, nous nous interrogions avec Lawrence Lessig sur les limites de la transparence. Il nous disait déjà que la transparence nue n’était pas un remède magique. Pour ma part, il me semble que la transparence se rapproche des mêmes problématiques que celles que nous évoquions à propos de l’explicabilité. Plus qu’une liste d’éléments qui doivent être rendus transparents ou d’exigences précises, la transparence relève d’échelles, d’impacts et de multimodalités de niveaux de transparence. Devrons-nous demain définir des transparences « contrastables et actionnables », « sélectives, mais loyales », « techniques et/ou sociales »…, « jouables », selon des échelles allant de « fortes, faibles à inexistantes » ? La transparence nécessite d’être évaluée et appréciée dans toutes ses dimensions, comme une matrice qui permet de mesurer son étendue, sa profondeur et bien sûr ses effets. Ce qui est sûr, c’est que pas plus que les explications, la transparence n’est en rien réductible à une technique, à des listes, mais relève profondément d’un dialogue entre un système et la société. Plus que d’obligations, de droits et de devoirs (de checks-lists ou de systèmes d’évaluation d’impact), c’est bien ce dialogue qu’il va falloir nourrir pour parvenir à dépasser une vision bien trop binaire de la modération…

Dans un article de recherche, Evelyn Douek montrait d’ailleurs très bien que les plateformes ont une politique plus complexe que le mode binaire entre supprimer et laisser faire. Les plateformes ont mis en place nombre de mesures intermédiaires, allant de l’étiquetage à la vérification des faits en passant par les écrans d’avertissements… Des mesures qu’il faut certainement continuer à diversifier, mais dont il est nécessaire aussi d’évaluer les effets.

Pour cela, il est plus que jamais nécessaire qu’elles s’ouvrent aux contrôles indépendants et qu’on évalue leur transparence dans leur complexité, d’une manière dynamique. Pour le dire autrement, la transparence et la gouvernance, comme l’explicabilité, tiennent de pratiques qui doivent évoluer. Ce sont des objectifs vers lesquels les systèmes doivent tendre. Pour cela, il y a certes des modalités dynamiques (publications ouvertes, accès ouvert à la recherche, modalités de contribution des utilisateurs, ouverture de la gouvernance…) qui dépendent chacune d’échelles. Pour évaluer ces paramètres, nous aurions besoin d’une forme de « nutriscore » qui puisse informer de la qualité des explications, de la transparence, de la gouvernance… et qui permettrait de pointer un idéal auquel tendre !

Hubert Guillaud

PS : signalons les très intéressantes études de cas de modération du groupe de réflexion The Copia Institute (@copiainstitute) – découvertes au détour de nos lectures -, qui soulignent très bien par des exemples concrets la difficulté de la modération et montrent les compromis inhérents à toute décision.

La surveillance relève la plupart du temps de la coercition, mais bien souvent, elle nous est présentée comme un moyen de prendre soin des autres, et cet argument sert à nous y adapter, à normaliser et justifier la surveillance. Le problème, c’est que l’argument de la protection de nos proches, comme le proposent nombre de technologies proposées aux parents par exemple, contribue à l’acceptation finalement de bien d’autres formes de surveillance. Pour autant, si la surveillance relève bien d’une idéologie, si la surveillance de nos proches peut relever du soin, elle a des conséquences problématiques sur nos capacités à faire société, quand elle instrumente et alimente nos anxiétés en réseaux.

De la surveillance des enfants à la surveillance d’État : un continuum

En février, Hannah Zeavin (@hzeavin), historienne spécialiste des technologies médicales (qui s’apprête à publier cet été The Distance Cure, MIT Press, 2021, une histoire de la « téléthérapie »), revenait pour Real Life (@_reallifemag) sur l’origine du babyphone, ce fantasme de vigilance parentale. Depuis l’enlèvement du bébé Lindbergh au début des années 30 et la frénésie médiatique qui l’a accompagné, la peur des disparitions d’enfants a façonné les technologies de leur surveillance. « La promesse d’étendre et d’augmenter l’attention et la protection parentales a conduit à la commercialisation et au développement de nombre de technologies parentales de surveillance des enfants comme de ceux qui en ont la charge ». L’intensification de la surveillance parentale liée aux vulnérabilités des enfants définit différentes menaces face auxquelles les enfants ne sont pourtant pas tous égaux socialement. Pour autant, ces modalités modernes de surveillance n’ont cessé de s’étendre : le babyphone inventé à la fin des années 30 est désormais utilisé par environ 75 % des parents américains. Il a été complété depuis de nombreux autres appareils (bracelets GPS, dispositifs biométriques…) dans une offre d’innovation toujours plus étendue. Ces surveillances ont l’air innocentes, mais leurs implications ne sont pas sans poser problème, à l’image des caméras pour surveiller celles et ceux qui s’occupent des enfants. Lorsqu’elles sont apparues, l’industrie et la culpabilité parentale ont été stimulées par les images qui en ont été diffusées. L’anxiété s’ajoute au classisme, voire au sexisme ou au racisme, et participe notamment d’une matrice psychologique ancienne à l’égard des travailleurs domestiques comme des enfants.

Les dispositifs de surveillance numériques tiennent de dispositifs d’auto-apaisements, explique Hannah Zeavin. « Le soin s’accommode et justifie la surveillance et la présente comme une nécessité de sécurité, une nécessité « éthique », plutôt que comme un choix politique ». Les technologies de surveillance domestiques se présentent comme permettant de renforcer les barrières entre l’extérieur et l’intérieur, alors que les captures qu’elles produisent (données et vidéo notamment) ouvrent de nouvelles voies d’intrusion dans les foyers (par d’autres services que ce soit la police ou les fournisseurs de technologies, mais aussi par leur piratage…), renforçant finalement les anxiétés qu’elles sont censées apaiser. Ces technologies ne cessent de renforcer leurs techniques pour lutter contre l’anxiété qu’elles génèrent, comme quand les babyphones se dotent de capteurs biométriques pour tenter de distinguer le sommeil d’un arrêt respiratoire. En fait, souligne l’historienne, ces outils développent surtout l’anxiété des parents : la compulsion à leur vérification conduit nombre d’entre à des insomnies voire à des dépressions et les faux positifs de ces appareils conduisent également nombre de parents jusqu’aux services pédiatriques d’urgence expliquait le New York Times.

Pour Hannah Zeavin, la surveillance des enfants et la surveillance d’État sont moins distinctes qu’il n’y paraît. L’utilisation de technologies parentales peut sembler un choix individuel, mais leur portée dépasse souvent ce cadre par les impacts qu’ils peuvent produire auprès de services sociaux, des services de police ou par l’entretien voire le renforcement des préjugés culturels de la société. Le risque de leur généralisation ou de leur extension (à l’école notamment) montre que les compromis moraux et politiques des parents ont un impact au-delà de la cellule privée. Du soin à la surveillance, il y a un continuum d’anxiété qui a des effets sur la société elle-même.

Distinguer le soin de la surveillance : une question de genre ?

Dans un autre article du magazine Real Life, Autumm Caines (@autumm) revient sur la militarisation du soin. Pour cela, la chercheuse rappelle la distinction établie par l’éthique de la sollicitude (ou éthique du care), dans les travaux fondateurs des années 80 de Nel Noddings (auteure de Caring, University of California Press, 1984, non traduit) et de Carol Gilligan (auteure de Une voix différente, 1986) : à savoir, la distinction entre « l’attention vertueuse » et « l’attention relationnelle », la première étant plus théorique et générale, quand la seconde est plus intime et contingente – la seconde étant souvent plus dévaluée que la première et plus souvent féminisée. Les deux semblent pourtant pareillement utilisées pour justifier le déploiement de la surveillance de nos proches, pourtant elles restent mobilisées distinctement l’une de l’autre. Pour Caines, cela montre que dans la communication, le soin reste distinct du contrôle et que l’on peut adopter l’un sans assumer les implications de l’autre. Cette distinction fait écho à celle établie par Luke Stark (@luke_stark) et Karen Levy (@karen_ec_levy) dans leur article sur le « consommateur surveillant » qui distingue le consommateur gestionnaire (le vertueux) du consommateur observateur (le relationnel). Par exemple quand les consommateurs sont recrutés pour faire de la surveillance en évaluant les travailleurs des plateformes de services (comme Uber), ils sont recrutés en invoquant un idéal de service au service de la commodité afin d’améliorer la qualité de service plutôt que de prendre soin des travailleurs qui effectuent ces services. Alors que les dispositifs de surveillance du consommateur observateur visent surtout à « améliorer » nos relations, comme le propose un babyphone. « Dans ce paradigme, la surveillance est construite comme étant normativement essentielle aux devoirs de soins (…). L’observation et le contrôle ne sont pas simplement interprétés comme les droits d’un parent responsable, d’un partenaire romantique consciencieux ou d’un enfant aimant, mais comme des obligations inhérentes à ces rôles ». Prendre soin de ceux que nous aimons est l’un des instincts humains les plus forts, et les sociétés de surveillance s’en servent comme d’une vulnérabilité. Pour Caines, « à mesure que les technologies créent des moyens de surveillance toujours plus nuancés, la ligne définissant ce qui est raisonnable de ce qui ne l’est pas devient floue » et permet de justifier des intrusions toujours plus avancées.

Dans un cas comme dans l’autre, la communication joue des stéréotypes de genre qui leur sont liés, pour renforcer ces deux types d’attention aux autres. « Leur lien avec les différentes manières de prendre soin des autres est utilisé pour inciter les gens à adopter des technologies de surveillance contraires à l’éthique, en fonction de la manière dont ils aspirent à s’identifier à ces normes : pour être suffisamment homme ou femme, il faut être capable de démontrer un engagement à surveiller d’une manière particulière ». Ces stéréotypes influencent la façon dont le soin est instrumenté dans des milieux professionnels eux-mêmes sexués et genrés. L’éducation par exemple est truffée de technologies de surveillance, comme le montrait la spécialiste du sujet Audrey Watters, avec une approche plus relationnelle quand elle concerne les enfants les plus petits. L’attention vertueuse, elle, est souvent convoquée pour promouvoir des systèmes de surveillance à distance, comme ceux déployés à l’égard des étudiants tels que ProctorU, ce système pour protéger les examens en distancie de la triche, qui visent à protéger l’intégrité académique. Dans ce cas, bien sûr, comme dans celui des plateformes de livraisons, les préjudices subis par les étudiants sont clairement minimisés. Les outils de surveillance, relationnels comme vertueux, sont également très développés dans le domaine de la santé. La poétesse et militante féministe Audre Lorde a rejeté les idées d’un soin sexué. Pour elle, le soin est un acte politique qui nécessite de reconnaître qu’il peut être utilisé comme une arme contre les intérêts des communautés auxquels chacun est relié, contre ses proches et contre soi-même. Pour Caines, cela implique que nous ayons besoin de mieux comprendre les limites du soin.

Hubert Guillaud

MAJ du 24/06/2021 : Pour le « Nouveau lexique de l’IA » que lance l’AI Now Institute – un appel à contribution pour générer d’autres récits sur l’IA -, Hannah Zeavin rappelle que dès l’origine l’IA a été orientée vers le soin des humains. L’IA s’est imposée dans nombre d’établissements hospitaliers et de soins, comme alternative, outil d’aide, ou mesure palliative lorsque les infrastructures traditionnelles du soin ne sont plus accessibles (voir notre article « En médecine, l’IA est en plein essor, mais pas sa crédibiilité »). Mais en fait, l’IA a surtout contribué à étendre la portée des inégalités (tout en prétendant le contraire) car elle intègre et recodifie la race et le genre… Pour Zeavin, c’est le contrôle prédictif qui explique cette expansion rapide de l’IA dans la santé. L’IA est utilisée pour atteindre plus de gens, dans une dépersonnalisation problématique, ainsi ceux qui sont les plus loins des soins de santé, mais qui sont aussi rendus encore plus vulnérables par cette auscultation nouvelle et ce qu’elle génère… Derrière l’extension du soin qu’ils promeuvent, les outils étendent surtout la surveillance et la discrimination… et proposent de nouvelles formes de soins qui flirtent à la marge de la médecine. En fait, l’IA en santé vise une montée en charge par le déploiement de systèmes sans médecins, où les patients sont désormais responsables de la coordination de leurs propres soins, sous couvert d’une idéologie comptable et profondément individualiste. Désormais, il nous faut prendre soin de soi sans le soin d’un autre. Ce que Zeavin appelle le développement de « l’auto-soin » assisté par l’IA, une forme ultime d’accès au soin sans ce qui fonde le soin : l’autre !

Peut-on pourtant faire reposer la responsabilité des traitements uniquement sur les personnes qui en ont besoin ? Comment en sommes-nous arrivés à une forme de soin qui finalement dénie ce qui le fonde, la relation ? Pas étonnant qu’en réaction on entende parler de « soins radicaux », comme le proposent Hi’ilei Hobart (@hiokinai) ou Tamara Kneese (@tamigraph) pour nous inviter à trouver des modalités de soins plus mutuelles. Pour Kim TallBear (@kimtallbear), ces relations doivent être mises en réseau et non hiérarchisées, déroulées d’une manière spatiale sous la forme d’une toile relationnelle pour mieux prêter attention à nos obligations.

MAJ du 30/06/2021 : The Markup revient sur la multiplication de caméras de surveillance dans les maisons de retraite, placées par les enfants des retraités pour garder un oeil sur les traitements que leurs aïeux reçoivent. Des caméras qui posent des problèmes juridiques spécifiques de surveillance sur lesquels de plus en plus de juridiction américaines doivent se prononcer, alors que depuis la pandémie, la demande de surveillance des résidents en maisons de soin a augmenté. Pour Clara Berrigde qui étudie depuis longtemps l’utilisation des caméras de surveillance dans les centres de soins, celles-ci ont un coût réel en terme de perte d’intimité, de surveillance… (voir notamment son article de recherche sur l’éthique de la surveillance). Elles ne résolvent pas le problème essentiel : le fait que le personnel soit sous-payé et surchargé ! Pour elle aussi, la caméra est un symptôme plus qu’une solution. La question est en tout cas en train de devenir explosive !

Avec la pandémie, les chercheurs ont eu plus que jamais recours à l’IA pour tenter de percer les secrets du Covid-19, notamment pour tenter de détecter la maladie plus tôt sur les images pulmonaires et mieux prédire quels patients sont plus susceptibles de tomber gravement malades. Des centaines d’études ont été publiées dans les revues médicales et sur les serveurs de prépublication pour démontrer les capacités de l’IA à effectuer ces analyses avec précision. Une équipe de recherche de l’université de Cambridge en Angleterre a examiné quelques 400 de ces modèles pour Nature et est arrivée à une conclusion bien différente. Chacun d’eux présentait de graves lacunes méthodologiques. En fait, dans la plupart des études, les algorithmes étaient entraînés sur de petits échantillons de données, provenant d’une seule origine, avec une diversité très limitée. Certaines études ont même utilisé les mêmes données pour l’entraînement et les tests, ce qui conduit souvent à des performances impressionnantes, mais totalement fallacieuses.

Le problème ne se limite pas au Covid, explique le toujours excellent Casey Ross (@caseymross) pour Statnews (@statnews) – qui nous avait déjà alerté sur les limites du Watson d’IBM dans le domaine de la santé, qui a visiblement depuis tiré des leçons de ses échecs et changé sa politique. Le Machine learning génère des milliards d’investissements en médecine, mais est confronté à une crise de crédibilité. Nombre d’articles s’appuient sur des données limitées ou de faibles qualités, beaucoup d’autres ne précisent par leurs méthodes, et d’autres voire les mêmes ne vérifient pas si leurs modèles fonctionnent pour des personnes de sexe, d’âge ou d’origines différentes. Certes, l’intensité de la concurrence et l’urgence ont tendance à générer la surpublication d’études peu rigoureuses. Mais le problème tient plutôt du cercle vicieux de l’apprentissage automatique : il existe peu de grands ensembles de données diversifiées pour entraîner et valider un nouvel outil. Trop souvent, les données sont protégées pour des raisons juridiques ou commerciales. Conséquence, les évaluateurs n’ont pas de données pour tester ou comparer, étape pourtant clé dans l’approbation des travaux. Le fait de ne pas tester les modèles avec des données différentes est courant dans les études de prépublication… Le problème, c’est que les algorithmes semblent souvent précis et efficaces, mais lorsque les modèles sont exposés à d’autres données (parfois seulement des images médicales obtenues avec d’autres appareils !), leur niveau de performance s’effondre. Au final, le risque, c’est d’approuver des modèles, des services ou des algorithmes auxquels nous ne pouvons pas faire confiance, explique Matthew McDermott (@mattmcdermott) du MIT qui vient de cosigner un article sur cet enjeu.

En fait, c’est déjà le cas avec des systèmes utilisés pourtant pour traiter des maladies graves comme les maladies cardiaques ou le cancer. En février, Casey Ross avait publié un article sur le sujet qui montrait que seuls 73 des 161 produits basés sur l’IA approuvés par la Food and Drug Administration (FDA), l’autorité qui autorise la commercialisation des médicaments aux États-Unis, ont publiés les données qu’ils avaient utilisés et que seulement 7 ont donné des indications sur la composition et la diversité des populations étudiées. En fait, les sources de données ne sont « presque jamais » indiquées !

Dans un autre article pour Nature, des chercheurs de Stanford ont lancé l’alerte sur ces produits d’IA à haut risque autorisés par la FDA. L’étude des chercheurs de Cambridge souligne quant à elle que seuls 62 des 400 articles passent un succinct contrôle de qualité sur la question de l’indication de sources de données et d’explication sur la méthode d’entraînement. Mais qu’ensuite, sur ces 62 articles, 55 sont jugés à « haut risque de partialité » ! Un des problèmes que rencontre ce champ de recherche émergent tient à l’absence de normes consensuelles pour évaluer la recherche en IA en médecine. Les chercheurs de l’université de Cambridge, eux, ont utilisé une des rares listes de contrôle méthodologique dans le domaine (CLAIM) qui établit une liste de critères pour les auteurs et évaluateurs.

L’urgence peut certes peut-être excuser les lacunes de nombres de ces études… Mais les failles méthodologiques ne concernent pas que le Covid ! La mise en évidence des problèmes du machine learning en médecine, exhortant la recherche à améliorer ses méthodes d’évaluation et leurs transparences, est même devenue un sous-genre à part entière dans la recherche médicale (voir notamment notre article « Vers un renouveau militant des questions technologiques »), estime Casey Ross. Le problème c’est que l’incapacité à reproduire les résultats érode la confiance dans l’IA et sape les efforts qui cherchent à la déployer dans les soins cliniques.

« Un examen récent de plus de 500 études sur l’apprentissage automatique dans de multiples domaines a révélé que celles réalisées dans le domaine des soins de santé étaient particulièrement difficiles à reproduire, car le code et les ensembles de données sous-jacents étaient rarement divulgués. Cet examen, mené par des chercheurs du MIT, a révélé que seulement 23 % des études sur l’apprentissage automatique dans le domaine de la santé utilisaient des ensembles de données multiples pour établir leurs résultats, contre 80 % dans le domaine voisin de la vision par ordinateur et 58 % dans le traitement du langage naturel. »

Ce problème s’explique notamment par les restrictions en matière de protection des données plus affirmées dans le domaine de la santé et la difficulté d’obtenir des données provenant de plusieurs institutions.

Google a récemment annoncé une application qui utilise l’IA pour analyser les problèmes dermatologiques (parmi de nombreuses recherches que Google consacre à la santé), mais a refusé de divulguer publiquement les sources des données utilisées pour créer le modèle. Pour McDermott, ces obstacles structurels doivent être surmontés, notamment en utilisant l’apprentissage fédéré (une méthode qui permet de développer des modèles sans échanger les données) ou en utilisant des données virtuelles, modelées depuis des patients réels. Casey Ross signale encore un autre problème : dans un monde en constante évolution, les effets des maladies sur les patients peuvent rapidement changer tout comme les méthodes de traitement, rendant les modélisations plus fragiles sur le long terme. Pour McDermott, la stabilité des résultats en santé n’est pas acquise. « Un paradigme réglementaire statique où nous disons : « OK, cet algorithme obtient un tampon d’approbation et maintenant vous pouvez aller faire ce que vous voulez avec lui pour toujours et à jamais » – cela me semble dangereux. »

Hubert Guillaud

MAJ du 07/06/2021 : Au coeur de la pandémie, Epic, un des géant privé américain de la gestion de dossiers médicaux électroniques et l’un des principaux fournisseurs de données de santé, a accéléré le déploiement d’un outil de prédiction clinique du Covid depuis un système d’IA pour aider les médecins dans leur sélection de personnes à placer en soins intensifs en produisant un « score de détérioration », rapporte Fast Company. Pour les médecins Vishal Khetpal et Nishant Shah, ce score d’automatisation du « tri » des patients censé aider les médecins dans leur décision n’est pas sans poser problème, comme le pointait également Casey Ross. Une étude a montré que l’indice réussissait moyennement à distinguer les patients à faible risque de ceux qui avaient un risque élevé d’être transférés dans une unité de soin intensifs. Le déploiement « précipité » a pourtant créé un inquiétant précédent. Alors que l’utilisation d’algorithmes pour soutenir les décisions cliniques n’est pas nouvelle, leur mise en oeuvre, jusqu’à présent, nécessitait des examens rigoureux. Si Epic produit la liste de variable utilisée et l’estimation de l’impact de chaque variable sur le score, les données et les calculs demeurent non auditables par le corps médical. L’indice de détérioration n’a pas fait l’objet d’une validation indépendante avant son déploiement. Le risque bien sûr est qu’il encode des préjugés. Les médecins rappellent néanmoins que là encore, pourtant, il existe des listes de contrôle et des normes pour juger de la fiabilité d’une prédiction clinique (comme la liste de contrôle Tripod en 22 points (.pdf) développée en 2015 par le réseau international Equator Network). Et les médecins d’exiger une évaluation indépendante rapide de cet outil.

MAJ du 23/06/2021 : Dans un nouvel article pour State News, Casey Ross revient sur une étude (.pdf) du Centre pour l’intelligence artificielle appliquée de Chicago Booth qui montre que les préjugés algorithmiques dans la santé sont omniprésents et influent sur d’innombrables décisions quotidiennes concernant le traitement des patients par les hôpitaux. Le rapport est accompagné d’une check list pour aider les équipes à contrôler leurs outils d’aide à la décision. Parmi les calculs biaisés, les chercheurs pointent « l’indice de gravité des urgences », rien de moins que le système pour prioriser les arrivées aux urgences ! Mais encore les systèmes qui évaluent la gravité de l’arthrose du genou, ceux qui mesurent la mobilité, les outils de prédiction de l’apparition de maladies telles que le diabète, les maladies rénales et l’insuffisance cardiaque, ou les outils qui tentent d’identifier les patients qui ne se présenteront pas à leurs rendez-vous… Les chercheurs parlent d’un problème systémique. Des premiers éléments montrent que le problème s’étend également aux systèmes d’assurance santé…

MAJ du 16/09/2021 : Dans une tribune pour Le Monde, la spécialiste de l’éthique en IA, Nozha Boujemaa, revient également sur les défaillances de nombres de projets d’IA dans le domaine de la santé et souligne que les checks-lists éthiques, qui se positionnent en amont des déploiements, peinent à évaluer les systèmes. Dans le domaine médical notamment, c’est plus la robustesse et la précision des algorithmes qui pose problème. Tester la robustesse d’un algorithme repose surtout sur des principes de reproductibilité et répétabilité des systèmes : « Un algorithme est répétable s’il délivre les mêmes résultats quand il est appliqué plusieurs fois sur les mêmes données des patients. Il est reproductible quand il donne les mêmes résultats et performances dans des conditions différentes. » Elle signale d’ailleurs que l’Association for Computing Machinery (ACM) a déployé des procédures de validation des publications scientifiques incluant la répétabilité, la reproductibilité et la réplicabilité, comme des leviers pour améliorer la robustesse de l’IA. Il serait peut-être tant de les intégrer au-delà des seules publications scientifiques…

Il n’y a pas si longtemps, la sociologue Zeynep Tufekci (@zeynep) dans un remarquable article pour The Atlantic distinguait les fonctions latentes de nos environnements sociaux de leurs environnements manifestes. Appliquées aux campus américains, les fonctions manifestes consistent à étudier, mais les fonctions latentes, elles, relèvent essentiellement de la sociabilité et de la socialisation. « Ces fonctions qui peuvent sembler secondaires sont en fait essentielles, elles apportent le sens nécessaire à la réalisation des activités manifestes », expliquions-nous à la suite de la chercheuse. Le problème, c’est que ces fonctions latentes ne sont pas au programme, elles ne sont pas explicites, elles font partie de l’environnement, de l’organisation des lieux et structures que nous fréquentons… mais elles sont souvent implicites, alors que les formes de socialisations qui y sont organisées sont éminemment fonctionnelles.

À l’occasion d’une intervention donnée en mai lors de la conférence annuelle d’Educause, l’une des grandes associations américaines qui s’intéresse aux liens entre l’éducation supérieure et la technologie, la chercheuse américaine, danah boyd (@zephoria), fondatrice et présidente de l’excellent Institut de recherche Data&Society (@datasociety), a délivré un discours particulièrement pénétrant sur la question de la polarisation via les réseaux sociaux, en faisant, comme à son habitude, un imposant pas de côté pour nous aider à mieux trouver des leviers d’action. Une intervention qu’elle a retranscrit sur sa newsletter personnelle (on renverra les lecteurs notamment à la plus récente intervention de danah boyd – parmi de nombreuses autres interventions auxquelles nous avons si souvent fait écho, dont la présente intervention semble la suite logique : « De quelle éducation aux médias avons-nous besoin ? »).

Une société fracturée

En préambule, boyd rappelle que pour nombre d’entre nous, la polarisation et la haine sont pleinement liées à l’écosystème de l’information dans lequel nous vivons, notamment aux médias de masse et aux réseaux sociaux. Cela produit nombre de conversations (passionnantes) sur la désinformation, le pouvoir des plateformes et la politique. Pour elle, cependant, la polarisation et la haine sont d’abord les conséquences sociales d’une société fracturée, de personnes qui ne sont pas connectées les unes aux autres de manière significative ou profonde. Les divisions sont d’abord sociales avant d’être technologiques. Les technologies n’en sont que le reflet ou l’accélérateur. Il est nécessaire de nous intéresser au graphe social, explique-t-elle, mais pas à la carte produite par nos connexions technologiques (voir par exemple de vieilles explications sur ce sujet), mais bien avant tout à la réalité de nos interconnexions sociales, à ceux auxquels nous sommes reliés et donc à ceux auxquels nous ne le sommes pas. Ce graphe social de la société est une infrastructure civique essentielle, explique-t-elle, mais trop peu de gens comprennent vraiment comment l’alimenter et l’entretenir.

danah boyd rappelle que le concept de réseau social remonte aux années 50, bien avant l’internet donc. À l’époque, les chercheurs qui étudiaient les structures de relations parlaient d’ailleurs de « sociogramme ». Ils cherchaient à comprendre les structures des tissus sociaux de la société en observant à la fois les réseaux sociaux au niveau micro, les relations que les individus entretiennent, et à la fois au niveau macro, en observant comment ces relations s’entrecroisent. De nouveaux concepts comme la « force des liens » ont alors fait leur apparition en sociologie pour décrire la valeur des relations entre les personnes. Mark Granovetter a montré que les gens usaient de différentes stratégies pour développer, maintenir et renforcer leurs réseaux sociaux, notamment en distinguant les liens forts (famille, amis proches) et les liens faibles (relations) et en soulignant combien ces derniers sont essentiels pour accéder à des opportunités professionnelles par exemple. Ainsi, bien souvent, les liens sociaux établis dès l’école s’avèrent être un fondement essentiel pour l’accès des jeunes à de futurs emplois.

L’intégration ne se fait pas toute seule

« Bien sûr, les gens ont compris que les relations étaient importantes bien avant que les sociologues ne commencent à effectuer des analyses de réseaux sociaux et à étiqueter les dynamiques sociales », rappelle la sociologue en constatant qu’on apporte peu d’attention aux endroits où la planification stratégique autour des réseaux sociaux a fini par profiter à la société de manière inattendue. La fin de la guerre civile américaine, en 1877, n’a pas clos la méfiance entre le Nord et le Sud des États-Unis et encore moins la réalité de la discrimination raciale, des Blancs envers les Noirs. Jusqu’à la Première Guerre mondiale, la haine et l’animosité se sont même développées, notamment via les lois Jim Crow, pour entraver les droits constitutionnels des Afro-Américains. Mais avec la guerre, les hommes blancs de tout le pays ont été rassemblés dans des unités militaires. Les Noirs également, dans des unités distinctes et de seconde zone bien souvent. Durant la Seconde Guerre, ils ont plus souvent combattu côte à côte. « Après les deux guerres, les soldats sont rentrés chez eux. Mais ils rentraient chez eux en connaissant quelqu’un d’autre dans le pays, ayant construit des liens sociaux qui leur permettaient d’apprécier et d’humaniser des personnes différentes d’eux. » « En fait, nombre de ces liens seront activés par d’anciens soldats dans les années 1950, lorsque le mouvement des droits civiques commencera à émerger. Il s’avère que l’intensité du service aux côtés d’autres gens pendant une guerre crée des amitiés et un respect qui peuvent souder le pays de manière profonde », par-delà les classes sociales ou les différences de couleur de peau.

De nombreuses institutions participent à tisser des réseaux de personnes, intentionnellement ou non. Des communautés se forment autour d’activités religieuses, à la fois localement et par le biais de services qui relient les gens au-delà des frontières géographiques. Des liens professionnels se créent au sein des entreprises et entre elles. « Et puis, bien sûr, il y a l’école. Et c’est de cela que nous sommes venus parler aujourd’hui, l’école. Parce que l’école est un lieu essentiel de création de liens sociaux. Et mon intervention d’aujourd’hui a pour but de vous aider à réfléchir au rôle que vous jouez dans la construction du tissu social de l’avenir. Je vous demande de prendre ce rôle au sérieux, de le reconnaître et d’être stratégique à cet égard. Car vous jouez ce rôle, que vous en soyez conscient ou non », adresse-t-elle aux éducateurs venus l’écouter.

« Nous traitons souvent les relations entre camarades de classe comme un merveilleux sous-produit de l’éducation, quelque chose qui se produit, mais que nous ne considérons pas comme un élément central du mandat éducatif. Bien sûr, nous créons des équipes de projet dans la classe et nous aidons à former des groupes d’étudiants ou des équipes sportives avec plus ou moins de considération pour ces groupes, mais nous ne formons pas ces équipes. Notre décision d’ignorer la façon dont les groupes de pairs sont formés est particulièrement étrange étant donné que nous nous disons que la raison d’être de l’éducation publique est de socialiser les jeunes à la vie publique afin que nous puissions avoir une démocratie fonctionnelle. De nombreuses communautés éducatives sont profondément engagées dans la lutte contre les inégalités et considèrent la diversité des écoles comme un élément clé de cette mission. Mais si elles ne comprennent pas comment construire un tissu social, les écoles peuvent contribuer à la montée de la haine sans même essayer. En ignorant le travail de construction de réseaux sains, en prétendant qu’un rôle neutre est même possible, nous mettons notre tissu social en danger. »

« Au cours des premières années de mes études sur les jeunes et les médias sociaux, j’ai réalisé un mini-projet que je n’ai jamais publié. Je passais mes journées dans une poignée d’écoles racialement diversifiées de Los Angeles. J’ai remarqué que, lorsque la cloche sonnait, ces classes diversifiées se transformaient en groupes ségrégés sur le plan racial dans les couloirs, la cantine et les cours de récréation. J’ai décidé d’examiner les réseaux sociaux que ces élèves mettaient en place par le biais des médias sociaux, en démontant les réseaux complets des écoles tels qu’ils étaient articulés par les liens d’amitié. Ces écoles n’avaient pas de groupe racial dominant. Mais sur les médias sociaux, j’ai constaté une forte polarisation raciale parmi les groupes de pairs. En bref, les élèves pouvaient être assis à côté de personnes de couleurs différentes dans leurs classes, mais les personnes avec lesquelles ils parlaient dans la cour et en ligne étaient ségrégées. »

« Nous avons toujours su que l’intégration ne se fait pas toute seule ». Le travail d’intégration scolaire ne s’est pas terminé avec l’affaire Brown contre Board, c’est-à-dire avec les arrêts qui ont rendu la ségrégation raciale dans les écoles publiques américaines inconstitutionnelle. « Ce n’est pas parce que des élèves ayant des expériences de vie différentes se retrouvent dans la même école physique que les écoles font le travail nécessaire pour aider à créer des liens entre des personnes ayant des expériences de vie différentes ».

« Les gens s’auto-séparent pour des raisons saines et problématiques ». Pensez à vos propres amitiés à l’école. « Vous avez probablement rencontré des personnes différentes de vous, mais si vous êtes comme la plupart des gens, vos relations les plus proches sont probablement de la même origine raciale, socio-économique ou religieuse que vous. Les gens s’auto-ségrègent en fonction de leurs expériences, de leurs antécédents et de leurs intérêts. Par exemple, si vous êtes passionné de basket-ball, vous avez peut-être développé des amitiés avec d’autres personnes qui partagent cet intérêt. Si vous étiez dans l’équipe de basket et que vous passiez tout votre temps libre à jouer au basket, il est presque certain que vos amis sont majoritairement des membres de l’équipe de basket. »

Nous recherchons des personnes qui nous ressemblent parce que c’est plus facile et confortable. Les sociologues appellent cela « l’homophilie » (et c’est déjà danah boyd qui avait attiré notre attention sur cet aspect, renforcé par les réseaux sociaux électroniques). Dans nombre de contextes de nos existences, comme l’école, nous faisons et subissons des choix qui augmentent ou diminuent la diversité des réseaux sociaux auxquels nous sommes confrontés.

Former des groupes est aussi important que la pédagogie

« Prenons l’exemple des équipes de projet de groupe assignées avec des notes de groupe. Si vous faites travailler ensemble des personnes qui se ressemblent, elles auront plus de chances de se lier. Cela augmentera l’homophilie, mais aussi la perception que ces ressemblances sont « bonnes ». Mais si vous faites travailler ensemble des personnes qui ne se ressemblent pas afin d’accroître la diversité, les liens ne sont pas acquis. De plus, si elles ne sont pas bien gérées, ces situations peuvent devenir compliquées. » Travailler avec des personnes différentes est plus difficile. Cela demande du travail. C’est épuisant. « Lorsque nous ne parvenons pas à trouver un terrain d’entente et des objectifs communs, nous en venons à éprouver du ressentiment à l’égard des autres personnes avec lesquelles nous pensons être « coincés ». Pensez à ce sentiment que vous avez eu à propos d’un projet de groupe où quelqu’un n’a pas fait sa part. Le problème est que lorsque nous en voulons à une personne différente de nous pour une injustice perçue comme le fait de ne pas faire sa part, nous commençons à en vouloir à la catégorie de personnes que cette personne représente pour nous. En d’autres termes, nous pouvons accroître l’intolérance par des efforts mal accompagnés pour constituer des équipes diversifiées. »

« La conception de groupe est importante. Tout autant que la pédagogie. »

Si notre objectif est de diversifier le graphe social, d’aider les gens à surmonter les différences, la structure des activités doit être stratégiquement alignée sur cet objectif. Si tout le monde partage le même objectif, ils peuvent se lier sans beaucoup plus que la co-présence. C’est la beauté d’un club scolaire ou d’une équipe sportive. Il est également utile d’avoir un ennemi commun, comme c’est le cas dans les sports où l' »ennemi » est l’autre équipe. Mais l’objectif d’un groupe de projet scolaire est formulé par l’enseignant, pas par les élèves. Les élèves ont des objectifs différents lorsqu’ils participent. Au mieux, les liens au sein d’une équipe de groupe se feront par le biais d’un ressentiment partagé envers l’enseignant.

Les liens se créent lorsqu’il y a un alignement intrinsèque sur les objectifs ou un ennemi extrinsèque. Mais il y a une troisième composante… Lorsque les gens sont vulnérables les uns envers les autres, ces liens deviennent plus importants. C’est vrai dans l’armée, où vous devez être prêt à donner votre vie pour quelqu’un. Mais c’est également vrai dans les dortoirs des lycées et collèges d’élite américains.

De nos ingénieries sociales invisibles

Les personnes qui sortent de l’enseignement d’élite américain ont souvent une réussite extraordinaire, même par rapport à celles qui ont été éduquées dans des établissements d’élite dans d’autres pays, explique la chercheuse. Mais les étudiants américains ne sont pas intrinsèquement meilleurs que les autres, pas plus que leurs enseignants, rappelle l’enseignante en soulignant que la plupart ne sont pas formés à enseigner et que beaucoup ne sont pas très bons dans cette fonction. Et ce d’autant que les enseignants viennent dans ces institutions pour faire de la recherche plutôt que pour devenir de meilleurs enseignants. Certes, il existe des professeurs exceptionnels, mais la plupart d’entre eux ne sont pas dans les écoles les plus prestigieuses. « Ce qui fait l’élite des écoles d’élite est ancré dans la façon dont les réseaux sociaux se forment à travers les universités. » Et les établissements d’élite américains ont quelque chose que peu d’autres universités dans le monde proposent : la résidence universitaire obligatoire pendant plusieurs années où l’attribution des chambres (souvent pour deux personnes) est confiée à un administrateur et pour beaucoup au hasard. Bien souvent, les étudiants se retrouvent à partager leur espace de vie avec quelqu’un qu’ils ne connaissent pas. « Que vous soyez allé dans une école qui a conçu ces paires de colocataires de manière sociale ou dans une école qui les a générées de manière aléatoire, vous avez été forcé de participer à une expérience sociale. Vous deviez trouver un moyen de vivre avec un étranger, ce qui exigeait de négocier l’intimité et la vulnérabilité de manière approfondie. Personne ne vous a dit que ce mode de vie était essentiel à la construction du tissu social de la société américaine, mais il l’était. Même si vous sortez de l’université sans jamais reparler à votre colocataire de première année, vous avez appris quelque chose sur les gens et les relations en négociant cette relation. C’est ainsi que se créent les réseaux d’élite. » Et c’est cet apprentissage qui est la véritable valeur d’une éducation d’élite. Apprendre à vivre avec quelqu’un qui n’est pas comme vous.

Bien sûr, reconnaît la chercheuse, même sur les campus universitaires, cela a changé. « Lorsque Facebook a commencé à apparaître sur les campus, j’ai remarqué quelque chose d’étrange chez les étudiants. Ils utilisaient Facebook pour s’auto-ségréger avant même le début de leur première année. Ils suppliaient les administrateurs de changer leur colocation ; ils ne se liaient pas autant avec leurs camarades de chambrée quand c’était difficile. Puis, lorsque les téléphones portables sont devenus un appendice pour les adolescents, les étudiants à l’université ont choisi de maintenir les liens avec leurs amis du secondaire plutôt que de se lancer dans le travail inconfortable de la construction de nouvelles amitiés à l’université. Cette année, pendant la pandémie, les étudiants de première année au collège se sont à peine liés les uns aux autres. J’ai réalisé avec horreur que ces technologies sapaient un projet d’ingénierie sociale dont les étudiants et les universités ne connaissaient même pas l’existence. Que les écoles ne reconnaissaient pas comme précieux. Et dont nous commençons maintenant à payer le prix. »

Avec la pandémie, le manque de sensibilisation à l’importance du développement du lien social est devenu encore plus profond. D’innombrables outils sont venus aider les élèves et les enseignants à transférer leurs méthodes pédagogiques sur l’internet, en produisant des contenus vidéos interactifs et en utilisant des outils de sondages pour interagir avec les élèves à distance. Mais la relation sur laquelle tous ces outils se sont focalisés était la dynamique entre l’enseignant et l’élève. Combien d’outils ont été déployés cette année pour renforcer les liens entre étudiants ? Pour les aider à se connecter aux autres de manière saine ? « La plupart des outils que j’ai vus visaient à accroître la compétition et la culpabilité ». Des outils qui maximisent les capacités des plus performants. Des outils ancrés dans la comptabilité et la responsabilité individuelle. « Pourquoi n’a-t-on pas vu naître d’outils qui aident les élèves à tisser des liens par-delà leurs différences ? »

Briser et façonner les réseaux sociaux : un outil phare du contrôle social

Les situations traumatisantes comme une pandémie créent souvent des ruptures qui réorganisent les relations sociales. Mais agir sur les réseaux sociaux est depuis longtemps un moyen pour provoquer des traumatismes et du contrôle social. Des plantations d’esclaves au contrôle de la population juive par les nazis, le contrôle des familles et des réseaux sociaux, leur démantèlement, leur reconfiguration a toujours été mis en œuvre à pour renforcer le contrôle social. « Dans ces deux contextes d’ailleurs, l’une des formes les plus radicales et les plus importantes de résistance de la part des personnes asservies et maltraitées a été de construire et de maintenir des réseaux dans l’ombre. Ces réseaux ont rendu possible la fuite des personnes, des idées et des connaissances et ont produit des formes de solidarité qui ont permis de lutter pour la dignité ».

Le monde de l’élite de la finance et du conseil en gestion offre un autre type d’exemple, explique encore la chercheuse. Ici, c’est un contrôle par l’endoctrinement plutôt que par la force physique qui opère. Lorsque les nouveaux diplômés se lancent dans ces univers, ils sont confrontés à un bizutage contrôlé par le secteur, qui n’est pas sans rappeler l’entraînement militaire. Ils doivent travailler de longues heures, et on attend d’eux qu’ils soient d’astreinte, qu’ils voyagent, qu’ils soient à l’écoute de leurs patrons. Ce traitement contribue à démanteler leurs réseaux sociaux, à les reconfigurer. Le but, comme à l’armée, est de parvenir à une forme de contrôle idéologique total et ce contrôle idéologique passe également par la transformation des réseaux relationnels.

Pour danah boyd, ces exemples montrent combien le contrôle des réseaux de sociabilité joue un rôle essentiel. L’école obligatoire a également été adoptée pour briser les réseaux de sociabilité, mais elle ne s’est réellement imposée qu’avec la grande dépression, à une époque où trop d’adolescents occupaient trop d’emplois d’adultes alors qu’il y avait moins d’emplois pour tous. La solution a donc consisté à les enfermer à l’école. Autre exemple encore. Jusqu’à la création de l’école obligatoire, les associations sportives étaient mixtes en âge, comprenant autant des adolescents que des adultes. « Grâce au sport, les adolescents apprenaient à connaître des adultes qui les aidaient à accéder au travail ». En créant le sport à l’école, la ségrégation par âge a été promulguée, mais elle a eu des coûts importants. « Lorsque les jeunes n’interagissent pas avec des personnes d’âges différents, les dynamiques de statut et de pouvoir se replient sur elles-mêmes. » La ségrégation par âge a certainement construit nombre de maux sociaux inédits… suggère danah boyd.

Ces exemples soulignent combien l’organisation et la structuration des réseaux de sociabilité compte. Les travailleurs sociaux qui tentent d’aider des jeunes à échapper à la toxicomanie, aux gangs, à la prostitution… savent très bien la nécessité de couper leurs connexions sociales pour en créer de nouvelles. Mais pour que cela fonctionne, il faut bien sûr que les personnes soient consentantes. « Forcer une personne à rompre ses liens sociaux simplement parce que vous pensez que c’est bon pour elle a tendance à avoir l’effet inverse » Refaire des réseaux de sociabilité est un projet qui se déploie sans cesse. « La rupture des relations sociales change la vie. » Elle peut aider les gens à sortir d’un traumatisme, mais elle peut aussi être traumatisante. Le sociologue Paul Willis dans son livre Learning to labor (1977, L’école des ouvriers, Agone, 2011) a montré par exemple que les jeunes de la classe ouvrière qui bénéficiaient d’interventions éducatives considérables, refusaient bien souvent les nouvelles opportunités qui s’offraient à eux en préférant occuper des emplois ouvriers. De fait, ils ne souhaitent pas laisser derrière eux leur famille et leurs amis. Ils ne veulent pas que leurs réseaux sociaux soient brisés. Ceux qui partent sont souvent ceux qui sont en difficultés dans ces communautés, comme les jeunes LGBTQ qui cherchent à échapper à l’homophobie.

« Les jeunes qui disposent de réseaux sociaux de soutien limités à l’école se tournent régulièrement vers l’internet pour en trouver ». Mais ce n’était déjà autant le cas quand la chercheuse a commencé ses recherches sur le rapport des jeunes à l’internet, notamment parce que la rhétorique du danger des années 90 avait modifié la perception de l’internet par les parents, comme l’explique son excellent livre, C’est compliqué (2016, C&F éditions). Trop souvent encore, parents et éducateurs pensent qu’il faut éloigner les jeunes de l’internet et des réseaux sociaux, prolongeant la ségrégation par âge que nous connaissons depuis trop longtemps. Or, on ne peut pas apprendre à faire confiance à une population si on ne la fréquente pas. Nous avons construit des générations ségrégées qui discutent peu avec les autres. Mais ce n’est pas « naturel » rappelle la chercheuse. « C’est socialement construit », et cela rend les générations vulnérables les unes aux autres.

Les campagnes de désinformation sont fondamentalement des projets de restructuration des réseaux sociaux

Depuis plusieurs années, explique danah boyd, j’essaie de comprendre pourquoi certains jeunes adhèrent aux motifs conspirationnistes ou se livrent à la haine en ligne. « À chaque fois, je constate que les jeunes sont à la recherche d’une communauté ». Tout comme les jeunes gays pensent trouver une communauté en faisant leur coming out (et en récoltant surtout du harcèlement), nombre d’autres pensent trouver une communauté en partageant des horreurs.

Ces tensions semblent plus polarisées qu’elles ne l’étaient avant. L’alimentation de la haine en ligne semble construite délibérément en opposition à l’éducation. Bien sûr, l’éducation publique a toujours été controversée, notamment dans des débats sans fin sur ce que les enfants devaient apprendre. La question de l’enseignement de l’évolution, aux États-Unis, est certainement l’exemple le plus vif des innombrables guerres juridiques et culturelles qui ont façonné la politique scolaire. Mais ce débat est longtemps resté de l’ordre de désaccords entre adultes. Ce qui a changé ces dernières années, c’est que les élèves eux-mêmes sont désormais enrôlés dans ces luttes culturelles, au risque de déstabiliser l’enseignement et remettre en question le projet d’éducation.

danah boyd prend l’exemple de PragerU, un site web de vidéos présenté comme un répertoire de contenus éducatifs à destination des jeunes. À première vue, ces vidéos sont clairement conservatrices sur une grande variété de questions. Mais leur devise est claire, elle annonce vouloir défaire l’endoctrinement idéologique du système éducatif américain. Les détracteurs de PragerU qualifient ces contenus de désinformation, mais ces vidéos sont surtout conçues pour déstabiliser. Par exemple, ils proposent une série de vidéos sur « Ce qui ne va pas avec le féminisme » qui vise clairement à recadrer l’histoire et semer le doute, en affirmant par exemple que les droits à porter une arme sont un droit des femmes ou qu’il n’y pas d’écart salarial entre hommes et femmes… et soutiennent ouvertement qu’il y a une guerre à l’encontre des hommes et tiennent un propos très conservateur sur les rôles sexués. Ces vidéos s’inscrivent dans un écosystème en réseau visant à alimenter une certaine culture, et là encore, briser les liens sociaux existants pour les orienter vers d’autres réseaux de relations. « Les campagnes de désinformation sont fondamentalement des projets de restructuration des réseaux sociaux ». Ces vidéos visent à mettre en doute les savoirs en suggérant que les professeurs et leurs enseignements sont orientés. Ce cadre de déstabilisation se prolonge d’autres déstabilisations.

« Si vous vous engagez sur la voie d’un savoir déstabilisé qui rejette la faute sur les féministes, vous serez introduit dans d’autres cadres qui vous diront que le « vrai problème », ce sont les immigrants, les Noirs, les Juifs et les musulmans ». Ceux qui dégringolent dans ces contenus sont invités à s’y investir, alors que toujours plus de contenus déformés leur sont proposés. « En raison de la manière dont l’information est organisée et mise à disposition sur internet, il est beaucoup plus facile d’accéder à une vidéo conspirationniste toxique sur YouTube, diffusée par quelqu’un qui se dit expert, que d’accéder à des connaissances scientifiques ou à des contenus d’actualité, qui sont souvent verrouillés derrière un mur payant. »

« Les élèves qui ont du mal à nouer des liens à l’école se tournent vers l’internet pour trouver une communauté. Les élèves dont les parents leur apprennent à ne pas faire confiance aux enseignants cherchent des cadres alternatifs. Les élèves qui ont des difficultés en classe cherchent d’autres mécanismes de validation. Tous ces élèves sont vulnérables aux cadres qui disent que le problème ne vient pas d’eux, mais d’autre chose. Et lorsqu’ils se tournent vers l’internet pour donner un sens au monde, ils ne sont pas seulement exposés à des contenus toxiques. Leurs réseaux sociaux changent également. L’épistémologie – ou notre capacité à produire des connaissances – est devenue une arme permettant de remodeler les réseaux sociaux. La polarisation politique n’est pas seulement idéologique ; elle est également inscrite dans le graphe social lui-même. »

« Ce n’est pas seulement ce que vous enseignez qui est menaçant : c’est la façon dont les écoles construisent les relations sociales entre pairs qui est menaçante »

Dans les années 1990, des universitaires ont commencé à se préoccuper de la façon dont les connaissances scientifiques étaient attaquées, notamment autour de la montée du climatoscepticisme. À la suite de l’historien Robert Proctor, ils ont proposé un terme pour évoquer l’étude de l’ignorance : l’agnotologie. L’ignorance selon ces chercheurs était à la fois le fait de ne pas savoir, mais également caractérisait les connaissances perdues et les connaissances déstabilisées ou polluées. Reste que la fabrication de l’ignorance n’est pas possible sans s’attaquer aux réseaux relationnels.

« Pour modifier radicalement la façon dont les gens voient le monde, il faut modifier leurs liens avec ceux qui pourraient remettre en question ces nouveaux cadres », à l’image des pratiques sectaires dont le principal effort vise à vous faire douter et à vous couper de réseaux de relations. Parce qu’elle invite les jeunes à examiner la connaissance de manière critique, il n’est pas étonnant que l’école soit particulièrement attaquée. « Ce n’est pas seulement ce que vous enseignez qui est menaçant : c’est la façon dont les écoles construisent les relations sociales entre pairs qui est menaçante », explique la chercheuse aux professeurs venus l’écouter. « Que vous en soyez conscients ou non, vous tous – en tant qu’éducateurs, travailleurs sociaux, bibliothécaires et constructeurs d’outils – configurez la vie publique d’une manière qui menace toute une série d’objectifs financiers, idéologiques et politiques. Et cela, rien qu’en essayant d’enseigner aux étudiants. Juste en créant les conditions dans lesquelles les étudiants se rencontrent. Même si vous ne tentez pas de retisser le tissu social ».

À un certain niveau, cela ne devrait pas être surprenant, rappelle la chercheuse. Une grande part des promoteurs de l’école à la maison est née de la crainte que l’éducation laïque n’incite les jeunes à remettre Dieu en question. Mais l’enseignement ne menace plus seulement l’Église. Les luttes du secteur éducatif étaient centrées sur le financement pour lutter contre la logique d’austérité. Demain, les nouveaux combats seront centrés sur le réarrangement des réseaux sociaux des élèves, sur la reconfiguration de leur vision du monde, et les conflits à venir auront lieu dans la salle de classe elle-même, prévient la sociologue.

La création et la refonte de réseaux à des fins idéologiques, économiques et politiques sont omniprésentes. Nombre d’éducateurs aimeraient ne pas s’engager dans ces questions. « Nous voulons être neutres », mais nous sommes également les témoins des coûts sociaux que cette neutralité implique. Nombre de professeurs n’observent pas comment les pratiques façonnent les réseaux relationnels et la plupart des élèves ne sont pas conscients de la façon dont leurs réseaux relationnels les déterminent et façonnent leur monde.

Façonner le graphe social

« Je crois fermement qu’il est grand temps de reconnaître que l’éducation façonne le graphe social et qu’il est temps de faire un effort concerté pour s’attaquer à ce problème dans nos salles de classe et dans la construction de nos outils. En termes simples, nous ne pouvons pas avoir de démocratie si nous ne réfléchissons pas à notre tissu social », au risque d’une guerre civile. « Nous ne pouvons pas lutter contre les inégalités ou accroître la diversité sans nous occuper consciencieusement du graphe social. Bon nombre des défis auxquels nous sommes confrontés aujourd’hui – polarisation, haine, violence et anomie (c’est-à-dire l’absence d’organisation ou de loi, la disparition des valeurs communes à un groupe, NDLR) – peuvent être relevés en alimentant activement, intentionnellement et stratégiquement le graphe social de notre société », explique la chercheuse qui invite les professeurs à trouver des modalités d’interventions nouvelles. Pour cela, elle expose quelques exemples possibles d’interventions.

Nos sociétés surinvestissent la rhétorique du danger et de l’étranger. Mais, « lorsque les jeunes appellent à l’aide sur l’internet, qui doivent-ils trouver ? » Alors que dans les salles de classe, nous apprenons aux jeunes à être réactifs face aux méchancetés qui ont lieu à l’école, trop souvent nous ignorons les appels à l’aide que nous croisons sur les réseaux sociaux. La peur de l’étranger et de l’inconnu perpétue l’inaction. Pourtant, c’est bien souvent d’inconnus que nous parviennent les meilleures aides. danah boyd rappelle qu’elle est membre du conseil d’administration de Crisis Text Line, un service d’aide et de prévention du suicide par SMS notamment (que nous avions déjà évoqué). Ce service gère chaque année des millions de conversations, notamment avec des jeunes, par des conseillers formés à ces questions, plutôt qu’à des inconnus mal intentionnés. C’est un exemple qui montre qu’on peut stratégiquement orienter les jeunes vers des inconnus qui les aideront. Plus nous insistons sur le danger que représentent les inconnus, plus nous risquons de générer des interactions négatives ou impossibles avec eux, alors que nombre de professionnels inconnus sont la meilleure réponse que nous ayons à proposer pour aider les jeunes dans leurs difficultés.

De nombreux bénévoles viennent en aide aux sans-abris ou aux toxicomanes qui errent dans nos rues. Mais nous n’avons pas de « travailleurs de rue » pour venir en aide à ceux qui trainent dans les rues d’internet (une idée que la chercheuse défendait déjà en 2008). « Nous n’avons pas de programmes pour aider les personnes en souffrance en ligne », rappelle la chercheuse en invitant à apprendre aux élèves à réagir d’une manière empathique aux souffrances qu’ils y rencontrent.

Les programmes de correspondants ont longtemps été populaires dans les écoles. Ils étaient des leviers pour apprendre de la différence, voire combler les fossés sociaux et culturels. Il existait également des programmes pour mettre en relation des étudiants et des prisonniers ou avec des personnes âgées. La technologie et la peur de l’étranger les ont fait en grande partie disparaître. En s’informant sur ces programmes, la chercheuse souligne que peu de personnes en comprenaient encore la valeur.

Pourtant, nous pourrions tout à fait utiliser la technologie pour mettre au goût du jour ce type de programmes. Avec la pandémie, nombre d’écoles ont utilisé des plateformes en ligne, mais bien peu pour aider les élèves à se soutenir entre eux.

Les programmes de correspondance se concentrent sur les connexions individuelles, mais l’enjeu exposé ici vise à aller au-delà, et à construire stratégiquement un graphe social de relation. Et la technologie peut nous y aider. Qui a déjà cartographié les relations des élèves entre eux dans leur classe, leur école ? Les écoles disposent d’outils pour suivre les performances scolaires de chaque élève, mais qui surveille la santé de leurs relations sociales ? Placer cette question au centre de son travail pourrait modifier nombre des pratiques des éducateurs. Pour les administrateurs, cela signifie agencer les classes selon d’autres stratégies. Pour les enseignants, cela signifie veiller à la manière dont sont construits les groupes, dont sont placés les élèves en classe… Nombre d’enseignants font cela au feeling, mais qu’en serait-il si vous aviez une carte qui vous permettrait d’attribuer des objectifs ? « Plutôt que d’avoir pour objectif la réussite du projet de groupe, imaginez un objectif qui vise à renforcer ou élargir le graphe social des élèves », propose la chercheuse.

La création de nouvelles relations dépend beaucoup des changements de contextes. Les nouvelles amitiés se forment souvent au début de l’année scolaire, quand les élèves sont exposés à de nouveaux élèves et à de nouveaux rituels. Mais il y a également des moyens stratégiques pour cela, comme les voyages scolaires ou les projets extérieurs, qui permettent justement de créer des conditions stratégiques pour réunir certains élèves entre eux.

Les étrangers familiers : le coup de pouce au social !

« Stanley Milgram était un psychologue surtout connu pour ses expériences d' »obéissance à l’autorité », mais il a également mené une série d’études sur les « étrangers familiers ». Considérez quelqu’un que vous voyez rituellement, mais avec qui vous ne parlez jamais vraiment. Le banlieusard qui prend votre train tous les jours, par exemple. Si vous rencontrez cette personne dans un contexte différent, vous devenez plus susceptible de lui dire bonjour et d’entamer une conversation. Si vous êtes vraiment loin de votre zone de confort, il est presque certain que vous créerez des liens, au moins pendant un moment. De nombreux étudiants sont des étrangers familiers les uns pour les autres. Si vous les sortez de leur contexte et les placez dans un contexte totalement différent, ils sont plus susceptibles de se lier. Ils sont encore plus susceptibles de se lier lorsque les rencontres se répètent. »

danah boyd évoque à ce propos une anecdote particulièrement éclairante. Pour mieux fidéliser les Deadhead, les fans du groupe de rock Grateful Dead, la pratique voulait que les organisateurs gardent traces des gens auprès desquels vous étiez placé lors de l’achat d’une place de concert. Ainsi, quand vous en achetiez une autre, la pratique était de vous placer près de quelqu’un qui était près de vous au précédent concert pour faciliter les relations sociales. Ainsi peut-on inciter les gens à entrer en contact en créant les conditions nécessaires pour qu’ils se rencontrent régulièrement. Pour boyd, c’est là un exemple qui montre comment prendre les réseaux au sérieux, à prendre soin, intentionnellement, du tissu social. « Vous pouvez être aussi intentionnel dans le tricotage du graphe social que dans votre pédagogie. Et les deux sont essentiels à l’autonomisation de vos étudiants. » danah boyd conclut son intervention en esquissant d’autres pistes encore, comme d’inviter les jeunes à évaluer réellement leur réseau et à réfléchir à la manière d’être plus réfléchi justement quant aux relations qu’ils entretiennent. Bref, à leur apprendre à être parfois plus stratégiques ou au moins plus ouverts à la question de leurs sociabilités.

danah boyd livre une idée simple et stimulante, un contrepoint à la manière dont nous observons les questions de désinformation… Reste qu’elle les livre sans beaucoup de garde-fous. Réunir des jeunes qui n’ont pas d’intérêts communs ou peinent à être ensemble génère bien souvent des difficultés, qu’il faut savoir traiter et accompagner. Ce qu’avance danah boyd est plus facile à dire qu’à faire. Cela demande certainement bien plus d’investissement de la part des accompagnateurs, comme d’être plus proches des groupes, de leur fournir des méthodes ou de les aider dans les difficultés qu’ils ne manqueront pas d’affronter du fait de leurs différences, d’arbitrer des choses qui ne s’arbitrent pas si facilement. Enfin, cela demande également de savoir quand et comment agir… Nombre de ces coups de pouce au social ne fonctionnent pas si bien. Et ce « nudging social », ce type de coup de pouce comportemental, peut aussi créer des difficultés plus que les résoudre. Reste que là où on la rejoindra certainement, c’est sur le constat que nous avons certainement des progrès à faire pour améliorer la complexité et la richesse du social, dans un temps où l’individualisation semble ne cesser de le faire reculer.

La pandémie nous a montré combien nos sociabilités nous ont manquées. Elle nous a montré que quelque chose n’était pas réductible à nos outils techniques. Que quelque chose qui tenait à la forme de création du social y résistait profondément. Ce à quoi nous invite danah boyd c’est assurément à mieux observer – comme nous le disions en conclusion de notre dossier sur Zoom -, ce que nos socialités et sociabilités produisent, ce à quoi elles ne peuvent être réduites, mais comment, au contraire, elles peuvent être amplifiées, augmentées, structurées… En nous invitant à améliorer la construction sociale du social, elle nous montre qu’il y a encore des pans de nous-mêmes qui nous échappent.

Cela m’évoque d’une certaine manière le dernier livre de l’essayiste américain Malcom Gladwell (Wikipédia, @gladwell), Quiproquos (Kero, 2020), qui explique combien nous sommes nuls à interpréter les autres et notamment les inconnus. La plupart du temps, nous nous trompons à leur égard. Comme Chamberlain quand il rencontre Hitler, la plupart des juges pensent pouvoir confondre la vérité d’un accusé juste en perçant leur cœur de leur regard. Hélas, ça ne fonctionne pas si bien. Nous sommes, contrairement à ce que l’on croit, de mauvaises machines à lire les autres.

Pire, nos erreurs sont renforcées par nos jugements trop rapides sur les autres qui nous font prendre du bruit pour des signaux, l’apparence pour de l’information… Nous sommes incapables de détecter le mensonge. « Nous commençons par croire. Et nous arrêtons de croire seulement lorsque nos doutes atteignent un seuil où nous ne pouvons plus trouver d’explication convaincante. » Nous optons toujours pour la vérité par défaut et pour la confiance, afin de faciliter nos échanges sociaux. Nous pensons aussi que les gens sont transparents, que nous parvenons parfaitement à lire leurs expressions et émotions, mais là encore, nous surestimons l’expressivité des autres, comme de la nôtre. La transparence des émotions est un mythe, rappelle Gladwell. Nous jugeons des gens nerveux sans saisir leur contexte, culturel ou spécifique, tant il est souvent éloigné du nôtre. Nous sommes définitivement myopes. Gladwell finalement souligne combien nous sommes de piètres machines à décrypter le social.

Tout cela sonne certes comme autant d’évidences qui devraient nous inviter à beaucoup d’humilité, mais nous montre également que la question de l’évolution du social demeure un plafond de verre que nous peinons à adresser et à faire évoluer, c’est-à-dire à faire progresser lui aussi… Le chemin pour apprendre à vivre avec ceux qui ne nous ressemblent pas ne sera pas si simple, mais il serait intéressant de commencer à le regarder plus concrètement que nous ne le faisons actuellement, pour tenter de préciser comment avancer et comment sortir d’une forme de crise du social que l’individualisation n’aide pas du tout à dépasser.

Hubert Guillaud