En 2019, dans une tribune pour le New Yorker, Miriam Posner explique le rôle du logiciel dans les chaînes d’approvisionnement, pour mieux nous en pointer les limites. Si les chaînes logistiques ne sont pas éthiques, c’est parce que l’éthique n’est pas une donnée que traite leurs logiciels. Explication.

Professeure à l’université de Californie et spécialiste des questions technologiques, Miriam Posner signe dans le New Yorker une très intéressante tribune sur la transformation logicielle de la chaîne logistique.

En consultant un rapport (« cauchemardesque ») du China Labor Watch (l’Observatoire du travail en Chine, une association qui informe et dénonce les conditions de travail sur les chaînes de fabrication des usines chinoises) sur les conditions de fabrication de jouets en Chine, Miriam Posner s’interrogeait : comment se fait-il que nous ne sachions pas mieux tracer l’origine des produits que nous consommons ?

Quand elle a demandé à ses étudiants de travailler sur la question de la chaîne d’approvisionnement de matériel électronique, elle s’est rendu compte que, quand bien même certaines entreprises se vantent de connaître et maîtriser leur chaîne logistique de bout en bout, aucune ne sait exactement d’où proviennent les composants qu’elles utilisent. « Cette ignorance est inhérente au mode de fonctionnement des chaînes d’approvisionnement ». La coque de plastique d’une télévision par exemple peut-être construite dans une petite usine n’employant que quelques personnes qui n’interagit qu’avec des fournisseurs et acheteurs adjacents (un fournisseur de plastique et une entreprise de montage par exemple). Cette intrication favorise la modularité : si une entreprise cesse son activité, ses partenaires immédiats peuvent la remplacer rapidement, sans nécessairement avoir à consulter qui que ce soit, ce qui rend la chaîne très souple et adaptable… Mais rend également très difficile l’identification des multiples maillons de la chaîne logistique.

Nous avons une vision souvent abstraite des chaînes d’approvisionnements que nous n’imaginons que comme des chaînes physiques. Or leur gestion est devenue complètement virtuelle, logicielle. Les personnes qui conçoivent et coordonnent ces chaînes logicielles elles non plus ne voient ni les usines, ni les entrepôts, ni les travailleurs. Elles regardent des écrans et des tableurs : leur vision de la chaîne d’approvisionnement est tout aussi abstraite que la nôtre, explique la chercheuse.

Le leader logiciel de la chaîne d’approvisionnement est l’allemand SAP. SAP est une suite logicielle que vous ne pouvez pas télécharger sur l’App Store. C’est un logiciel industriel spécialisé qui se déploie à l’échelle d’entreprises pour piloter la chaîne d’approvisionnement (et qui comprend de nombreux modules additionnels de comptabilité ou de ressources humaines). Pour comprendre son fonctionnement, Miriam Posner a suivi une formation en ligne dédiée.

Le logiciel est complexe. Il se présente comme un ensemble de dossiers de fichiers qu’on peut agencer pour former la chaîne d’approvisionnement (commande, fabrication, emballage, expéditions…). La conception d’une chaîne est un processus qui implique plusieurs opérateurs et entreprises, sous forme de « composants ». Un spécialiste de la demande par exemple entre des informations sur les ventes passées (variations saisonnières, promotions planifiées, etc.) et le logiciel calcule combien de produits doivent être fabriqués. Un autre spécialiste utilise des informations sur les délais d’expéditions, les coûts de stockage, les capacités d’usine pour créer un « plan de réseau logistique » qui détermine le moment où chaque engrenage du processus de fabrication doit tourner. Ce plan est ensuite transmis à un autre spécialiste pour planifier la production et calculer le calendrier détaillé qui vont déterminer la manière dont le processus se déroulera sur le terrain le plus précisément possible. Tout cela prend la forme de séries de feuilles de calcul, de cases à cocher, de fenêtres contextuelles… qui n’est pas sans rappeler l’analyse que faisait Paul Dourish sur la matérialité de l’information qui s’incarne aujourd’hui dans le tableur. C’est « pourtant là que les prévisions de marchés sont traduites en ordre de marche des travailleurs », explique Posner. La planification de la production et le calendrier détaillé reposent sur des « heuristiques », des algorithmes intégrés qui répartissent la production et donc la main d’oeuvre pour que les installations fonctionnent à leur capacité maximale. D’ailleurs, souligne Miriam Posner, l’exécution d’une heuristique implique de cliquer sur un bouton de l’interface qui ressemble à une petite baguette magique, comme s’il suffisait d’une action simple pour activer la chaîne.

L’utilisation de SAP est difficile reconnaît la chercheuse. Chaque tâche est compliquée à configurer, avec d’innombrables paramètres à valider. Le plus souvent, ce travail est divisé et nécessite de multiples interventions différentes. En fait, « aucun individu ne possède une image détaillée de l’ensemble de la chaîne d’approvisionnement. Au lieu de cela, chaque spécialiste sait seulement ce dont ses voisins ont besoin. »

« Dans un tel système, un sentiment d’inévitabilité s’installe. Les données dictent un ensemble de conditions qui doivent être remplies, mais rien n’explique comment ces données ont été obtenues. Pendant ce temps, le logiciel joue un rôle actif, en peaufinant le plan pour répondre aux conditions le plus efficacement possible. Les optimiseurs intégrés de SAP déterminent comment répondre aux besoins de la production avec le moins de « latence » et au moindre coût possible (le logiciel suggère même comment optimiser un conteneur pour économiser sur les frais d’expédition). Cela implique que des composants particuliers deviennent disponibles à des moments particuliers. Les conséquences de cette optimisation incessante sont bien documentées. Les sociétés qui commandent des produits transmettent leurs demandes déterminées par calcul à leurs sous-traitants, qui exercent ensuite une pression extraordinaire sur leurs employés. Ainsi, China Labour Watch a constaté que les travailleurs de la ville de Heyuan en Chine chargés de fabriquer une poupée Disney que Miriam a achetée à ses enfants (vendue au prix 26,40 $) travaillent vingt-six jours par mois, assemblent entre 1800 et 2500 poupées par jour et gagnent un centime pour chaque poupée qu’ils complètent. »

Pour la chercheuse, le défi majeur dans la gestion de la chaîne d’approvisionnement est la grande distance – « spatiale, temporelle et informationnelle » – qui sépare le processus du monde réel de la fabrication et de la consommation. Ces distances introduisent de nombreux problèmes, comme l’effet « coup de fouet », qui consiste à ce que chaque niveau produise plus que prévu pour mieux répondre à la demande ou ajuster ses bénéfices avec ses coûts. Le battement d’ailes d’un consommateur peut-être amplifié de manière démesurée par la chaîne. En fait, la demande temps réel du pilotage que produit le logiciel ne correspond pas vraiment à la réalité effective des multiples chaînes de production, où chaque acteur fait ses ajustements (qui prennent en compte d’autres commandes, des délais, la disponibilité de fournitures ou la surproduction pour réduire les coûts…). Pourtant, le logiciel procède d’une vision qui maximise le temps réel et donne l’illusion d’être au coeur de la tour de contrôle de la production.

L’autre effet coup de fouet, bien sûr, s’applique directement aux travailleurs des différentes usines prestataires de la chaîne. Quand les exigences des commandes parviennent jusqu’aux travailleurs, elles se révèlent plus exigeantes et plus punitives.

Dans le numéro 4 de l’excellent magazine Logic, Miriam Posner avait déjà livré une réflexion sur le sujet. Elle y rappelait déjà que si les questions de l’architecture physique de la chaîne d’approvisionnement mondialisée était souvent étudiée (notamment dans The Box de Marc Levinson qui s’intéressait au rôle du conteneur ou encore dans The Deadly life of logistics de Deborah Cowen), ce n’était pas beaucoup le cas de son aspect logiciel comme des échanges de données et d’informations qui la sous-tendent. L’industrie logicielle de la gestion de la chaîne d’approvisionnement est pourtant l’un des domaines d’activité qui connaît la plus forte croissance, mais qui opère de manière assez discrète, car les informations qu’elle traite sont très concurrentielles. Amazon, par exemple, n’est pas tant un commerçant qu’une chaîne d’approvisionnement incarnée et peu de personnes connaissent le logiciel qui l’optimise. Pour Leonardo Bonanni, PDG de Sourcemap, une entreprise qui aide les entreprises à construire leurs chaînes d’approvisionnement, l’incapacité des entreprises à visualiser cette chaîne est une fonction même de l’architecture logicielle. Pour Miriam Posner, le terme de chaîne d’approvisionnement est finalement trompeur : cette chaîne « ressemble beaucoup plus à un réseau de voies navigables, avec des milliers de minuscules affluents composés de sous-traitants qui s’écoulent dans de plus grandes rivières d’assemblage, de production et de distribution. »

Pour Bonanni, nous ne voyons qu’une parcelle des abus sur les lieux de travail qui sont portés à notre connaissance : c’est surtout le cas de quelques chaînes prestigieuses, comme dans l’électronique grand public. Mais les conditions de travail sont souvent plus opaques et les abus plus répandus dans d’autres industries, comme l’habillement ou l’agriculture, des lieux où la chaîne se recompose à chaque approvisionnement, à chaque saison, avec un nombre de noeuds et de sous-traitants, qui sont loin d’être tous intégrés à la chaîne logicielle. Les usines géantes de Foxcon masquent d’innombrables petits ateliers et usines beaucoup moins présentables qui permettent à la chaîne d’être extrêmement résiliente et robuste. En fait, « il n’y a pas de tour de contrôle supervisant les réseaux d’approvisionnement », les noeuds ne parlent qu’à leurs voisins immédiats.

« Ces infrastructures physiques distribuées ressemblent finalement beaucoup au réseau invisible qui les rend possibles : internet ». À chaque étape de la transformation, le produit est transformé en marchandise. Et l’information qui l’accompagnait transformée à son tour. Du plastique devient une coque qui devient une télévision… En fait, la transformation et l’échelle d’action impliquent une perte d’information. Pour récupérer une tonne d’or, vous devez en acheter à plein d’endroits différents que la fonte va transformer en une marchandise unique : la tonne d’or que vous vendez.

Un fonctionnement assez proche de la programmation modulaire, remarque Miriam Posner. La programmation modulaire est une méthode familière à tout programmeur et architecte de systèmes. Elle consiste à gérer la complexité par des unités fonctionnelles distinctes. Chaque programmeur travaille ainsi sur un module qui s’interface aux autres en spécifiant les entrées et sorties où les modalités qu’il prend en charge. Les systèmes modulaires permettent notamment de gérer la complexité et d’améliorer un module sans avoir à toucher les autres : chacun étant une sorte de « boite noire » vis-à-vis des autres.

Comme l’explique Andrew Russell, historien de l’informatique, la modularité, née dans l’architecture, a été un moyen de structurer les organisations comme l’économie. « C’est une sorte de caractéristique de la modernité ». Et les chaînes d’approvisionnement sont hautement modulaires, à l’image du conteneur, standardisé et interchangeable, qui peut contenir n’importe quoi pour se rendre n’importe où, ce qui permet aux marchandises transportées de passer à l’échelle globale.

« Les informations sur la provenance, les conditions de travail et l’impact sur l’environnement sont difficiles à gérer lorsque l’objectif de votre système est simplement de fournir et d’assembler des produits rapidement. « Vous pouvez imaginer une manière différente de faire les choses, de sorte que vous sachiez tout cela », explique Russell, « afin que votre regard soit plus immersif et continu. Mais ce que cela fait, c’est inhiber l’échelle ». Et l’échelle, bien sûr, est la clé d’une économie mondialisée. »

Pour Miriam Posner, le passage à l’échelle – la fameuse scalabilité – explique pourquoi les branches d’un réseau d’approvisionnement disparaissent. Cela aide également à expliquer pourquoi la syndicalisation transnationale a été si difficile : pour répondre aux demandes du marché, les ateliers ont appris à se rendre interchangeables. Un peu comme si « nous avions assimilé les leçons de la modularité d’une manière psychologique ».

Reste à savoir si la technologie peut remédier au problème qu’elle a créé. Miriam Posner constate que l’internet des objets et la blockchain sont deux technologies qui ont reçu beaucoup d’engouements chez les praticiens des systèmes de gestion de la chaîne d’approvisionnement.

La première permet de localiser et tracer les composants alors que la seconde permet d’y attacher un numéro d’identification et un journal qui enregistre chaque fois qu’une fourniture change de main. Leurs partisans affirment que ces technologies pourraient apporter une transparence radicale aux chaînes d’approvisionnement mondiales. Le problème est que l’une comme l’autre peuvent vite être vidées de leurs sens si elles ne sont qu’une chaîne d’enregistrement de prestataires, sans informations sur leurs pratiques. Et ni l’une ni l’autre ne résolvent les problèmes liés à la transformation de produits. Pour Bonanni, elles ne résolvent pas non plus le manque de visibilité : quand tout le monde est incité à agir toujours plus rapidement et efficacement, il est difficile d’imaginer qui sera chargé de fournir plus d’informations que nécessaire. Si ces technologies pourraient certes fournir des informations détaillées sur les conditions de travail et le respect des normes de sécurité, il reste difficile de croire que l’internet des objets et la blockchain, qui sont surtout des objets techniques visant à accroître l’efficacité, le contrôle, la rapidité et la sécurité des informations puissent devenir demain des moyens pour s’assurer de chaînes d’approvisionnement socialement responsables.

Dans le domaine de la gestion des chaînes d’approvisionnement, l’autre technologie source d’innovation, c’est bien sûr l’apprentissage automatique, via des algorithmes capables de faire de meilleures prévisions et de prendre des décisions. Appliqué à la chaîne logistique, le machine learning pourrait aider à déterminer les fournisseurs et les itinéraires qui livreront les marchandises de la manière la plus rapide et la plus fiable. Les algorithmes pourraient prédire les performances des fournisseurs et des transporteurs, en leur attribuant des scores de risques selon l’historique de leurs résultats. Et demain, les réseaux d’approvisionnement pourraient se reconfigurer automatiquement, de manière dynamique, selon cette évaluation de risques… Pas sûr que cette piste améliore la cécité collective des outils, pointe Posner. Pas sûr non plus qu’elle soit si accessible quand déjà les données utilisées ne savent pas grand-chose de la qualité des fournisseurs.

En fait, ces technologies nous montrent que les spécialistes de la gestion de la chaîne logistique ne parlent pas de la même transparence ou de la même visibilité que le consommateur final. La transparence de la chaîne logistique ne vise pas à aider à comprendre d’où vient un produit, mais vise à améliorer son efficacité : diminuer le coût tout en maximisant la rapidité.

Les défis politiques pour transformer ces constats sont immenses, conclut Miriam Posner. En l’absence de véritables efforts pour créer un contrôle démocratique des chaînes d’approvisionnement, nous en sommes venus à les considérer comme fonctionnant de manière autonome – davantage comme des forces naturelles que des forces que nous avons créées nous-mêmes.

En 2014, le Guardian a signalé que des migrants birmans travaillaient dans des conditions qui tenaient de l’esclavagisme à bord de crevettiers au large des côtes thaïlandaises. Pour un importateur de crevettes, l’esclavagisme semblait un symptôme plus qu’une cause des modalités d’approvisionnement elles-mêmes. Et effectivement, il est possible d’avoir une chaîne d’approvisionnement parfaitement efficace, mais également parfaitement ignorante des conditions de travail qu’elle implique.

Reste que nous avons construit les réseaux décentralisés tels qu’ils opèrent, rappelle la chercheuse. L’anthropologue Anna Tsing dans ses travaux sur la chaîne d’approvisionnement souligne que Walmart par exemple exige un contrôle parfait sur certains aspects de sa chaîne d’approvisionnement : notamment sur les prix et les délais de livraison, et ce au détriment d’autres aspects comme les pratiques de travail. L’absence d’information sur certains aspects de la chaîne d’approvisionnement est profondément liée à un système conçu pour s’adapter à la variété de produits que nous produisons et à la rapidité avec lesquelles nous les produisons. Et cette absence d’information est intégrée dans les logiciels mêmes qui produisent la mondialisation. Exiger une chaîne logistique plus transparente et plus juste nécessite d’intégrer des informations que peu d’entreprises souhaitent utiliser, notamment parce que par nature, elles remettent en question les paradigmes de l’efficacité et de la scalabilité qui les font fonctionner.

Hubert Guillaud

Cet article a été publié originellement sur InternetActu.net, le 17 mars 2019.

En 2017, Paul Dourish publiait « The Stuff of Bits », un livre qui s’intéressait à notre rapport aux tableurs et aux impacts matériels de l’information numérique sur la réalité. Une manière de saisir et comprendre comment le monde réel est piloté par les outils numériques dans les organisations. Relecture.

Paul Dourish (Wikipedia) a signé au printemps aux Presses du MIT un court essai The Stuff of Bits (que l’on pourrait traduire d’une manière un peu cavalière par « La substance de l’information »), un livre qui s’intéresse aux impacts matériels de l’information numérique. Comment la simulation numérique, nos outils de modélisation et nos outils de travail façonnent-ils à rebours notre expérience ? Pour le professeur d’informatique et anthropologue, les arrangements matériels de l’information, c’est-à-dire la manière dont elle est représentée, dont elle est façonnée, dont on peut l’utiliser, ont une importance significative dans notre rapport à l’information. Comme le soulignait le philosophe Donald Schön, le design reflète notre conversation avec les matériaux. Dourish regarde comment le numérique impacte désormais nos modalités d’usage. Pour lui, « les matérialités de l’information reposent sur des propriétés et des formats qui contraignent, rendent possible, limitent et façonnent la façon dont ces représentations peuvent être créées, transmises, stockées, manipulées et mises à profit ». A la suite par exemple de Lev Manovich, il souligne combien la base de données est devenue la forme culturelle majeure du XXIe siècle (après le roman au XIXe et le film au XXe siècle).

Dourish prend de nombreux exemples pour explorer son idée. Il développe longuement les différentes façons de représenter une même image au format numérique, en observant les multiples manières de la coder : une image peut-être effectivement une image, mais également peut-être produite par un programme ou une itération. Reste que, même dans le programme, des choses échappent à la représentation, comme ce peut-être le cas par exemple de la vitesse d’exécution d’un programme pour représenter cette image ou de la taille de la mémoire de l’ordinateur utilisé. Un programme est une série d’instructions, mais l’expérience qui résulte de son exécution, elle, n’est pas spécifiée par le programme. Or, bien sûr, la manipulation de cette image sera très différente selon la manière dont elle est codée. C’est bien à cette relation entre les formes et les possibilités que permettent les matériaux numériques que s’intéresse Dourish. Comment leurs affordances, c’est-à-dire leurs propriétés relationnelles, façonnent-elles nos pratiques ?

Dans son livre Dourish évoque longuement un exemple significatif qui permet de mieux saisir là où il souhaite nous emmener, ce qu’il estime qu’il nous faut désormais regarder avec attention. Il revient longuement sur ce qu’il appelle les « spreadsheet events » des réunions organisées autour de la projection de tableurs, comme elles se pratiquent dans de plus en plus d’entreprises – avec les « powerpoint events », plus anciens et plus documentés, qui sont des rencontres organisées autour de la présentation de documents projetés qui forment l’essentiel des réunions ou des conférences professionnelles – voir notamment « Les transformations de l’écosystème de l’information dans le monde du travail » ou « PowerPoint, voilà l’ennemi ! »).

Les réunions spreadsheet ne sont pas vraiment des réunions Tupperware : ce sont des réunions de travail autour d’un écran qui projette un tableur dont l’accès est parfois partagé. Souvent utilisé pour travailler de manière collaborative autour d’un budget (avec toutes les limites que cela peut avoir, comme le faisait remarquer récemment Bjarte Bogsnes), le tableur est utilisé pour une multitude de raisons. C’est à la fois un artefact de coordination et d’archivage des décisions prises lors de l’événement. Dourish rappelle d’ailleurs l’importance de l’enchevêtrement des organisations et de leurs systèmes d’information : combien les « workflows » encodent les procédures, les processus et les règles d’organisation. Cet exemple permet à Dourish de poser des questions sur comment nos outils façonnent nos usages. « Comment la matérialité d’un spreadsheet – à la fois outils interactifs et systèmes de représentation – modèle, contraint et habilite la façon dont on travaille ? Comment projetons-nous notre travail dans la forme des tableurs ou comment avons-nous (ou pas) la main sur un ensemble de règles, de limites, de possibilité ou d’opportunités ? » Bref, comment les gens bricolent et s’approprient ces contraintes logicielles en pratique ?

Dourish souligne d’ailleurs la complexité d’action que permettent ces tableurs qui sont à la fois des grilles de cellules qui permettent des formes de regroupement et qui permettent d’activer certains contenus : c’est-à-dire que certains contenus ne sont pas fixés, mais calculés selon des formules via des données pouvant provenir d’autres cellules ou d’autres tableurs ou bases de données. C’est en cela que, malgré leur sécheresse apparente (des listes de chiffres le plus souvent), ces outils se révèlent commodes pour rendre visibles de la complexité comme du détail. Si la plupart de ces tableurs ne sont pas hautement dynamiques (assez souvent, la plupart des données ne sont pas calculées), ils permettent, alors qu’ils ne sont pas conçus pour cela, de générer de la planification d’activité ou de la priorisation d’activité, tout en facilitant le partage et d’information et de données.

Dourish insiste également sur les limites de ces outils (par exemple, la difficulté à manipuler des blocs non contigus) ou leur potentiel (la possibilité d’ajouter des données et de faire grandir le tableur). Bien souvent, souligne-t-il, le tableur sert de guide à la réunion : il révèle l’organisation elle-même, les participants discutant des données cellule après cellule, colonne après colonne… Le tableau spécifie ce qui est à l’ordre du jour et écarte tout ce qui n’apparaît pas sur le tableur. La distinction entre les données joue souvent comme une séparation des responsabilités – ce qui pose d’ailleurs des questions sur les responsabilités qui relèvent de ce qui n’est pas sur le tableur ou de ce qui est à l’intersection des données ou de leur calcul.

Dourish souligne aussi qu’il faut distinguer différents types d’objets dans les tableurs : on ne sait pas facilement par exemple si une donnée est une donnée directe – inscrite – ou dérivée, c’est-à-dire calculée – c’est-à-dire si un chiffre est un nombre ou le résultat d’une formule. Si le rôle du tableur semble de faire ressembler les données à un document papier où toutes les valeurs auraient le même statut, il faut saisir que ce n’est pas le cas, puisque ces données sont éditables et calculables, recomposables… Il souligne par là comment les usages que nous inventons depuis ces objets manquent de conception : un tableur n’a pas été conçu pour être le pilote de réunions. Si le côté dynamique de ces objets explique en grande partie leur utilisation, ce dynamisme par exemple créé des lacunes de fonctionnalités, comme le fait de ne pas pouvoir faire de recherche sur une donnée résultant d’un calcul dans un très grand tableau.

Enfin, il montre également que cet enregistrement d’activité est également un enregistrement d’accord : l’important devient ce qui est noté dans le tableau et non pas la discussion ou le calcul qui conduit à inscrire cette information. Pire, souligne-t-il, l’utilisation de tableurs comme outils de pilotage ou de budgétisation s’impose par reproduction. « Les documents deviennent des enregistrements ; les enregistrements deviennent des modèles : les modèles deviennent des routines ; les routines deviennent des processus. » Ces outils encodent et fixent des relations à la fois dans le tableur lui-même (cette cellule doit toujours être la moyenne des chiffres de cette colonne) comme entre les entités que ces chiffres recouvrent (ce budget et ce que ça implique doit toujours être le résultat de tel autre…).

Le développement de l’usage de ces outils, malgré leurs lacunes de conception, provient certainement du fait que ce sont des outils performatifs, qui permettent via le calcul, les formules et les liens entre les données d’être toujours à jour et de réaliser ce qu’ils énoncent. « L’usage de formules est une façon de montrer que le tableur continuera à faire son travail, même si son contenu change : c’est un moyen de produire de la stabilité dans une forme qui ne l’est pas. » Ces réunions qui consistent à éditer et mettre à jour ces tableurs soulignent que ce qui se joue ne tient pas seulement de la communication comme peuvent l’être les réunions powerpoint, mais bien de la délibération et que le document qui fixe la réunion n’est pas seulement produit, mais transformé par la réunion elle-même. Si les tableurs détrônent l’édition collaborative de documents textuels, selon Dourish, c’est parce qu’ils permettent de mieux rendre compte de la complexité des données et des interactions entre elles. S’ils détrônent le tableau blanc, c’est parce que les tableurs ont une vie avant et après la réunion, d’une certaine manière qu’ils doivent être vivants, dynamiques… Enfin, note encore Dourish, contrairement à ce qu’on pourrait penser, la plupart de ces séances utilisent un tableur non connecté à l’internet. Alors qu’un document partagé en ligne permet de maintenir des versions synchrones, les documents offline permettent d’avoir un point de contrôle qu’une seule personne ajuste selon les discussions.

Cet exemple illustre assez bien l’ambition de Dourish. « Explorer comment le calcul devient un objet avec lequel les gens doivent lutter »… Comment le calcul façonne la forme des objets numériques, contraint nos interactions humaines elles-mêmes et créent de nouvelles structures d’interaction qui ne sont pas seulement numérique ou qui rétroagissent au-delà de leur caractère numérique ? L’exemple des tableurs et des bases de données pour la coordination de groupe montre comment les organisations passent d’une forme linéaire, narrative, à des formes profondément relationnelles. « La base de données est à la fois une forme de représentation et une forme effective ».

Force est pourtant de constater que hormis cet exemple – passionnant – Dourish ne parvient pas vraiment à cerner les enjeux de la matérialité de l’information. Les autres objets sur lesquels il pose son regard d’anthropologue ne sont pas aussi parlant et parfois trop techniques pour être facilement compréhensibles.

Reste que l’analyse qu’il livre sur comment les bases de données façonnent désormais le monde matériel – et inversement – pointe bien sûr leurs limites : « Si les organisations ne peuvent agir que sur les données dont elles disposent, alors les limites de leurs bases de données deviennent leurs contraintes d’action sur le monde. » Or, dans ce qui est projeté lors de ce type de réunion, les bases de données et les données demeurent bien souvent l’objet caché… La matérialité du numérique a donc des conséquences sur la façon même dont on communique, on partage et se connecte.

Comme il le souligne en conclusion, « les bits ne sont pas que bits. Certains comptent plus que d’autres. Certains arrangements de bits sont plus facilement manipulables que d’autres…(…) tout comme les systèmes numériques indo-arabes et romains, différentes représentations impliquent différentes conséquences pour les sortes de choses que l’on peut faire avec. » La rhétorique du « virtuel » suggère que le numérique serait indépendant des configurations et contraintes matérielles qui pèsent sur lui. Or, si le numérique dépend de grandes infrastructures matérielles, le numérique impose en retour des contraintes matérielles à ceux qui les utilisent. Les objets numériques ont des particularités propres et les systèmes de représentation qu’ils déterminent ont des manifestations directement matérielles. Et Dourish d’en appeler à mieux comprendre à la fois les pratiques culturelles et leurs manifestations techniques. Certes, il n’est pas le premier à le dire, à signaler les limites des intentions dans la production des systèmes numériques et leurs détournements ou leurs bricolages. Pour lui, il est nécessaire de prendre au sérieux la matérialité du numérique. Cette matérialité explique-t-il encore relève le plus souvent d’une « traduction », du passage d’une représentation à une autre. Bien souvent, on néglige l’aspect matériel de ces transformations, alors qu’elles sont éminemment importantes, comme le soulignait déjà Frédéric Kaplan en s’intéressant au fonctionnement du traducteur de Google, qui passe toujours par une traduction par l’anglais pour traduire d’une langue à une autre. Il invite d’ailleurs à parler plutôt de transduction pour parler de ce type de conversions, comme c’est le cas de notre voix transformée en signal électrique par l’usage du téléphone et réassemblé en sons à la fin, produisant une nouvelle production qui n’est pas qu’une simple copie. Le calcul n’est pas indépendant de ses manifestations matérielles insiste Dourish (« l’informatique ne concerne pas plus l’ordinateur désormais que l’astronomie ne concerne les télescopes« , disait le mathématicien Edsger Dijkstra), qui invite à refonder la science informatique en s’inspirant du Manifeste pour la pensée computationnelle (.pdf) de Jeanette Wing qui invitait déjà à changer de mode de pensée. Une conclusion hélas un peu convenue.

On aurait aimé que Dourish, plutôt que de se perdre parfois dans la dissection de la matérialité du réseau, évoque les succédanés de ces tableurs par exemple, comment les tableaux de bord de pilotage, comme les tableaux de bord urbains, les systèmes de visualisation de données, prolongent les effets qu’il pointe avec les « spreadsheets events ». On aurait aimé qu’il souligne d’autres exemples de simulations numériques, de virtualisation de la réalité (à l’image des bombes nucléaires américaines qui continuent d’évoluer alors qu’aucune n’est testée en situation réelle, mais uniquement par simulation numérique ce qui implique que leurs limites reposent désormais plus sur les capacités de calcul que sur leur niveau de radioactivité) en s’intéressant par exemple plus avant aux contraintes qu’imposent les formes de modélisation à la réalité. La conception d’armes nucléaires est devenue une science informatique, rappelle-t-il. Et c’est le cas de nombre de domaines des sciences de l’ingénieur. La réalité est façonnée par la modélisation que nous faisons du monde. D’où la nécessité de s’y intéresser toujours plus avant. De regarder toujours avec acuité l’enchevêtrement toujours plus complexe du numérique au reste du monde et sa matérialisation.

Hubert Guillaud

Cet article a été publié originellement sur InternetActu.net le 5 septembre 2017.

En 2022, Ben Tarnoff fait paraître Internet for the people, the fight for the future, un livre essentiel pour comprendre les conséquences de la privatisation d’internet. Retour de lecture.

Ben Tarnoff est un chercheur et un penseur important des réseaux. Éditeur de l’excellent Logic Mag, il est également l’un des membres de la Collective action in tech, un réseau pour documenter et faire avancer les mobilisations des travailleurs de la tech. 

Il a publié notamment un manifeste, The Making of tech worker movement – dont avait rendu compte Irénée Régnauld dans Mais où va le web ? -, ainsi que Voices from the Valley, un recueil de témoignages des travailleurs de la tech. Critique engagé, ces dernières années, Tarnoff a notamment proposé, dans une remarquable tribune pour Jacobin, d’abolir les outils numériques pour le contrôle social (« Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis »), ou encore, pour The Guardian, de dé-informatiser pour décarboner le monde (en invitant à réfléchir aux activités numériques que nous devrions suspendre, arrêter, supprimer). Il publie ce jour son premier essai, Internet for the people, the fight of your digital future (Verso, 2022, non traduit). 

Internet for the People n’est pas une contre-histoire de l’internet, ni une histoire populaire du réseau (qui donnerait la voix à ceux qui ne font pas l’histoire, comme l’avait fait l’historien Howard Zinn), c’est avant tout l’histoire de notre déprise, de comment nous avons été dépossédé d’internet, et comment nous pourrions peut-être reconquérir le réseau des réseaux. C’est un livre souvent amer, mais assurément politique, qui tente de trouver les voies à des alternatives pour nous extraire de l’industrialisation du net. Sa force, assurément, est de très bien décrire comment l’industrialisation s’est structurée à toutes les couches du réseau. Car si nous avons été dépossédés, c’est bien parce qu’internet a été privatisé par devers nous, si ce n’est contre nous. 

« Les réseaux ont toujours été essentiels à l’expansion capitaliste et à la globalisation. Ils participent à la création des marchés, à l’extraction des ressources, à la division et à la distribution du travail. » Pensez au rôle du télégraphe dans l’expansion coloniale par exemple, comme aux câbles sous-marins qui empruntent les routes maritimes des colons comme des esclaves – tout comme les données et processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises par l’esclavage, comme l’explique l’historienne Caitlin Rosenthal dans son livre Accounting for Slavery : Masters & Management.

« La connectivité n’est jamais neutre. La croissance des réseaux a toujours été guidée par le désir de puissance et de profit. Ils n’ont pas été conduits pour seulement convoyer de l’information, mais comme des mécanismes pour forger des relations de contrôle. » La défiance envers le monde numérique et ses effets n’a cessé de monter ces dernières années, dénonçant la censure, la désinformation, la surveillance, les discriminations comme les inégalités qu’il génère. Nous sommes en train de passer du techlash aux technoluttes, d’une forme d’animosité à l’égard du numérique à des luttes dont l’objet est d’abattre la technologie… c’est-à-dire de dresser le constat qu’internet est brisé et que nous devons le réparer. Pour Tarnoff, la racine du problème est pourtant simple : « l’internet est brisé parce que l’internet est un business ». Même « un internet appartenant à des entreprises plus petites, plus entrepreneuriales, plus régulées, restera un internet qui marche sur le profit », c’est-à-dire « un internet où les gens ne peuvent participer aux décisions qui les affectent ». L’internet pour les gens sans les gens est depuis trop longtemps le mode de fonctionnement de l’industrie du numérique, sans que rien d’autre qu’une contestation encore trop timorée ne vienne le remettre en cause. 

L’internet n’a pas toujours eu la forme qu’on lui connaît, rappelle Tarnoff. Né d’une manière expérimentale dans les années 70, c’est à partir des années 90 que le processus de privatisation s’enclenche. Cette privatisation « n’est pas seulement un transfert de propriété du public au privé, mais un mouvement plus complexe où les entreprises ont programmé le moteur du profit à chaque niveau du réseau », que ce soit au niveau matériel, logiciel, législatif ou entrepreneurial… « Certaines choses sont trop petites pour être observées sans un microscope, d’autres trop grosses pour être observées sans métaphores ». Pour Tarnoff, nous devons regarder l’internet comme un empilement (stack, qui est aussi le titre du livre de Benjamin Bratton qui décompose et cartographie les différents régimes de souveraineté d’internet, qui se superposent et s’imbriquent les uns dans les autres), un agencement de tuyaux et de couches technologiques qui le compose, qui va des câbles sous-marins aux sites et applications d’où nous faisons l’expérience d’internet. Avec le déploiement d’internet, la privatisation est remontée des profondeurs de la pile jusqu’à sa surface. « La motivation au profit n’a pas seulement organisé la plomberie profonde du réseau, mais également chaque aspect de nos vies en ligne ».

En cela, Internet for the people se veut un manifeste, dans le sens où il rend cette histoire de la privatisation manifeste. Ainsi, le techlash ne signifie rien si on ne le relie pas à l’héritage de cette dépossession. Les inégalités d’accès comme la propagande d’extrême droite qui fleurit sur les médias sociaux sont également les conséquences de ces privatisations. « Pour construire un meilleur internet (ou le réparer), nous devons changer la façon dont il est détenu et organisé. Pas par un regard consistant à améliorer les marchés, mais en cherchant à les rendre moins dominants. Non pas pour créer des marchés ou des versions de la privatisation plus compétitifs ou réglementés, mais pour les renverser ». 

« La “déprivatisation” vise à créer un internet où les gens comptent plus que les profits ». Nous devons prendre le contrôle collectif des espaces en ligne, où nos vies prennent désormais place. Pour y parvenir, nous devons développer et encourager de nouveaux modèles de propriété qui favorisent la gouvernance collective et la participation, nous devons créer des structures qui favorisent ce type d’expérimentations. Or, « les contours précis d’un internet démocratique ne peuvent être découverts que par des processus démocratiques, via des gens qui s’assemblent pour construire le monde qu’ils souhaitent ». C’est à en créer les conditions que nous devons œuvrer, conclut Tarnoff dans son introduction. 

Dans la première partie de son livre, Tarnoff s’intéresse d’abord aux tuyaux en nous ramenant aux débuts du réseau. L’internet n’est alors qu’un langage, qu’un ensemble de règles permettant aux ordinateurs de communiquer. À la fin des années 70, il est alors isolé des forces du marché par les autorités qui financent un travail scientifique de long terme. Il implique des centaines d’individus qui collaborent entre eux à bâtir ces méthodes de communication. C’est l’époque d’Arpanet où le réseau bénéficie de l’argent de la Darpa (l’agence de la Défense américaine chargée du développement des nouvelles technologies) et également d’une éthique open source qui va encourager la collaboration et l’expérimentation, tout comme la créativité scientifique. « C’est l’absence de motivation par le profit et la présence d’une gestion publique qui rend l’invention d’internet possible ». 

C’est seulement dans les années 90 que les choses changent. Le gouvernement américain va alors céder les tuyaux à des entreprises, sans rien exiger en retour. Le temps de l’internet des chercheurs est fini. Or, explique Tarnoff, la privatisation n’est pas venue de nulle part, elle a été planifiée. En cause, le succès de l’internet de la recherche. NSFNet, le réseau de la Fondation nationale pour la science qui a succédé à Arpanet en 1985, en excluant les activités commerciales, a fait naître en parallèle les premiers réseaux privés. Avec l’invention du web, qui rend l’internet plus convivial (le premier site web date de 1990, le navigateur Mosaic de 1993), les entreprises parviennent à proposer les premiers accès commerciaux à NSFNet en 1991. En fait, le réseau national des fondations scientifiques n’a pas tant ouvert l’internet à la compétition : il a surtout transféré l’accès à des opérateurs privés, sans leur imposer de conditions et ce, très rapidement. 

En 1995, la privatisation des tuyaux est achevée. Pour tout le monde, à l’époque, c’était la bonne chose à faire, si ce n’est la seule. Il faut dire que les années 90 étaient les années d’un marché libre triomphant. La mainmise sur l’internet n’est finalement qu’une mise en application de ces idées, dans un moment où la contestation n’était pas très vive, notamment parce que les utilisateurs n’étaient encore pas très nombreux pour défendre un autre internet. D’autres solutions auraient pu être possibles, estime Tarnoff. Mais plutôt que de les explorer, nous avons laissé l’industrie dicter unilatéralement ses conditions. Pour elle, la privatisation était la condition à la popularisation d’internet. C’était un faux choix, mais le seul qui nous a été présenté, estime Tarnoff. L’industrie a récupéré une technologie patiemment développée par la recherche publique. La dérégulation des télécoms concomitante n’a fait qu’accélérer les choses. Pour Tarnoff, nous avons raté les alternatives. Les profits les ont en tout cas fermé. Et le «pillage » a continué. L’épine dorsale d’internet est toujours la propriété de quelques entreprises qui pour beaucoup sont alors aussi devenues fournisseurs d’accès. La concentration de pouvoir prévaut à tous les niveaux, à l’image des principales entreprises qui organisent et possèdent l’information qui passent dans les réseaux. Google, Netflix, Facebook, Microsoft, Apple et Amazon comptent pour la moitié du trafic internet. La privatisation nous a promis un meilleur service, un accès plus large, un meilleur internet. Pourtant, le constat est inverse. Les Américains payent un accès internet parmi les plus chers du monde et le moins bon. Quant à ceux qui sont trop pauvres ou trop éloignés du réseau, ils continuent à en être exclus. En 2018, la moitié des Américains n’avaient pas accès à un internet à haut débit. Et cette déconnexion est encore plus forte si en plus d’habiter loin des villes vous avez peu de revenus. Aux États-Unis, l’accès au réseau demeure un luxe. 

Mais l’internet privé n’est pas seulement inéquitable, il est surtout non-démocratique. Les utilisateurs n’ont pas participé et ne participent toujours pas aux choix de déploiements techniques que font les entreprises pour eux, comme nous l’ont montré, très récemment, les faux débats sur la 5G. « Les marchés ne vous donnent pas ce dont vous avez besoin, ils vous donnent ce que vous pouvez vous offrir ». « Le profit reste le principe qui détermine comment la connectivité est distribuée ». 

Pourtant, insiste Tarnoff, des alternatives existent aux monopoles des fournisseurs d’accès. En 1935, à Chattanooga, dans le Tennessee, la ville a décidé d’être propriétaire de son système de distribution d’électricité, l’Electric Power Board. En 2010, elle a lancé une offre d’accès à haut débit, The Gig, qui est la plus rapide et la moins chère des États-Unis, et qui propose un accès même à ceux qui n’en ont pas les moyens. C’est le réseau haut débit municipal le plus célèbre des États-Unis. Ce n’est pas le seul. Quelque 900 coopératives à travers les États-Unis proposent des accès au réseau. Non seulement elles proposent de meilleurs services à petits prix, mais surtout, elles sont participatives, contrôlées par leurs membres qui en sont aussi les utilisateurs. Toutes privilégient le bien social plutôt que le profit. Elles n’ont pas pour but d’enrichir les opérateurs. À Detroit, ville particulièrement pauvre et majoritairement noire, la connexion a longtemps été désastreuse. Depuis 2016, le Detroit Community Technology Project (DCTP) a lancé un réseau sans fil pour bénéficier aux plus démunis. Non seulement la communauté possède l’infrastructure, mais elle participe également à sa maintenance et à son évolution. DCTP investit des habitants en « digital stewards » chargés de maintenir le réseau, d’éduquer à son usage, mais également de favoriser la connectivité des gens entre eux, assumant par là une fonction politique à la manière de Community organizers. 

Pour Tarnoff, brancher plus d’utilisateurs dans un internet privatisé ne propose rien pour changer l’internet, ni pour changer sa propriété, ni son organisation, ni la manière dont on en fait l’expérience. Or, ces expériences de réseaux locaux municipaux défient la fable de la privatisation. Elles nous montrent qu’un autre internet est possible, mais surtout que l’expérience même d’internet n’a pas à être nécessairement privée. La privatisation ne décrit pas seulement un processus économique ou politique, mais également un processus social qui nécessite des consommateurs passifs et isolés les uns des autres. À Detroit comme à Chattanooga, les utilisateurs sont aussi des participants actifs à la croissance, à la maintenance, à la gouvernance de l’infrastructure. Tarnoff rappelle néanmoins que ces réseaux municipaux ont été particulièrement combattus par les industries du numériques et les fournisseurs d’accès. Mais contrairement à ce que nous racontent les grands opérateurs de réseaux, il y a des alternatives. Le problème est qu’elles ne sont pas suffisamment défendues, étendues, approfondies… Pour autant, ces alternatives ne sont pas magiques. « La décentralisation ne signifie pas automatiquement démocratisation : elle peut servir aussi à concentrer le pouvoir plus qu’à le distribuer ». Internet reste un réseau de réseau et les nœuds d’interconnections sont les points difficiles d’une telle topographie. Pour assurer l’interconnexion, il est nécessaire également de « déprivatiser » l’épine dorsale des interconnexions de réseaux, qui devrait être gérée par une agence fédérale ou une fédération de coopératives. Cela peut sembler encore utopique, mais si l’internet n’est déprivatisé qu’à un endroit, cela ne suffira pas, car cela risque de créer des zones isolées, marginales et surtout qui peuvent être facilement renversées – ce qui n’est pas sans rappeler le délitement des initiatives de réseau internet sans fil communautaire, comme Paris sans fil, mangés par la concurrence privée et la commodité de service qu’elle proposent que nous évoquions à la fin de cet article. 

Dans les années 90, quand la privatisation s’est installée, nous avons manqué de propositions, d’un mouvement en défense d’un internet démocratique, estime Tarnoff. Nous aurions pu avoir, « une voie publique sur les autoroutes de l’information ». Cela n’a pas été le cas. 

Désormais, pour déprivatiser les tuyaux (si je ne me trompe pas, Tarnoff n’utilise jamais le terme de nationalisation, un concept peut-être trop loin pour le contexte américain), il faut résoudre plusieurs problèmes. L’argent, toujours. Les cartels du haut débit reçoivent de fortes injections d’argent public notamment pour étendre l’accès, mais sans rien vraiment produire pour y remédier. Nous donnons donc de l’argent à des entreprises qui sont responsables de la crise de la connectivité pour la résoudre ! Pour Tarnoff, nous devrions surtout rediriger les aides publiques vers des réseaux alternatifs, améliorer les standards d’accès, de vitesse, de fiabilité. Nous devrions également nous assurer que les réseaux publics locaux fassent du respect de la vie privée une priorité, comme l’a fait à son époque la poste, en refusant d’ouvrir les courriers ! Mais, si les lois et les régulations sont utiles, « le meilleur moyen de garantir que les institutions publiques servent les gens, est de favoriser la présence de ces gens à l’intérieur de ces institutions ». Nous devons aller vers des structures de gouvernances inclusives et expansives, comme le défendent Andrew Cumbers et Thomas Hanna dans « Constructing the Democratic Public Entreprise »(.pdf) (à prolonger par le rapport Democratic Digital Infrastructure qu’a publié Democracy Collaborative, le laboratoire de recherche et développement sur la démocratisation de l’économie).

Les années 90 sont les années du web. En 1995, l’internet ne ressemble plus tout à fait à un réseau de recherche. Avec 45 millions d’utilisateurs et 23 500 sites web, l’internet commence à se transformer. Chez Microsoft, Bill Gates annonce qu’internet sera leur priorité numéro un. Jeff Bezos lance Amazon. Pierre Omidyar AuctionWeb, qui deviendra eBay. C’est le début des grandes entreprises de l’internet, de celles qui deviendront des « plateformes », un terme qui mystifie plus qu’il n’éclaircit, qui permet de projeter sur la souveraineté qu’elles conquièrent une aura d’ouverture et de neutralité, quand elles ne font qu’ordonner et régir nos espaces digitaux. Si la privatisation d’internet a commencé par les fondements, les tuyaux, au mitan des années 90, cette phase est terminée. « La prochaine étape consistera à maximiser les profits dans les étages supérieurs, dans la couche applicative, là où les utilisateurs utilisent l’internet ». C’est le début de la bulle internet jusqu’à son implosion. 

eBay a survécu au crash des années 2000 parce qu’elle était l’une des rares exceptions aux startups d’alors. eBay avait un business model et est devenu très rapidement profitable. eBay a aussi ouvert un modèle : l’entreprise n’a pas seulement offert un espace à l’activité de ses utilisateurs, son espace a été constitué par eux, en les impliquant dans son développement, selon les principes de ce qu’on appellera ensuite le web 2.0. La valeur technique de l’internet a toujours été ailleurs. Sociale plus que technique, estime Tarnoff (pour ma part, je pense que ce n’est pas si clair, l’industrialisation inédite qui s’est construite avec le numérique, n’est pas uniquement sociale, elle me semble surtout économique et politique). 

En 1971, quand Ray Tomlinson invente le mail, celui-ci devient très rapidement très populaire et représente très vite l’essentiel du trafic du premier réseau. L’e-mail a humanisé le réseau. Les échanges avec les autres sont rapidement devenu l’attraction principale. Avec eBay, Omidyar va réussir à refondre sa communauté en marché. Le succès des plateformes du web 2.0 va consister à «fusionner les relations sociales aux relations de marché », par trois leviers : la position d’intermédiaire (entre acheteurs et vendeurs), la souveraineté (la plateforme façonne les interactions, écrits les règles, fonctionne comme un législateur et un architecte) et bien sûr les effets réseaux (plus les gens utilisent, plus l’espace prend de la valeur). La couche applicative de l’internet va ainsi se transformer en vastes centres commerciaux : des environnements clos, qui vont tirer leurs revenus à la fois de la rente que procurent ces espaces pour ceux qui veulent en bénéficier et de la revente de données le plus souvent sous forme publicitaire (mais pas seulement). La collecte et l’analyse de données vont d’ailleurs très vite devenir la fonction primaire de ces « centres commerciaux en ligne ». « La donnée a propulsé la réorganisation de l’internet », à l’image de Google qui l’a utilisé pour améliorer son moteur, puis pour vendre de la publicité, lui permettant de devenir, dès 2002, profitable. C’est la logique même du Capitalisme de surveillance de Shoshana Zuboff. Une logique qui préexistait aux entreprises de l’internet, comme le raconte le pionnier des études sur la surveillance, Oscar H. Gandy, dans ses études sur les médias de masse, les banques ou les compagnies d’assurances, mais qui va, avec la circulation des données, élargir la surface de sa surveillance. 

Malgré toutes ses faiblesses (vous atteignez surtout les catégories produites par les systèmes que la réalité des gens, c’est-à-dire la manière dont le système caractérise les usagers, même si ces caractères se révèlent souvent faux parce que calculés), la surveillance des utilisateurs pour leur livrer de la publicité ciblée va construire les principaux empires des Gafams que nous connaissons encore aujourd’hui. Si la publicité joue un rôle essentiel dans la privatisation, les  «Empires élastiques » des Gafams, comme les appels Tarnoff, ne vont pas seulement utiliser l’analyse de données pour vendre des biens et de la publicité, ils vont aussi l’utiliser pour créer des places de marché pour les moyens de production, c’est-à-dire produire du logiciel pour l’internet commercial. 

« Quand le capitalisme transforme quelque chose, il tend à ajouter plus de machinerie », rappelle Tarnoff avec les accents de Pièces et Main d’œuvre. Avec les applications, les pages internet sont devenues plus dynamiques et complexes, « conçues pour saisir l’attention des utilisateurs, stimuler leur engagement, liées pour élaborer des systèmes souterrains de collecte et d’analyse des données ». « Les centres commerciaux en ligne sont devenus les lieux d’un calcul intensif. Comme le capitalisme a transformé l’atelier en usine, la transformation capitaliste d’internet a produit ses propres usines », qu’on désigne sous le terme de cloud, pour mieux obscurcir leur caractère profondément industriel. Ces ordinateurs utilisés par d’autres ordinateurs, rappellent l’enjeu des origines du réseau : étendre le calcul et les capacités de calcul. Tarnoff raconte ainsi la naissance, dès 2004, de l’Elastic Compute Cloud (EC2) d’Amazon par Chris Pinkham et Christopher Brown, partis en Afrique du Sud pour rationaliser les entrailles numériques de la machine Amazon qui commençait à souffrir des limites de l’accumulation de ses couches logicielles. EC2 lancé en 2006 (devenu depuis Amazon Web Services, AWS, l’offre d’informatique en nuage), va permettre de vendre des capacités informatiques et d’analyse mesurées et adaptables. Le cloud d’Amazon va permettre d’apporter un ensemble d’outils à l’industrialisation numérique, de pousser plus loin encore la privatisation. Le Big Data puis les avancées de l’apprentissage automatisé (l’intelligence artificielle) dans les années 2010 vont continuer ces accélérations industrielles. La collecte et le traitement des données vont devenir partout un impératif. 

Dans le même temps, les utilisateurs ont conquis un internet devenu mobile. L’ordinateur devenant smartphone n’est plus seulement la machine à tout faire, c’est la machine qui est désormais partout, s’intégrant non seulement en ligne, mais jusqu’à nos espaces physiques, déployant un contrôle logiciel jusque dans nos vies réelles, à l’image d’Uber et de son management algorithmique. L’industrialisation numérique s’est ainsi étendue jusqu’à la coordination des forces de travail, dont la profitabilité a été accrue par la libéralisation du marché du travail. La contractualisation des travailleurs n’a été qu’une brèche supplémentaire dans la gestion algorithmique introduite par le déploiement sans fin de l’industrie numérique, permettant désormais de gérer les tensions sur les marchés du travail, localement comme globalement. La force de travail est elle-même gérée en nuage, à la demande. Nous voilà dans le Human Cloud que décrit Gavin Mueller dans Breaking things at Work ou David Weil dans The Fissured Workplace. 

Les biens réelles abstractions de ces empires élastiques ont enfin été rendues possibles par la financiarisation sans précédent de cette nouvelle industrie. Tout l’enjeu de la privatisation d’internet, à tous les niveaux de la pile, demeure le profit, répète Tarnoff. La financiarisation de l’économie depuis les années 70 a elle aussi profité de cette industrialisation numérique… Reste que la maximisation des profits des empires élastiques semble ne plus suffire. Désormais, les entreprises de la tech sont devenues des véhicules pour la pure spéculation. La tech est l’un des rares centres de profit qui demeure dans des économies largement en berne. La tech est désormais le dernier archipel de super-profit dans un océan de stagnation. Pire, la privatisation jusqu’aux couches les plus hautes d’internet, a programmé la motivation du profit dans tous les recoins du réseau. De Comcast (fournisseur d’accès), à Facebook jusqu’à Uber, l’objectif est resté de faire de l’argent, même si cela se fait de manière très différente, ce qui implique des conséquences sociales très différentes également. Les fournisseurs d’accès vendent des accès à l’internet, au bénéfice des investisseurs et au détriment des infrastructures et de l’égalité d’accès. Dans les centres commerciaux en ligne comme Facebook, on vend la monétisation de l’activité des utilisateurs ainsi que l’appareillage techno-politique qui va avec… Dans Uber ou les plateformes du digital labor, on vend le travail lui-même au moins disant découpé en microtranches et micro-tâches… Mais tous ces éléments n’auraient pas été possibles hors d’internet. C’est la promesse d’innovation technologique qui persuade les autorités de permettre à ces entreprises à déroger aux règles communes, qui persuade les investisseurs qu’ils vont réaliser une martingale mirifique. Mais dans le fond, toutes restent des machines non démocratiques et des machines à produire des inégalités. Toutes redistribuent les risques de la même façon : « ils les poussent vers le bas, vers les plus faibles » (les utilisateurs comme les travailleurs) « et les répandent autour d’eux. Ils tirent les récompenses vers le haut et les concentrent en de moins en moins de mains ». 

Pourtant, rappelle Tarnoff, l’action collective a été le meilleur moyen pour réduire les risques, à l’image des régulations qu’ont obtenues dans le passé les chauffeurs de taxis… jusqu’à ce qu’Uber paupérise tout le monde. L’existence des chauffeurs est devenue plus précaire à mesure que la valorisation de l’entreprise s’est envolée. Le risque à terme est que la machine néolibérale programmée jusqu’au cœur même des systèmes, ubérise tout ce qui reste à ubériser, de l’agriculture à la santé, des services public à l’école jusqu’au développement logiciel lui-même. 

Pourtant, les centres commerciaux en ligne sont très gourmands en travail. Tous ont recours à une vaste force de travail invisible pour développer leurs logiciels, les maintenir, opérer les centres de données, labéliser les données… La sociologue Tressie McMillan Cottom parle d’« inclusion prédatrice » pour qualifier la dynamique de l’économie politique d’internet. C’est une logique, une organisation et une technique qui consiste à inclure les marginalisés selon des logiques extractives. C’est ce que montrait Safiya Umoja Noble dans Algorithms of oppression : les « filles noires » que l’on trouve dans une requête sur Google sont celles des sites pornos, les propositions publicitaires qui vous sont faites ne sont pas les mêmes selon votre niveau de revenu ou votre couleur de peau. Les plus exclus sont inclus, mais à la condition qu’ils absorbent les risques et renoncent aux moindres récompenses. L’oppression et les discriminations des espaces en ligne sont désormais le fait d’une boucle de rétroaction algorithmique qui ressasse nos stéréotypes pour ne plus s’en extraire, enfermant chacun dans les catégories que spécifie la machine. Nous sommes désormais pris dans une intrication, un enchevêtrement d’effets, d’amplification, de polarisation, dont nous ne savons plus comment sortir. 

Les inégalités restent cependant inséparables de la poursuite du profit pour le profit. La tech est devenue l’équivalent de l’industrie du Téflon. Pour l’instant, les critiques sont mises en quarantaine, limitées au monde de la recherche, à quelques activistes, à quelques médias indépendants. Le techlash a bien entrouvert combien la tech n’avait pas beaucoup de morale, ça n’empêche pas les scandales des brèches de données de succéder aux scandales des traitements iniques. Réformer l’internet pour l’instant consiste d’un côté à écrire de nouvelles réglementations pour limiter le pouvoir de ces monopoles. C’est le propos des New Brandeisians (faisant référence à l’avocat américain Louis Brandeis, grand réformateur américain) qui veulent rendre les marchés plus compétitifs en réduisant les monopoles des Gafams. Ces faiseurs de lois ont raison : les centres commerciaux en ligne ne sont pas assez régulés ! Reste qu’ils souhaitent toujours un internet régi par le marché, plus compétitif que concentré. Pourtant, comme le souligne Nick Srnicek, l’auteur de Capitalisme de plateforme, c’est la compétition, plus que la taille, qui nécessite toujours plus de données, de traitements, de profits… 

Pour Tarnoff, il y a une autre stratégie : la déprivatisation. « Que les marchés soient plus régulés ou plus compétitifs ne touchera pas le problème le plus profond qui est le marché lui-même. Les centres commerciaux en ligne sont conçus pour faire du profit et faire du profit est ce qui construit des machines à inégalités ».« L’exploitation des travailleurs à la tâche, le renforcement des oppressions sexistes ou racistes en ligne, l’amplification de la propagande d’extrême-droite… aucun de ces dommages sociaux n’existeraient s’ils n’étaient pas avant tout profitables. » Certes, on peut chercher à atténuer ces effets… Mais le risque est que nous soyons en train de faire comme nous l’avons fait avec l’industrie fossile, où les producteurs de charbon se mettent à la capture du CO2 plutôt que d’arrêter d’en brûler ! Pour Tarnoff, seule la déprivatisation ouvre la porte à un autre internet, tout comme les mouvements abolitionnistes et pour les droits civiques ont changé la donne en adressant finalement le coeur du problème et pas seulement ses effets (comme aujourd’hui, les mouvements pour l’abolition de la police ou de la prison).

Mais cette déprivatisation, pour l’instant, nous ne savons même pas à quoi elle ressemble. Nous commençons à savoir ce qu’il advient après la fermeture des centres commerciaux (les Etats-Unis en ont fermé beaucoup) : ils sont envahis par les oiseaux et les mauvaises herbes ! Sur l’internet, bien souvent, les noms de domaines abandonnés sont valorisés par des usines à spam ! Si nous savons que les réseaux communautaires peuvent supplanter les réseaux privés en bas de couche technologique, nous avons peu d’expérience des alternatives qui peuvent se construire en haut des couches réseaux. 

Nous avons besoin d’expérimenter. L’enjeu, n’est pas de remplacer chaque centre commercial en ligne par son équivalent déprivatisé, comme de remplacer FB ou Twitter par leur clone placé sous contrôle public ou coopératif et attendre des résultats différents. Cela nécessite aussi des architectures différentes. Cela nécessite d’assembler des constellations de stratégies et d’institutions alternatives, comme le dit Angela Davis quand elle s’oppose à la prison et à la police. Pour Tarnoff, nous avons besoin de construire une constellation d’alternatives. Nous devons arrêter de croire que la technologie doit être apportée aux gens, plutôt que quelque chose que nous devons faire ensemble.

Comme le dit Ethan Zuckerman dans sa vibrante défense d’infrastructures publiques numériques, ces alternatives doivent être plurielles dans leurs formes comme dans leurs buts, comme nous avons des salles de sports, des bibliothèques ou des églises pour construire l’espace public dans sa diversité. Nous avons besoin d’une décentralisation, non seulement pour combattre la concentration, mais aussi pour élargir la diversité et plus encore pour rendre possible d’innombrables niveaux de participation et donc d’innombrables degrés de démocratie. Comme Zuckerman ou Michael Kwet qui milite pour un « socialisme numérique »  avant lui, Tarnoff évoque les logiciels libres, open source, les instances distribuées, l’interopérabilité…, comme autant de leviers à cet alternumérisme. Il évoque aussi une programmation publique, un cloud public comme nous avons finalement des médias publics ou des bibliothèques. On pourrait même imaginer, à défaut de construire des capacités souveraines, d’exiger d’Amazon de donner une portion de ses capacités de traitements, à défaut de les nationaliser. Nous avons besoin d’un secteur déprivatisé plus gros, plus fort, plus puissant. 

C’est oublier pourtant que ces idées (nationaliser l’internet ou Google hier, AWS demain…) ont déjà été émises et oubliées. Déconsidérées en tout cas. Tarnoff oublie un peu de se demander pourquoi elles n’ont pas été mises en œuvre, pourquoi elles n’ont pas accroché. Qu’est-ce qui manque au changement pour qu’il ait lieu ?, semble la question rarement posée. Pour ma part, pourtant, il me semble que ce qui a fait la différence entre l’essor phénoménal de l’internet marchand et la marginalité des alternatives, c’est assurément l’argent. Même si on peut se réjouir de la naissance de quelques coopératives, à l’image de Up&Go, CoopCycle ou nombre de plateformes coopératives, les niveaux d’investissements des uns ne sont pas les niveaux d’investissements des autres. Le recul des politiques publiques à investir dans des infrastructures publiques, on le voit, tient bien plus d’une déprise que d’une renaissance. Bien sûr, on peut, avec lui, espérer que les données soient gérées collectivement, par ceux qui les produisent. Qu’elles demeurent au plus près des usagers et de ceux qui les coproduisent avec eux, comme le prônent les principes du féminisme de données et que défendent nombre de collectifs politisés (à l’image d’InterHop), s’opposant à une fluidification des données sans limites où l’ouverture sert bien trop ceux qui ont les moyens d’en tirer parti, et plus encore, profite à ceux qui veulent les exploiter pour y puiser de nouveaux gains d’efficacité dans des systèmes produits pour aller à l’encontre des gens. Pour démocratiser la conception et le développement des technologies, il faut créer des processus participatifs puissants, embarqués et embarquants. « Rien pour nous sans nous », disent les associations de handicapés, reprises par le mouvement du Design Justice.

« Écrire un nouveau logiciel est relativement simple. Créer des alternatives soutenables et capables de passer à l’échelle est bien plus difficile », conclut Tarnoff. L’histoire nous apprend que les Télécoms ont mené d’intenses campagnes pour limiter le pouvoir des réseaux communautaires, comme le pointait à son tour Cory Doctorow, en soulignant que, du recul de la neutralité du net à l’interdiction des réseaux haut débit municipaux aux US (oui, tous les Etats ne les autorisent pas, du fait de l’intense lobbying des fournisseurs d’accès privés !), les oppositions comme les régulateurs trop faibles se font dévorer par les marchés ! Et il y a fort à parier que les grands acteurs de l’internet mènent le même type de campagne à l’encontre de tout ce qui pourra les déstabiliser demain. Mais ne nous y trompons pas, souligne Tarnoff, l’offensive à venir n’est pas technique, elle est politique !

« Pour reconstruire l’internet, nous allons devoir reconstruire tout le reste ». Et de rappeler que les Luddites n’ont pas tant chercher à mener un combat d’arrière garde que d’utiliser leurs valeurs pour construire une modernité différente. Le fait qu’ils n’y soient pas parvenus doit nous inquiéter. La déprivatisation à venir doit être tout aussi inventive que l’a été la privatisation à laquelle nous avons assisté. Nous avons besoin d’un monde où les marchés comptent moins, sont moins présents qu’ils ne sont… Et ils sont certainement encore plus pesants et plus puissants avec le net que sans !

***

Tarnoff nous invite à nous défaire de la privatisation comme d’une solution alors qu’elle tient du principal problème auquel nous sommes confrontés. Derrière toute privatisation, il y a bien une priva(tisa)tion, quelque chose qui nous est enlevé, dont l’accès et l’enjeu nous est soufflé, retranché, dénié. Derrière l’industrialisation numérique, il y a une privatisation massive rappelions-nous il y a peu. Dans le numérique public même, aux mains des cabinets de conseils, l’État est plus minimal que jamais ! Même aux États-Unis, où l’État est encore plus croupion, les grandes agences vendent l’internet public à des services privés qui renforcent l’automatisation des inégalités. 

Malgré la qualité de la synthèse que livre Ben Tarnoff dans son essai, nous semblons au final tourner en rond. Sans investissements massifs et orientés vers le bien public plutôt que le profit, sans projets radicaux et leurs constellations d’alternatives, nous ne construirons ni l’internet de demain, ni un monde, et encore moins un monde capable d’affronter les ravages climatiques et les dissolutions sociales à venir. L’enjeu désormais semble bien plus de parvenir à récupérer les milliards accaparés par quelques-uns qu’autre chose ! Si nous avons certes besoin de constellations d’alternatives, il nous faut aussi saisir que ces constellations d’alternatives en sont rarement, en tout cas, que beaucoup ne sont que des projets politiques libéraux et qu’elles obscurcissent la nécessité d’alternatives qui le soient. Le secteur marchand produit nombre d’alternatives mais qui demeurent pour l’essentiel des formes de marchandisation, sans s’en extraire, à l’image de son instrumentation de la tech for good, qui conduit finalement à paupériser et vider de son sens la solidarité elle-même. Comme il le dit dans une interview pour The Verge, nous avons besoin de politiques et de mobilisations sur les enjeux numériques, pas seulement d’alternatives, au risque qu’elles n’en soient pas vraiment ! La constellation d’alternatives peut vite tourner au techwashing.  

Il manque à l’essai de Ben Tarnoff quelques lignes sur comment réaliser une nécessaire désindustrialisation du numérique (est-elle possible et comment ?), sur la nécessité d’une définanciarisation, d’une démarchandisation, d’une déséconomisation, voire d’un définancement de la tech, et donc pointer la nécessité d’autres modèles, comme l’investissement démocratique qu’explorait récemment Michael McCarthy dans Noema Mag. Et même ce changement d’orientation de nos investissements risque d’être difficile, les moyens d’influence et de lobbying des uns n’étant pas au niveau de ceux des autres, comme s’en désolent les associations de défense des droits américaines. C’est-à-dire, comme nous y invitait dans la conclusion de son dernier livre le sociologue Denis Colombi, Pourquoi sommes-nous capitalistes (malgré nous) ?, à comment rebrancher nos choix d’investissements non pas sur la base des profits financiers qu’ils génèrent, mais sur ce qu’ils produisent pour la collectivité. C’est un sujet que les spécialistes de la tech ne maîtrisent pas, certes. Mais tant qu’on demandera à la tech de produire les meilleurs rendements du marché pour les actionnaires (15% à minima !), elle restera le bras armé du capital. Pour reconstruire l’internet, il faut commencer par reconstruire tout le reste ! 

Hubert Guillaud

A propos du livre de Ben Tarnoff, Internet for the people, the fight for our digital future, Verso, 2022. Cet article est paru originellement en deux partie en juin 2022 sur le site Le vent se lève.

En 2022, David Robinson faisait paraître « Voices in the Code ». Depuis, on ne s’étonnera pas qu’il soit devenu responsable de la sureté des systèmes chez OpenAI. « Voices in the Code » est à la fois une enquête passionnante sur la responsabilité des systèmes et une ode à la participation publique, seule à même d’assurer leur gouvernance. Lecture.

Avec Voices in the Code, David G. Robinson signe un livre important pour nous aider à rendre les systèmes responsables. Robinson est l’un des directeurs de l’Apple University, le centre de formation interne d’Apple. Il a surtout été, en 2011, le cofondateur d’Upturn, une association américaine qui promeut l’équité et la justice dans le design, la gouvernance et l’usage des technologies numériques. Voices in the code est un livre qui se concentre sur la gestion d’une question technique et une seule, en descendant dans ses tréfonds, à la manière d’une monographie : celle de l’évolution de l’algorithme d’attribution des greffons de rein aux Etats-Unis. Et cette histoire est riche d’enseignement pour comprendre comment nous devrions gérer les algorithmes les plus essentiels de nos sociétés. 

De plus en plus de moments décisifs de nos vies sont décidés par des algorithmes : attribution de places dans l’enseignement supérieur, obtention de crédit bancaire, emploi, emprisonnement, accès aux services publics… Derrière les verdicts opaques des systèmes techniques, nous avons tendance à penser que leurs enjeux de conception n’est qu’une question technique. Ce n’est pas le cas. La mathématicienne Cathy O’Neil dans Algorithmes, la bombe à retardement, nous le disait déjà : les algorithmes sont des opinions embarquées dans du code. Et le risque est que confrontés à ces systèmes nous perdions les valeurs et l’idéal de société qui devraient les guider. Ces systèmes qui produisent des choix moraux et politiques sont souvent difficiles à comprendre, peu contrôlés, sujets aux erreurs. “Les choix éthiques et démocratiques pris par ces logiciels sont souvent enterrés sous une montagne de détails techniques qui sont traités eux-mêmes comme s’ils étaient techniques plus qu’éthiques”, explique Robinson. Pourtant, les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. 

Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson. Le problème, c’est que quand les décisions difficiles sont embarquées dans des logiciels, ces décisions sont plus dures à comprendre et plus difficiles à contrôler. Les logiciels agissent depuis des données toujours imparfaites et la compréhension de leurs biais et lacunes n’est pas accessible à tous. La quantification semble souvent neutre et objective, mais c’est surtout un moyen de prendre des décisions “sans avoir l’air de décider”, comme le disait l’historien des sciences Theodore Porter dans son livre, Trust in numbers. Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place. 

Le problème, bien souvent, demeure l’accès aux algorithmes, aux calculs. En 2021, Upturn a publié une étude (.pdf) sur 15 grands employeurs américains pour comprendre les technologies qu’ils utilisaient pour embaucher des candidats, concluant qu’il était impossible de saisir les biais de leurs pratiques depuis l’extérieur. Et c’est encore plus difficile quand les algorithmes ou leurs résultats sont puissamment intriqués entre eux : avoir un mauvais score de crédit a des répercussions bien au-delà d’une demande de crédit (sur ses primes d’assurance ou la possibilité de candidater à certains emplois par exemple…). Nous sommes cernés par des scores complexes, intriqués, qui ne nous sont pas expliqués et qui calculent trop souvent des objets d’une manière trompeuse, selon une prétention à la connaissance mensongère (Robinson parle de “prédictions zombies” qui m’évoquent les “technologies zombies” de José Halloy), peu contrôlés, pas mis à jour… sans qu’on puisse les contester, les rectifier ou même être au courant de leur existence. Robinson donne de nombreux exemples d’algorithmes qui posent problèmes, dans le domaine de la justice, de la santé, de l’aide sociale, de l’affectation dans l’enseignement supérieur… 

“Quand les enjeux sont élevés, nous devrions construire des systèmes qui se trompent rarement et où les erreurs sont faciles à trouver et à corriger”. Ce n’est pas le cas. Trop souvent, les systèmes mettent en œuvre les logiques morales de ceux qui les conçoivent. Trop souvent, on laisse les experts techniques, cette élite du code (qui tient également beaucoup d’une consultocratie, entre Gafams et grands acteurs du conseil) décide d’enjeux moraux et politiques. Nous sommes confrontés à une industrie logicielle qui encode les principes et visions du monde des puissants. Des technologies avec des objectifs, comme disait Kate Crawford. Un numérique industriel profondément orienté à droite, comme je le résume souvent et plus directement. Contrairement à ce qu’on pourrait penser, décider de qui doit prioritairement bénéficier d’un organe tient bien plus d’un choix moral que d’un choix médical, notamment parce que les différences médicales entre les patients qui relèvent d’une même urgence sont faibles. Trop souvent, le choix moral qu’accomplissent les systèmes n’est pas explicite. “Nous devons nous inquiéter de la relation entre le process et le résultat”, explique Robinson. Le problème, c’est que bien souvent la conception met en valeur l’un ou l’autre, prônant la vertu du processus ou la vertu du résultat, quand ils devraient surtout se renforcer l’un l’autre plutôt que de s’opposer. Or, souligne Robinson dans son livre, seule la délibération et la participation partout tendent à mener à de meilleurs résultats, permettent de faire se rejoindre le process et le résultat. 

Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques : 

La participation des parties prenantes repose sur les techniques délibératives très documentées, comme on les trouve développées dans les jury ou les conférences de citoyens : à savoir délivrer une information équilibrée, consciente, substantielle, compréhensible. C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts). Ces comités chargés d’inspecter, de contrôler, d’équilibrer les décisions techniques en faisant entendre d’autres voies dans les décisions sont encore bien trop rares. Une coalition d’organisation de défense des droits civils a proposé ainsi que les algorithmes d’évaluation de risque de récidive utilisés dans les cours de justice américaines mettent en place ce type de structure pour déterminer ce qui devrait être pris en compte et rejeté par ces systèmes, et on pourrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux. Le risque bien sûr – et c’est d’ailleurs la règle plus que l’exception – c’est que ces comités soient trop souvent des coquilles vides, un faux-semblant participatif, rassemblant des gens qu’on n’écoute pas. 

La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’elle ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus larges : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, doivent montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue. 

La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important –  montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition. 

L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.

Ces bonnes pratiques ne se suffisent pas, rappelle Robinson, en évoquant l’exemple d’un outil de prédiction du risque de maltraitance et d’agression d’enfants du comté d’Allegheny en Pennsylvanie sur lequel avait travaillé Virginia Eubanks dans Automating inequality. La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine. Le refus – que défendent nombre d’activistes, comme ceux présents à la conférence sur le refus technique organisée à Berkeley en 2020 ou les associations à l’origine du Feminist Data Manifest-No (voir également “Pour un féminisme des données”) – tient bien souvent, pour certains, du seul levier pour s’opposer à des projets par nature toxiques. Face à des moyens de discussion et d’écoute réduits à néant, l’opposition et le refus deviennent souvent le seul levier pour faire entendre une voix divergente. Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (au Royaume-Uni, aux Pays-Bas, en Autriche, mais également en France – ce qu’il se passe actuellement autour des systèmes mis en place dans les CAF suit les mêmes logiques) sont en ce sens profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (« ce patrimoine de ceux qui n’en ont pas »), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. C’est bien l’inverse pourtant auquel on assiste. La numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement et de la minimisation des droits et empêche les gens d’accéder à leurs droits et aux services. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, tout en diminuant les coûts. Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services qui produisent des gains économiques, de la rentabilité. Et de l’accélérer… quoi qu’il en coûte. 

D’une manière un peu déstabilisante, Robinson ne nous explique pas comment le système d’attribution d’un greffon rénal calcule (c’est tout de même dommage de ne pas s’être essayé à l’exercice… Ainsi par exemple, on finit par comprendre que c’est un système par points qui préside à l’attribution où le but du côté du greffon est d’en avoir le moins possible, quand du côté du greffé, il est d’en avoir le plus possible).  Robinson raconte plutôt la grande histoire de l’évolution de la transplantation rénale et l’évolution des débats éthiques qui l’ont accompagné. Il raconte l’histoire de la discussion d’un système technique avec la société et si cette histoire est exemplaire, ce n’est pas parce que le système d’attribution, l’algorithme d’appariement, serait plus vertueux que d’autres (Robinson termine son analyse en montrant que ce n’est pas le cas), mais parce qu’il démontre que ce qui est vertueux c’est la mise en discussion – ouverte, organisée, inclusive… – continue entre technique et société… Même quand elle se referme (par exemple quand il évoque la question de la prise en compte des problèmes liés à la géographie des dons), d’autres moyens permettent de l’ouvrir (en l’occurrence, le recours aux tribunaux). Ce qu’il montre, c’est que même quand les discussions se referment, les questions de justice et d’équité, d’équilibres des droits, finissent toujours par revenir, comme nous le rappelle Alain Supiot. 

Robinson retrace l’histoire de la transplantation rénale en montrant les conséquences éthiques de l’évolution des connaissances médicales. Si la première tentative de transplantation à eu lieu au début du XXe siècle, longtemps, la question de l’immunologie, c’est-à-dire de l’acceptation d’un organe étranger dans le corps est restée obscure à la science. La première transplantation de rein réussie date de 1954 seulement, et elle était entre deux parfaits jumeaux, qui semblait la seule condition à la réussite de l’opération. A défaut de transplantation, la médecine a progressé sur un autre front, la dialyse, c’est-à-dire le fait de faire filtrer les toxines d’un patient non pas par un rein, mais par une machine, ce qu’on est parvenu à faire pendant la seconde guerre mondiale. En 1960, le docteur Scribner met au point le cathéter qui va permettre de prolonger la durée d’un patient sous dialyse (qui n’était que de quelques semaines), transformant le dysfonctionnement du rein de maladie fatale en maladie chronique et amenant un problème éthique chronique : comment trier les patients, à une époque où les appareils de dialyse sont encore extrêmement rares et coûteux ? Face à l’afflux des demandes, Scribner va avoir l’intuition de mettre en place un système de sélection qui ne soit pas uniquement médical. Pour élire les patients à la dialyse, il met en place un processus de sélection consistant en un avis médical pour déterminer l’éligibilité à la dialyse mais surtout il va mettre en place un comité de profanes chargés de trancher les décisions non-médicales d’attribution (comme de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire). Les membres de ce comité recevront des informations sur le fonctionnement de la dialyse et de la transplantation… mais devront décider des règles non médicales s’appliquant aux patients éligibles à une transplantation ou une dialyse. Très tôt donc, la réponse des limites de l’allocation dans des cas où les ressources sont rares a consisté à faire porter la problématique éthique à  une communauté plus large – et pas seulement aux experts techniques. Lors de ses 13 premiers mois de fonctionnement, le Centre du rein de Seattle du docteur Scribner a dû considérer 30 candidats, 17 ayant été jugé médicalement aptes la dialyse, mais en écartant 7 du traitement. 

D’autres centres de dialyse vont pourtant faire des choix différents : certains vont opter pour une approche, “premier arrivé, premier servi”. Les premiers critères de choix n’étaient pas sans opacités où sans jugements moraux : les patients pauvres, vieux ou appartenant à des minorités ethniques, ceux dont les vies sont plus chaotiques, ont été plus facilement écartés que d’autres. Malgré ses déficiences, ces interrogations ont permis de construire peu à peu la réponse éthique. 

Ce qui va changer dans les années 60, c’est la généralisation de la dialyse (d’abord accessible aux vétérans de l’armée), le développement de la transplantation rénale en ayant recours à des donneurs provenant de la famille proche, puis, en 1972, la décision par le Congrès de rembourser les soins de dialyse. Cette évolution législative doit beaucoup aux témoignages de patients devant les représentants, expliquant la difficulté à accéder à ce type de soins. Le remboursement des soins va permettre d’élargir le public de la dialyse, de créer des centres dédiés et de la rendre moins coûteuse, non seulement pour les patients, mais aussi pour la médecine. Cette prise en charge de la dialyse n’est pas sans incidence d’ailleurs, souligne Robinson, notamment quand les soins liés à une transplantation, couvrant la prise d’immunosuppresseurs, eux, ne courent que sur 3 ans, alors que les soins de dialyse, eux sont pris en charge à vie. Même encore aujourd’hui (et plus encore aux Etats-Unis, ou la prise en charge des soins de santé est difficile), cette logique subsiste et fait que certains patients ne peuvent se permettre de s’extraire de la dialyse au profit d’une transplantation. En moyenne, une dialyse, consiste en 3 traitements par semaine, 4 heures de traitement par session. Coûteuse, elle reste surtout dangereuse, le taux de mortalité des patients sous dialyse est encore important à cette époque. Sans compter que l’augmentation du nombre de patients sous dialyse va avoir un impact sur l’augmentation de la demande de transplantation… 

Dans les années 60, la découverte de médications immunosuppressives va permettre de faire baisser considérablement le rejet des greffons et d’élargir le nombre de greffes : en quelques années, on va passer d’une mortalité post transplantation de 30% à un taux de survie de 80%. 

En 1984, les spécialistes de la greffe de rein, Tom Starzl et Goran Klintmalm reçoivent une demande de greffe de toute urgence pour une petite fille de 4 ans. Ce drame public, très médiatisé, va reposer la question de l’attribution. La loi nationale sur la transplantation d’organe votée en 1984 va organiser l’encadrement de l’attribution et décider de la création d’un système national par ordinateur pour apparier les organes des donneurs aux patients, dont la réalisation est confiée au Réseau d’approvisionnement en organe et de transplantation (OPTN, Organ procurement and transplantation network) et qui doit faire discuter, comme les premiers comités de Scribner, des médecins et le public. A nouveau, deux écoles s’affrontent. Celle qui propose le premier arrivé, premier servi, et une autre qui propose une rationalisation médicale de la priorisation. 

Cette priorisation va longtemps reposer sur l’appariement antigénique… Ce typage des tissus, consiste a prédire biologiquement la meilleure relation entre les données biomédicales d’un donneur et celles d’un receveur. Cette prédiction ne va cesser d’évoluer avec l’avancée des connaissances et l’évolution des standards de soin. Cet appariement permet de médicaliser le choix, mais repose sur la croyance que cet appariement est important pour la plupart des cas. Pour Robinson, nous avons là un expédient moral car les caractéristiques biomédicales ne sont pas toujours un obstacle insurmontable pour la survie des greffons de reins. Le problème, c’est que les antigènes ne sont pas seulement un prédicteur de la compatibilité entre donneur et receveur, ils sont aussi statistiquement corrélés à la race. Les afro-américains ont trois fois plus de risques d’avoir une maladie des reins en stade terminal que les blancs, alors que la majorité des donneurs ressemblent à la population américaine et sont donc blancs. La prise en compte antigénique signifie proportionnellement moins d’appariements pour les noirs. 

Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales. Ce que montre très bien le livre de Robinson, c’est combien les discussions internes comme le débat public ne cessent de se modifier dans le temps, à mesure que la connaissance progresse. 

En 1987, l’UNOS (United network for Organ Sharing) qui opère l’OPTN, décide d’opter pour un algorithme d’allocation déjà utilisé localement à Pittsburgh (là encore, soulignons le, on retrouve une constante dans le déploiement de procédures techniques nationales : celle de s’appuyer sur des innovateurs locaux… Le sociologue Vincent Dubois raconte la même histoire quand il évoque la généralisation du contrôle automatisé à l’égard des bénéficiaires de l’aide sociale dans les CAF). Cet algorithme prend en compte de multiples facteurs : le temps d’attente d’un patient, la comptabilité antigénique et l’urgence médicale… avant d’opter deux ans plus tard pour renforcer dans les critères la question de l’appariement antigénique, alors que de nombreux spécialistes s’y opposent prétextant que la preuve de leur importance n’est pas acquise. La contestation gagne alors du terrain arguant que la question antigénique est insignifiante dans la plupart des cas de transplantation et qu’elle est surtout discriminatoire. En 1991, l’inspecteur général de la Santé américain souligne que les noirs attendent un rein deux à trois fois plus longtemps que les blancs (jusqu’à 18 mois, contre 6 !). Sans compter que ceux en faveur de l’appariement antigénique sont également ceux qui valorisent la distribution géographique, qui elle aussi à un impact discriminatoire.

Mais à nouveau, comme aux premiers temps de la transplantation, pour équilibrer les débats, une infrastructure de gouvernance ouverte et équilibrée s’est installée. Avec l’OPTN d’abord, qui s’est imposé comme une organisation caractérisée par la transparence, la consultation et la décision (par le vote). L’OPTN est le modèle de nombreux comités de parties prenantes qui prennent en compte la représentation des usagers et discutent des changements à apporter à des systèmes via d’innombrables conférences ouvertes au public qui vont se déplacer à travers le pays pour permettre la participation. Les efforts de cette structure ont été soutenus par une autre, qui lui est indépendante : le Scientific Registry of Transplant Recipents (SRTR), dont l’une des fonctions est de produire une compréhension des modèles et des impacts des changements envisagés par l’OPTN. Les visualisations et simulations que va produire le SRTR vont bien souvent jouer un rôle vital dans les débats. Simuler les conséquences d’un changement de modèle d’affectation permet d’en saisir les orientations, permet de comprendre qui va en bénéficier et qui risque d’en pâtir. Outre ces institutions phares, il faut ajouter les autorités de santé, les représentants politiques, la communauté médicale, les associations de patients, les décisions de justice… qui s’imbriquent et s’entremêlent dans une grande discussion médico-politique.  

Durant les années 90, les progrès de l’immunosuppression renforcent la critique des antigènes, les rendant encore moins critiques dans le succès de la transplantation. L’UNOS procéde à plusieurs changements à son système d’affectation pour réduire le rôle des antigènes dans l’attribution des greffons (et atténuer le fossé des discriminations), au profit du temps d’attente. Dans les années 90, la barrière des groupes sanguins est également dépassée. 

En 2003, un processus de discussion pour reconcevoir le système d’attribution des greffons qui semble en bout de course est à nouveau lancé. Pour beaucoup, “l’algorithme d’allocation des reins était devenu un collage de priorités”. A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée. 

Une autre critique au premier système de calcul est son manque d’efficacité. Certains proposent que les reins soient affectés prioritairement afin de maximiser la durée de vie des patients (au détriment des patients en attente les plus âgés). D’autres discussions ont lieu sur les patients sensibles, des patients qui ont développé des antigènes spécifiques qui rendent leur transplantation plus à risque, comme ceux qui ont déjà eu une transplantation, des femmes qui ont eu plusieurs naissances ou des patients qui ont reçu beaucoup de transfusions par exemple. Ce degré de sensibilité est calculé par un score : le CPRA, calculated panel reactive antibody score. L’un des enjeux est de savoir si on doit favoriser un patient qui a déjà reçu une transplantation sur un autre qui n’en a pas encore eu : le fait d’avoir une double chance paraissant à ceux qui n’en ont pas encore eu une, comme une injustice. L’introduction de ce nouveau calcul souligne combien les calculs dépendent d’autres calculs. L’intrication des mesures et la complexité que cela génère n’est pas un phénomène nouveau. 

La grande question qui agite les débats qui vont durer plusieurs années, explique Robinson, consiste à balancer l’utilité (c’est-à-dire le nombre total d’années de vie gagnées) et l’équité (le fait que chacun ait une chance égale). Des médecins proposent d’incorporer au système d’allocation une mesure du bénéfice net (le LYFT : Life years from Transplant), visant à classer les candidats selon le nombre d’années de vie qu’ils devraient gagner s’ils reçoivent une greffe. Cette formule, présentée en 2007, est compliquée : elle prend en compte une douzaine de facteurs (l’âge, l’indice de masse corporelle, le temps passé à vivre avec un problème rénal, la conformité antigénique…). En utilisant les données passées, le STR peut modéliser le temps de survie des patients en liste d’attente, le temps de survie post-transplantation, pour chaque patient et chaque appariement. Les modélisations présentées par le STR montrent que LYFT devrait avoir peu d’effet sur la distribution raciale et sanguine des receveurs, mais qu’il devrait éloigner de la greffe les diabétiques, les candidats sensibles et âgés, au profit des plus jeunes. Le calcul du temps de vie cumulé que le système devrait faire gagner peut paraître impressionnant, mais le recul de la chance pour les seniors est assez mal accueilli par les patients. L’efficacité semble mettre à mal l’équité. Les discussions s’enlisent. Le comité demande au ministère de la santé, si l’usage de l’âge dans les calculs est discriminatoire, sans recevoir de réponse. Une version finale et modifiée de Lyft est proposée à commentaire. Lyft montre une autre limite : les modèles de calculs de longévité sur lesquels il repose ne sont pas très compréhensibles au public. Ce qui permet de comprendre une autre règle des systèmes : quand l’explicabilité n’est pas forte, le système reste considéré comme défaillant. Au final, après plusieurs années de débats, Lyft est abandonné. 

En 2011, une nouvelle proposition de modification est faite qui propose de concilier les deux logiques : d’âge et de bénéfice net. Les greffons sont désormais évalués sur un score de 100, où plus le score est bas, meilleur est le greffon. Les patients, eux, sont affecté par un Post-Transplant Survival score (EPTS), qui comme Lyft tente d’estimer la longévité depuis 4 facteurs seulement : l’âge, le temps passé en dialyse, le diabète et si la personne a déjà reçu une transplantation, mais sans évaluer par exemple si les patients tolèrent la dialyse en cas de non transplantation… Pour concilier les logiques, on propose que 20% des greffons soient proposés prioritairement à ceux qui ont le meilleur score de longévité, le reste continuant à être attribué plus largement par âge (aux candidats qui ont entre 15 ans de plus ou de moins que l’âge du donneur). Là encore, pour faire accepter les modifications, le comité présente des simulations. Plus équilibré, la règle des 20/80 semble plus compréhensible,  Mais là encore, il réduit les chances des patients de plus de 50 ans de 20%, privilégiant à nouveau l’utilité sur l’équité, sans répondre à d’autres problèmes qui semblent bien plus essentiels à nombre de participants, notamment ceux liés aux disparités géographiques. Enfin, la question de l’âge devient problématique : la loi américaine contre la discrimination par l’âge a été votée en 2004, rappelant que personne ne peut être discriminé sur la base de son âge. Ici, se défendent les promoteurs de la réforme, l’âge est utilisé comme un proxy pour calculer la longévité. Mais cela ne suffit pas. Enfin, les patients qui ont 16 ans de plus ou de moins que l’âge du donneur n’ont pas moins de chance de survivre que ceux qui ont 14 ans de différence avec le donneur. Ce critère aussi est problématique (comme bien souvent les effets de seuils des calculs, qui sont souvent strictes, alors qu’ils devraient être souples). 

La surveillance du nouveau système montre d’abord que les receveurs de plus de 65 ans sont défavorisés avant de s’améliorer à nouveau (notamment parce que, entre-temps, la crise des opioïdes et la surmortalité qu’elle a engendré a augmenté le nombre de greffons disponibles). Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent. 

En septembre 2012, une nouvelle proposition est donc faite qui conserve la règle des 20/80, mais surtout qui intègre le calcul à partir du début de l’entrée en dialyse des patients, atténue l’allocation selon le groupe sanguin… autant de mesures qui améliorent l’accès aux minorités. Cette proposition finale est à nouveau discutée entre septembre et décembre 2012, notamment sur le fait qu’elle réduit l’accès aux patients les plus âgés et sur le compartimentage régional qui perdure. En juin 2013, le conseil de l’OPTN approuve cependant cette version et le nouvel algorithme entre en fonction en décembre 2014. Dix ans de discussion pour valider des modifications… Le débat public montre à la fois sa force et ses limites. Sa force parce que nombre d’éléments ont été discutés, recomposés ou écartés. Ses limites du fait du temps passé et que nombre de problèmes n’ont pas été vraiment tranchés. Décider prend du temps. Robinson souligne combien ces évolutions, du fait des débats, sont lentes. Il a fallu 10 ans de débats pour que l’évolution de l’algorithme d’attribution soit actée. Le débat entre utilité et équité n’a pu se résoudre qu’en proposant un mixte entre les deux approches, avec la règle du 20/80, tant ils restent irréconciliables. Mais si le processus a été long, le consensus obtenu semble plus solide. 

Le temps d’acheminement d’un greffon à un donneur a longtemps été une donnée essentielle de la greffe, tout comme la distance d’un malade à une unité de dialyse, ce qui explique, que dès le début de la greffe et de la dialyse, le critère géographique ait été essentiel. 

L’allocation de greffon est donc circonscrite à des zonages arbitraires : 58 zones, chacune pilotées par un organisme de contrôle des allocations, découpent le territoire américain. Le système montre pourtant vite ses limites, notamment parce qu’il génère de fortes discriminations à l’accès, notamment là où la population est la plus nombreuse et la demande de greffe plus forte. Les patients de New York ou Chicago attendent des années, par rapport à ceux de Floride. Plusieurs fois, il va être demandé d’y mettre fin (hormis quand le transport d’organes menace leur intégrité). Pourtant, les zones géographiques vont s’éterniser. Il faut attendre 2017 pour que l’UNOS s’attaque à la question en proposant un Score d’accès à la transplantation (ATS, Access to Transplant Score) pour mesurer l’équité de l’accès à la transplantation. L’outil démontre ce que tout le monde dénonçait depuis longtemps :  la géographie est un facteur plus déterminant que l’âge, le groupe sanguin, le genre, la race ou les facteurs sociaux : selon la zone dont dépend le receveur (parmi les 58), un même candidat pourra attendre jusqu’à 22 fois plus longtemps qu’un autre ! Cette question va évoluer très rapidement parce que la même année, l’avocat d’une patiente qui a besoin d’une greffe attaque en justice pour en obtenir une depuis une zone où il y en a de disponibles. Fin 2017, l’UNOS met fin au zonage pour le remplacer par une distance concentrique par rapport à l’hôpital du donneur, qui attribue plus ou moins de points au receveur selon sa proximité. Le plus étonnant ici, c’est qu’un critère primordial d’inégalité ait mis tant d’années à être démonté. 

Les scientifiques des données de l’UNOS (qui ont mis en place l’ATS) travaillent désormais à améliorer le calcul de score des patients. Chaque patient se voit attribuer un score, dont la précision va jusqu’à 16 chiffres après la virgule (et le système peut encore aller plus loin pour départager deux candidats). Mais se pose la question du compromis entre la précision et la transparence. Plus il y a un chiffre précis et moins il est compréhensible pour les gens. Mais surtout, pointe Robinson, la précision ne reflète pas vraiment une différence médicale entre les patients. “Le calcul produit une fausse précision”. Ajouter de la précision ne signifie pas qu’un candidat a vraiment un meilleur résultat attendu qu’un autre s’il est transplanté. La précision du calcul ne fait que fournir un prétexte technique pour attribuer l’organe à un candidat plutôt qu’à un autre, une raison qui semble extérieurement neutre, alors que la précision du nombre ne reflète pas une différence clinique décisive. Pour Robinson, ces calculs, poussés à leur extrême, fonctionnent comme la question antigénique passée : ils visent à couvrir d’une neutralité médicale l’appariement. En fait, quand des candidats sont cliniquement équivalents, rien ne les départage vraiment. La précision du scoring est bien souvent une illusion. Créer une fausse précision vise surtout à masquer que ce choix pourrait être aussi juste s’il était aléatoire. Robinson souhaite voir dans cette question qu’adressent les data scientist de l’UNOS, le retour de l’interrogation sempiternelle de ne pas transformer une question technique en une question morale. Il paraîtra à d’autres assez étonnant qu’on continue à utiliser la précision et la neutralité des chiffres pour faire croire à leur objectivité. Pourtant, c’est là une pratique extrêmement répandue. On calcule des différences entre les gens via une précision qui n’a rien de médicale, puisqu’au final, elle peut considérer par exemple, que le fait d’habiter à 500 mètres d’un hôpital fait la différence avec une personne qui habite à 600 mètres. En fait, l’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. C’est trop souvent l’écueil moral des traitements de masse qui justifient le recours aux algorithmes. Mais le calcul ne le résout pas. Il ne fait que masquer sous le chiffre des distinctions problématiques (et c’est un problème que l’on retrouve aujourd’hui dans nombre de systèmes de scoring, à l’image de Parcoursup). Le calcul d’attribution de greffes de rein n’est pas encore exemplaire. 

Dans sa conclusion, Robinson tente de remettre cette histoire en perspective. Trop souvent, depuis Upturn, Robinson a vu des systèmes conçus sans grande attention, sans grands soins envers les personnes qu’ils calculaient. Trop de systèmes sont pauvrement conçus. “Nous pouvons faire mieux.” 

Dans la question de l’attribution de greffes, la participation, la transparence, la prévision et l’audit ont tous joué un rôle. Les gens ont élevé leurs voix et ont été entendus. Pourquoi n’en est-il pas de même avec les autres algorithmes à fort enjeu ? Robinson répond rapidement en estimant que la question de la transplantation est unique notamment parce qu’elle est une ressource non marchande. Je ne partage pas cet avis. Si le système est l’un des rares îlots de confiance, son livre nous montre que celle-ci n’est jamais acquise, qu’elle est bien construite, âprement disputée… Cette histoire néanmoins souligne combien nous avons besoin d’une confiance élevée dans un système. “La confiance est difficile à acquérir, facile à perdre et pourtant très utile.” L’exemple de la transplantation nous montre que dans les cas de rationnement la participation du public est un levier primordial pour assurer l’équité et la justice. Il montre enfin que les stratégies de gouvernance peuvent être construites et solides pour autant qu’elles soient ouvertes, transparentes et gérées en entendant tout le monde. 

Certes, construire un algorithme d’une manière collaborative et discutée prend du temps. Les progrès sont lents et incrémentaux. Les questions et arbitrages s’y renouvellent sans cesse, à mesure que le fonctionnement progresse et montre ses lacunes. Mais les systèmes sociotechniques, qui impliquent donc la technique et le social, doivent composer avec ces deux aspects. La progression lente mais nette de l’équité raciale dans l’algorithme d’affectation des reins, montre que les défis d’équité que posent les systèmes peuvent être relevés. Reste que bien des points demeurent exclus de ce sur quoi l’algorithme concentre le regard, à l’image de la question des remboursements de soins, limités à 3 ans pour la prise en charge des médicaments immunosuppresseurs des transplantés alors qu’ils sont perpétuels pour les dialysés. Cet enjeu pointe qu’il y a encore des progrès à faire sur certains aspects du système qui dépassent le cadre de la conception de l’algorithme lui-même. Les questions éthiques et morales évoluent sans cesse. Sur la transplantation, la prochaine concernera certainement la perspective de pouvoir avoir recours à des reins de cochons pour la transplantation. Les xénogreffes devraient être prêtes pour les essais médicaux très prochainement, et risquent de bouleverser l’attribution. 

Robinson évoque les algorithmes de sélection des écoles de la ville de New York, où chaque école peut établir ses propres critères de sélection (un peu comme Parcoursup). Depuis peu, ces critères sont publics, ce qui permet un meilleur contrôle. Mais derrière des critères individuels, les questions de discrimination sociale demeurent majeures. Plusieurs collectifs critiques voudraient promouvoir un système où les écoles ne choisissent pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais un système où chaque école doit accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs ne soient pas concentrés dans les meilleures écoles, mais plus distribués entre chaque école. C’est le propos que porte par exemple le collectif Teens Take Change. De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? Déplacer la question permet de déplacer la réponse. En fait, explique très clairement Robinson, les orientations des développements techniques ont fondamentalement des présupposés idéologiques. Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé). Les algorithmes qui rationnent le logement d’urgence, comme l’évoquait Eubanks dans son livre, visent d’abord à organiser la pénurie, et finalement permettent de mieux écarter le problème principal, celui de créer plus de logements sociaux. Au contraire même, en proposant un outil d’administration de la pénurie, bien souvent, celle-ci peut finalement être encore plus optimisée, c’est-à-dire plus rabotée encore. Les systèmes permettent de créer des “fictions confortables” : la science et le calcul tentent de neutraliser et dépolitiser des tensions sociales en nous faisant croire que ces systèmes seraient plus juste que le hasard, quand une “loterie aléatoire refléterait bien mieux la structure éthique de la situation”. 

La force de la participation n’est pas seulement dans l’apport d’une diversité, d’une pluralité de regards sur un problème commun. La participation modifie les regards de tous les participants et permet de créer des convergences, des compromis qui modulent les systèmes, qui modifient leur idéologie. Au contact d’autres points de vues, dans une ambiance de construction d’un consensus, les gens changent d’avis et modèrent leurs positions, souligne très pertinemment Robinson. Certes, la participation est un dispositif complexe, long, lent, coûteux. Mais ses apports sont transformateurs, car la délibération commune et partagée est la seule à même à pouvoir intégrer de la justice et de l’équité au cœur même des systèmes, à permettre de composer un monde commun. “Une compréhension partagée bénéficie d’une infrastructure partagée”. Pour produire une gouvernance partagée, il faut à la fois partager la compréhension que l’on a d’un système et donc partager l’infrastructure de celui-ci. Les jurés sont briefés sur les enjeux dont ils doivent débattre. Les participants d’un budget citoyens également. La participation nécessite la transparence, pas seulement des données et des modalités de traitement, mais aussi des contextes qui les façonnent. Cela signifie qu’il est toujours nécessaire de déployer une infrastructure pour soutenir le débat : quand elle est absente, la conversation inclusive et informée tend à ne pas être possible. Dans le cas de la transplantation, on l’a vu, les ressources sont innombrables. Les organismes pour les produire également – et leur indépendance est essentielle. Les visualisations, les simulations se sont souvent révélées essentielles, tout autant que les témoignages et leur pluralité. Pour Robinson, cette implication des publics, cette infrastructure pour créer une compréhension partagée, ces gouvernances ouvertes sont encore bien trop rares au-delà du domaine de la santé… alors que cela devrait être le cas dans la plupart des systèmes à haut enjeu. “La compréhension partagée bénéficie d’une infrastructure partagée, c’est-à-dire d’investissements qui vont au-delà de l’effort qu’implique la construction d’un algorithme en soi.”  Certes, concède-t-il, la participation est très coûteuse. Pour Robinson : “Nous ne pouvons pas délibérer aussi lourdement sur tout”. Bien sûr, mais il y a bien trop d’endroits où nous ne délibérons pas. Faire se rejoindre l’utilité et l’équité prend du temps, mais elles ne sont irréconciliables que là où aucune discussion ne s’engage. En fait, contrairement à Robinson, je pense que nous ne pouvons pas vivre dans des systèmes où la justice n’est pas présente ou le déséquilibre entre les forces en présence est trop fort. Les systèmes injustes et oppressifs n’ont qu’un temps. L’auto-gouvernement et la démocratie ont toujours pris du temps, mais ils demeurent les moins pires des systèmes. L’efficacité seule ne fera jamais société. Cette logistique de la participation est certainement le coût qui devrait balancer les formidables économies que génère la dématérialisation. Mais surtout, convient Robinson, la participation est certainement le meilleur levier que nous avons pour modifier les attitudes et les comportements. Plusieurs études ont montré que ces exercices de discussions permettent finalement d’entendre des voies différentes et permettent aux participants de corriger leurs idées préconçues. La participation est empathique. 

Enfin, Robinson invite à nous défier de la quantification, qu’il qualifie “d’anesthésiant moral“.  “Les algorithmes dirigent notre attention morale”, explique-t-il. Le philosophe Michael Sacasas parle, lui, de machines qui permettent “l’évasion de la responsabilité”. Quand on regarde le monde comme un marché, un score “semble toujours dépassionné, impartial et objectif”, disaient Marion Fourcade et Kieran Healy. Pourtant, la quantification n’est pas objective, parce qu’elle a des conséquences normatives et surtout que le chiffre nous rend indifférent à la souffrance comme à la justice (c’est ce que disait très bien le chercheur italien Stefano Diana, qui parlait de psychopathologisation par le nombre). C’est également ce que disaient les juristes Guido Calabresi et Philip Bobbitt dans leur livre, Tragic Choices (1978) : “En faisant en sorte que les résultats semblent nécessaires, inévitables, plutôt que discrétionnaires, l’algorithme tente de convertir ce qui est tragiquement choisi en ce qui n’est qu’un malheur fatal. Mais généralement, ce n’est qu’un subterfuge, car, bien que la rareté soit un fait, une décision particulière… (par exemple, celle de savoir qui recevra un organe dont on a besoin de toute urgence) est rarement nécessaire au sens strict du terme.” C’est tout le problème du scoring jusqu’à 16 décimales, qui ne distingue plus de différences médicales entre des patients, mais les discrétise pour les discrétiser. La fausse rationalité du calcul, permet “d’esquiver la réalité que de tels choix, sont, à un certain niveau, arbitraires”. Ces subterfuges par le calcul se retrouvent partout. Poussé à son extrême, le score produit des différences inexistantes. Pour Robinson, “nous apprenons à expliquer ces choix impossibles dans des termes quantitatifs neutres, plutôt que de nous confronter à leur arbitraire”. Pour ma part, je pense que nous n’apprenons pas. Nous mentons. Nous faisons passer la rationalité pour ce qu’elle n’est pas. Nous faisons entrer des critères arbitraires et injustes dans le calcul pour le produire. Quand rien ne distingue deux patients pour leur attribuer un greffon, on va finir par prendre un critère ridicule pour les distinguer, plutôt que de reconnaître que nous devrions avoir recours à l’aléatoire quand trop de dossiers sont similaires. Et c’est bien le problème que souligne Robinson à la fin de son inspection du système de calcul de l’attribution de greffe de rein : la plupart des patients sont tellement similaires entre eux que le problème est bien plus relatif à la pénurie qu’autre chose. Le problème est de faire penser que les critères pour les distinguer entre eux sont encore médicaux, logiques, rationnels. 

Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter. 

Ce que nous dit le livre de Robinson, c’est combien la question de l’équité reste primordiale. Et qu’améliorer un système prend du temps. La justice n’est pas innée, elle se construit lentement, patiemment. Trop lentement bien souvent.  Mais le seul outil dont nous disposons pour améliorer la justice, c’est bien le débat, la contradiction et la discussion. Malgré sa complexité et sa lenteur, la question du débat public sur les systèmes est essentielle. Elle ne peut ni ne doit être un débat d’experts entre eux. Plusieurs fois, dans ces débats, Robinson montre l’importance des patients. C’est leurs interventions lors des séances publiques qui modifient les termes du débat. Construire des systèmes robustes, responsables, nécessite l’implication de tous. Mais ce qui est sûr c’est qu’on ne construit aucun système responsable quand il n’écoute pas les voix de ceux pris dans ces filets. Nous devons exiger des comités de parti de prenantes partout où les systèmes ont un impact fort sur les gens. Nous devons nous assurer d’améliorations incrémentales, non pas imposées par le politique, mais bien discutées entre égaux, dans des comités où les experts ont autant la voix que les calculés. Aujourd’hui, c’est ce qui manque dans la plupart des systèmes. Y faire entrer les voix des gens. C’est la principale condition pour faire mieux, comme nous y invite David Robinson. 

Hubert Guillaud

A propos du livre de David G. Robinson, Voices in the code, a story about people, their values, and the algorithm they made, Russell Sage Foundation, 2022, 212 pages. Cet article a été publié originellement sur le blog de Hubert Guillaud, le 24 novembre 2022.

Alors que l’IA colonise tous les champs de recherche, « la crise de reproductibilité dans la science basée sur l’apprentissage automatique n’en est qu’à ses débuts », alertent les chercheurs Arvind Narayanan et Sayash Kapoor dans Nature. « Les outils de l’apprentissage automatique facilitent la construction de modèles, mais ne facilitent pas nécessairement l’extraction de connaissances sur le monde, et pourraient même la rendre plus difficile. Par conséquent, nous courons le risque de produire davantage, tout en comprenant moins », expliquent les deux chercheurs, qui rappellent que ce qui est bénéfique à l’ingénierie ne l’est pas forcément pour la science.

La neurologue irlandaise, Suzanne O’Sullivan, qui vient de publier The Age of Diagnosis: Sickness, Health and Why Medicine Has Gone Too Far (Penguin Random House, 2025) estime que nous sommes entrés dans l’ère du diagnostique, c’est-à-dire que l’essor technologique nous permet désormais d’améliorer les diagnostics. Mais, tempère-t-elle, cet essor « ne semble pas s’être accompagné d’une amélioration de notre santé ». Si nous détectons et traitons davantage de cancers à des stades plus précoces, ce qui sauve la vie de certaines personnes, en revanche, d’autres reçoivent des traitements inutiles, et il se pourrait que la proportion des personnes surtraitées soit plus forte que la réduction de la mortalité. En fait, des études à grande échelle montrent que l’amélioration du dépistage ne conduit pas à une amélioration des taux de survie, rappelle le Times. Pour la spécialiste qui dénonce cette dérive diagnostique, « nous sommes victimes d’une médecine excessive ». Pour elle, l’augmentation des diagnostiques de neurodivergence notamment (Troubles de l’activité et autisme) a surtout tendance à pathologiser inutilement certaines personnes. Nous ne devenons pas forcément plus malades, nous attribuons davantage à la maladie, regrette-t-elle. « Les explications médicales sont devenues un pansement ».

Le diagnostic apporte des réponses tant aux patients qu’aux médecins, mais ne soigne pas toujours. Diagnostiquer des patients alors qu’il n’existe pas de traitements efficaces peut aggraver leurs symptômes, explique-t-elle dans une interview à Wired. Entre 1998 et 2018, les diagnostics d’autisme ont augmenté de 787 % rien qu’au Royaume-Uni ; le taux de surdiagnostic de la maladie de Lyme est estimé à 85 %, y compris dans les pays où il est impossible de contracter la maladie. Le diagnostic de l’autisme est passé d’une personne sur 2 500 à un enfant sur 36 au Royaume-Uni et un sur 20 en Irlande du Nord. Nous sommes passés d’un sous-diagnostic à un sur-diagnostic, estime O’Sullivan. Or, ce sur-diagnostic n’améliore pas la santé des patients. « L’échec de cette approche est dû au fait que, lorsqu’on arrive aux stades les plus légers des troubles du comportement ou de l’apprentissage, il faut trouver un équilibre entre les avantages du diagnostic et l’aide disponible, et les inconvénients du diagnostic, qui consistent à annoncer à l’enfant qu’il a un cerveau anormal. Quel est l’impact sur la confiance en soi de l’enfant ? Comment est-ce stigmatisé ? Comment cela influence-t-il la construction de son identité ? Nous avons pensé qu’il serait utile de le dire aux enfants, mais les statistiques et les résultats suggèrent que ce n’est pas le cas. » De même, nous sur-diagnostiquons désormais différents types de cancer, tant et si bien que de plus en plus de personnes reçoivent des traitements alors qu’elles n’en ont pas besoin. Le problème c’est que nous devons veiller à ce que le surdiagnostic reste à un niveau bas. Nous multiplions les tests plutôt que de perfectionner ceux que nous avons.

Ce n’est pas tant qu’il ne faut pas dépister, estime la neurologue, mais que les décisions doivent être prises parfois plus lentement qu’elles ne sont. Pour The Guardian, le surdiagnostic nous fait croire que notre société va mal ou que la vie moderne nous rend malade (ce qui n’est pas nécessairement faux). La réalité est que nos outils de diagnostics sont devenus plus précis, mais les variations de santé physique et mentale sont inutilement médicalisées et pathologisées. Pour le dire autrement, nous n’avons pas beaucoup de méthodes pour limiter les faux positifs en médecine, comme ailleurs.

Pour rendre hommage à la sociologue Dominique Pasquier, qui vient de nous quitter, nous avons voulu republier l’interview qu’elle nous accordait en 2018 pour InternetActu.net, à l’occasion de la parution de son livre, L’internet des familles modestes. Histoire de nous souvenir de son ton, de sa voix, de son approche. Merci Dominique.

Il semble toujours difficile de saisir une enquête sociologique, car, comme toute bonne enquête sociologique, celles-ci sont surtout qualitatives et se fondent sur des témoignages peu nombreux et variés… dont il semble difficile de dégager des lignes directrices. C’est pourtant ce que réussit à faire la sociologue Dominique Pasquier dans son livre, L’internet des familles modestes en s’intéressant aux transformations des univers populaires par le prisme des usages et des pratiques d’internet.

Alors qu’il n’y a pas si longtemps, la fracture numérique semblait ne pouvoir se résorber, les usagers les plus modestes semblent finalement avoir adopté les outils numériques très rapidement, à l’image de l’introduction de la photographie au début du XXe siècle dans les sociétés rurales traditionnelles qu’évoquait Pierre Bourdieu dans Un art moyen. L’internet des classes dominantes et urbaines a colonisé la société, rapporte Dominique Pasquier dans son étude où elle s’est intéressée aux employées (majoritairement des femmes) travaillant principalement dans le secteur des services à la personne et vivant dans des zones rurales. En matière de temps, d’utilisation des services en lignes, les usages d’internet des plus modestes ont rejoint les taux d’usages des classes supérieures. Reste à savoir si les usages sont les mêmes du haut au bas de l’échelle sociale. Interview.

Existe-t-il un usage populaire d’internet ? Quelles sont les caractéristiques d’un internet des familles modestes ?

Dominique Pasquier : Il n’a pas de caractéristique particulière. C’est un usage comme les autres en fait, avec quelques poches de spécificités, et c’est finalement ce qui est le plus surprenant. Parmi ces spécificités – qu’il faudrait valider en enquêtant plus avant sur des familles plus pourvues en revenus et en capital culturel -, il y a le refus d’utiliser le mail ou l’obligation de transparence des pratiques entre les membres de la famille, mais qui existent peut-être sous une forme ou une autre dans d’autres milieux sociaux. Le plus étonnant finalement, c’est de constater que pour des gens qui se sont équipés sur le tard, combien ces usages sont devenus aisés et rituels. Je m’attendais à trouver plus de difficultés, plus d’angoisses… Mais cela n’a pas été le cas. Les familles modestes se sont emparées d’internet à toute vitesse. Ils font certes des usages plutôt utilitaristes de ces outils polymorphes. Ils ont peu de pratiques créatives. Participent peu. Mais n’en ont pas particulièrement besoin. L’outil s’est glissé dans leurs pratiques quotidiennes, d’une manière très pragmatique. Les gens ont de bonnes raisons de faire ce qu’ils font de la manière dont ils le font.

Les témoignages que vous rapportez montrent une grande hétérogénéité d’usage. Mais ce qui marque, c’est de voir que pour ces publics, internet semble avant tout un outil d’accomplissement personnel, une seconde école. Il les aide à mieux se repérer dans l’information, à être plus ouverts, à élargir leur champ de compétences…

Dominique Pasquier : Oui, internet est une seconde école. Et ce constat n’est pas sans vertus pour des populations qui bien souvent ne sont pas allées à l’école ou qui n’ont pas le bac. Internet leur propose des manières d’apprendre qui leur correspondent mieux, sans hiérarchie ni sanction. On pourrait croire par exemple qu’en matière d’information ils ne recherchent pas des choses importantes, mais si. Ils cherchent à comprendre les termes qu’emploient le professeur de leurs enfants ou le médecin qu’ils consultent. Quelque chose s’est ouvert. L’enjeu n’est pas pour eux de devenir experts à la place des experts, mais de parvenir à mieux argumenter ou à poser des questions. D’être mieux armés. Le travail de la sociologue Annette Lareau qui a observé des réunions parents professeurs et des consultations médicales dans les milieux populaires, montrait que les parents des milieux populaires se trouvaient dans une position de déférence, imposée par l’interaction elle-même. Ils n’osent pas dire qu’ils ne comprennent pas. Or, cette déférence subie implique nombre de malentendus sur les diagnostics scolaires ou médicaux. Les gens que j’ai rencontrés se servent tout le temps de ces outils pour trouver le sens des mots ou pour apprendre. Les aides-soignantes travaillent souvent dans des structures très pesantes. Mais quand elles vont sur des sites de professionnels de la santé, elles s’aperçoivent qu’il y a des échanges horizontaux et hiérarchiques possibles. Internet permet d’ouvrir le bec – même si cela ne veut pas dire que ces aides-soignantes ouvrent le bec en ligne facilement pour autant.

… plus ouverts, mais pas totalement. Internet n’est pas l’espace des idées nouvelles…

Dominique Pasquier : Si internet permet de s’informer et de se former (via les tutoriels, très consommés pour progresser notamment dans ses passions), le public de mon enquête ne s’intéresse pas du tout à l’actualité. Il ne consulte pas la presse nationale. L’actualité demeure celle que propose la presse locale et la télévision. Ce manque d’ouverture est certainement lié aux territoires d’enquêtes. Pour les ruraux, l’information nationale ou internationale semble très loin. Dans ce domaine, la possibilité qu’ouvre l’internet n’est pas saisie. La consommation télévisuelle reste très forte. L’ouverture passe par la télévision, c’est de là qu’arrive la nouveauté, via la télé-réalité, les émissions de décoration et de cuisine. La « moyennisation » des styles de vie est concrète : elle se voit dans les maisons. La télévision a diffusé un dépouillement du décor mobilier par exemple comme on le voit dans les émissions de décoration. Dans ses enquêtes sur le monde ouvrier des années 80, le sociologue Olivier Schwartz montrait que les familles de mineurs qui réussissaient achetaient des salles à manger en bois. Elles ont disparu !

L’internet n’est pas sans difficulté pourtant pour les plus modestes. Vous évoquez notamment la difficulté à utiliser certaines ressources dans le cadre professionnel ou dans la relation administrative. Quelles sont ces difficultés et pourquoi persistent-elles selon vous ?

Dominique Pasquier : Dans leurs services en ligne, les administrations de la République sont lamentables. On ne met pas assez d’argent dans l’ergonomie, dans les tests usagers… pour des gens dont les budgets se jouent à 100 euros près et où le moindre remboursement qui ne vient pas est un drame. La dématérialisation de l’administration est inhumaine et brutale. Les familles modestes utilisent peu le mail. Leurs adresses servent principalement aux achats et aux relations avec les administrations. Mais les courriers de l’administration se perdent dans le spam qu’ils reçoivent des sites d’achat. Pour eux, le mail est un instrument de torture et ce d’autant plus qu’il est l’outil de l’injonction administrative. Les gens ont l’impression d’être maltraités par les administrations, à l’image de cet homme que j’ai rencontré, noyé dans ses démêlés avec Pôle emploi, en difficulté dans toutes ses démarches.

Les usagers ne sont pas contre la dématérialisation pourtant. Le public que j’ai rencontré utilise quotidiennement les applications bancaires par exemple, matins et soirs. Ils n’ont pas de mal à gérer leurs factures en ligne. Mais les relations avec les institutions sociales, en ligne, sont particulièrement difficiles.

Peut-être est-ce aussi lié à l’usage spécifique du mail qu’on rencontre dans ces familles. Vous soulignez, qu’une des rares spécificités de l’internet des familles modestes, c’est que l’usage du mail n’est pas tant individuel que familial…

Dominique Pasquier : Oui. Pour les familles modestes, le mail n’est pas un outil de conversation agréable. Il est asynchrone et écrit. Envoyer et attendre une réponse ne correspond pas aux valeurs du face à face dans l’échange, qui reste très fort dans les milieux populaires. Il demeure de l’ordre du courrier, ce qui en fait un dispositif formellement distant.

Les familles disposent bien souvent d’une seule adresse mail partagée. C’est un moyen de tenir un principe de transparence familial… (et de surveillance : une femme ne peut pas recevoir de courrier personnel). Ce principe de transparence se retrouve également dans les comptes Facebook, dans les SMS,… La famille intervient sur les comptes de ses membres, on regarde les téléphones mobiles des uns et des autres. On surveille ce qu’il se dit. Les familles modestes ne voient pas de raison à avoir des outils individuels. Sur Facebook, l’ouverture de comptes par les enfants est conditionnée au fait que les parents soient amis avec eux. Bien souvent, ces pratiques donnent une illusion de maîtrise aux parents, qui ne voient pas ce qui échappe à leur vigilance. Ils observent les murs des enfants et les commentaires, mais ne voient pas les échanges en messagerie instantanée incessants.

L’autre grande différence sociale que vous pointez c’est la participation : l’usage des plus modestes n’est pas très contributif. Pourquoi ?

Dominique Pasquier : Effectivement, l’internet n’est jamais vu comme un moyen de contribution. J’ai demandé ainsi à une femme qui souhaitait se remarier et qui me confiait avoir beaucoup consulté de forums pour se décider à franchir le pas de la famille recomposée… si elle posait des questions sur ces forums. Elle m’a clairement répondu non, comme si c’était impensable. Ce qui l’intéressait c’était la réponse aux questions qu’elle aurait pu poser. Mais la difficulté demeure d’oser, et ce même pour intervenir sur un simple forum, entouré de femmes dans la même situation qu’elle, qui se confient sur des choses intimes… On ne saute pas le pas. Une autre qui réalisait des tricots en puisant des idées sur des blogs contributifs n’y montrait pas non plus ses créations… Il y a une grande pudeur à poser des questions, « à ramener sa fraise »…

Sur l’internet des familles modestes, il y a une grande distance avec la création. Ce qui circule sur Facebook, c’est essentiellement des citations morales, des images, des dessins… des « panneaux » qui proviennent d’ailleurs. L’enjeu n’est pas tant de discuter du contenu de ces messages que de demander à ses amis s’ils sont d’accord avec le fait que ce qui est mis en ligne me reflète moi ! Le but est plus une recherche de consensus. On s’empare de ces messages pour dire qu’on s’y reconnaît et on demande aux autres s’ils nous y reconnaissent. Ces partages se font avec des gens qu’on connaît. On ne cherche pas à étendre sa sociabilité.

À Brest, Bénédicte Havard Duclos qui a travaillé sur des assistantes maternelles, plus diplômées que les populations sur lesquelles j’ai travaillé, à montré qu’elles avaient un peu plus d’ouverture dans leurs échanges en ligne : elles osaient échanger avec des gens qu’elles ne connaissaient pas. Les gens que j’ai vus ne sortent pas de leur monde, sauf en ce qui concerne les connaissances, mais pas en matière de culture ni de sociabilité. Ils utilisent internet pour apprendre des choses qu’ils ne connaissent pas ou perfectionner des pratiques, comme le tricot, la cuisine, le jardinage… Mais ce n’est pas une ouverture sur des nouveaux goûts culturels. Il n’y en a pas du tout dans mon public. Les liens partagés servent aussi beaucoup à rappeler le passé, à le célébrer ensemble une nostalgie. Leur fonction consiste plus à évoquer une culture commune et à renforcer le consensus qu’à une ouverture culturelle. Mais ces résultats auraient certainement été très différents si j’avais regardé les pratiques de leurs enfants.

Y’a-t-il un temps internet chez les plus modestes ou une connexion continue comme pour les catégories professionnelles supérieures ? La frontière entre le monde professionnel et le monde privé est-elle moins étanche chez les plus modestes qu’ailleurs ?

Dominique Pasquier : Il y a une différence entre ces milieux et ceux des cadres et des professions intermédiaires. Ici, quand on arrête de travailler, on arrête de travailler. S’il y a une forte perméabilité du personnel au professionnel, la frontière est complètement hermétique dans l’autre sens : les collègues n’ont pas le numéro de portable ! Beaucoup des femmes que j’ai rencontrées ont des conjoints artisans qui eux n’arrêtent jamais de travailler… mais le plus souvent, les milieux ouvriers ou d’employés subalternes, la frontière entre les deux mondes est forte.

Un long chapitre de votre livre s’intéresse à l’achat en ligne qui semble être devenu une pratique forte et complètement intégrée des milieux modestes. Qu’est-ce qu’a changé cet accès à la consommation ?

Dominique Pasquier : On pense souvent qu’internet permet d’acheter ce qu’on ne trouve pas localement. Pour les plus modestes, la motivation n’est pas du tout celle-ci. Internet sert à acheter moins cher. Et ces femmes y passent du temps. Reste qu’elles se sentent coupables vis-à-vis du petit commerce local, car ce sont des gens qu’elles connaissent. Pour nombre d’achats, elles transigent donc.

Le Bon Coin et les plateformes d’achats entre particuliers sont considérées, elles, comme vertueuses. Ça rapporte un peu d’argent. Ça rend service. On a l’impression que ces échanges sont moraux. « Sur le Bon Coin, chacun garde sa fierté ». Y vendre ou y acheter des produits, même très peu chers – et beaucoup des produits qu’on y échange le sont pour quelques euros -, c’est un moyen de conserver sa fierté, d’affirmer qu’on n’est pas des assistés. Il faut entendre l’omniprésence de la peur du déclassement dans ces populations, limites financièrement. Recourir à l’aide social et faire des démarches, c’est compliqué. Dans cette frange de la population, on déteste tout autant ceux qui sont socialement au-dessus qu’au-dessous. On y entend un discours d’extrême droite qui peut-être manié par des gens qui n’y sont pas acquis, mais qui est caractérisé par la peur de basculer vers les assistés. Comme le disait Olivier Schwartz, il n’y a pas qu’eux contre nous, que le peuple face aux élites, il y a ceux du haut, ceux du bas et les fragiles.

Vous notez dans votre livre que les familles modestes ont un rapport très distant avec l’information (notamment nationale), mais pas avec les causes. « Ceux qui parlent frontalement de politique le font de façon sporadique ». La politique n’est présente que sous une forme polémique, très liée à la crise du marché du travail. Pourquoi ?

Dominique Pasquier : Ce public ne s’informe pas. Beaucoup de rumeurs circulent et s’engouffrent sur des peurs. Les dépenses somptuaires ne les étonnent pas. Les rumeurs sur les fraudeurs et paresseux non plus. J’ai enquêté dans une région où l’immigration est peu présente, mais où le fantasme de l’immigré assisté est omniprésent. La hantise sociale est forte et est à relier à la crise du marché du travail, qui fait que ces familles semblent toujours sur le point de basculer dans la précarité. Ces femmes qui travaillent dans l’aide à domicile connaissent les difficultés du marché du travail : elles ont plein de petits patrons, des horaires à trous, des trajets difficiles et leurs situations sont précaires et instables… Reste que dans ces milieux issus des milieux ouvriers, les valeurs du travail, de l’entrepreneuriat privé et de la réussite restent fortes.

D’une manière assez surprenante, vous consacrez tout un chapitre à la question des relations hommes/femmes. Internet renforce-t-il la séparation des sphères domestiques masculines et féminines ? Comment en questionne-t-il ou en redistribue-t-il les frontières normatives ?

Dominique Pasquier : Effectivement. Nombre de comptes Facebook exaltent l’amour conjugal et la famille. Ce n’est bien sûr pas le cas des hommes célibataires que j’ai rencontrés, dans les comptes desquels dominent des blagues sur les femmes. Chez celles-ci, par contre, on trouve beaucoup de partage d’images et de maximes sur l’absence de partage des tâches domestiques. Chez ces femmes, l’idée qu’on se réalise en tenant son intérieur propre et son linge repassé ne fonctionne plus. L’épanouissement domestique ne fait plus rêver. Cela n’empêche pas que ces femmes continuent à tout faire et que leurs intérieurs soient nickels et parfaitement rangés. Elles aspirent à ce que ce ne soit plus une image valorisante, mais en vrai, la répartition des tâches traditionnelles demeure.

On entend en tout cas une revendication, une contestation de la division très asymétrique du travail domestique. Pourtant, pour ces aides-soignantes qui pratiquent les horaires décalés, bien souvent, les maris doivent faire le dîner pour les enfants. En tout cas, il n’y a plus ce qu’observait Olivier Schwartz, à savoir que les femmes trouvaient leur épanouissement dans la tenue du foyer. Il faut dire que contrairement aux enquêtes qu’il a réalisées dans les familles de mineurs, ces femmes travaillent. C’est sans doute la transformation du marché du travail qui fait bouger les lignes à la maison.

Pour autant, ce n’est pas la guerre non plus. On trouve plus d’endroits où on échange des maximes célébrant le couple que le contraire. C’est moins vrai pour les hommes célibataires. Dans les milieux populaires, les hommes sans qualification (comme les femmes trop qualifiées) ont du mal à entrer en couples. D’où l’expression d’un vif ressentiment.

À la lecture de votre livre, on a l’impression que la fracture numérique a été résorbée. Et on peinerait même à trouver des traces d’une fracture sociale d’usages ?

Dominique Pasquier : Oui. On trouve encore quelques personnes en difficultés, notamment les seniors, mais le plus frappant est de constater qu’internet est entré dans la vie de tous les jours, même chez les familles modestes.

La régulation parentale y est par exemple aussi présente qu’ailleurs. Mais dans les familles plus diplômées, on ne trouve pas la croyance que, parce qu’on sait se servir d’internet, on réussira dans la vie. Il y a ici, une illusion de modernité. Dans les milieux plus cultivés, on retrouve les mêmes difficultés à surveiller les pratiques des enfants et à réguler leurs pratiques, mais les parents offrent la complémentarité de l’écrit traditionnel valorisé à l’école. Ici, les mères croient bien faire en encourageant les pratiques numériques, pensant que cela sera un déclencheur de réussite. Mais c’est assez faux. Malgré la transparence qu’elles imposent, les familles modestes ne savent pas ce que font leurs enfants. En fait, il faut reconnaître que c’est plus difficile pour les parents qu’avant. Alors que la télé réunissait les familles, internet menace les dimensions collectives familiales, par ses pratiques addictives (comme le jeu vidéo) et parce que les pratiques des plus jeunes sont impossibles à réguler. Il transforme et menace profondément les familles. Mon discours à l’air très négatif, je le reconnais. Pour les plus jeunes, internet offre de fortes possibilités de divertissement. Mais comme il n’y a pas de limites et qu’on ne peut pas en mettre, tout repose sur la manière dont les enfants gèrent les sollicitations. Mes travaux sur la culture lycéenne, soulignaient déjà les limites de la transmission horizontale entre jeunes. Les mères, qui se sont mises au jeu et qui ont compris qu’elles étaient accros à leur tour, ont une meilleure compréhension de ce qu’il se passe quand on ne peut pas s’arrêter. Les disputes sur le temps d’écran sont moins présentes. Reste qu’une grande partie de la vie des enfants échappe au périmètre familial et c’est difficile à vivre pour les parents. Ils ont l’impression parfois de contrôler ce que font leurs enfants en ligne, mais ils se trompent.

Propos recueillis par Hubert Guillaud.

Cette interview a été originellement publiée sur InternetActu.net, le 21 septembre 2018.

Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action. 

En 2020 déjà, la grande association européenne de défense des droits numériques, Algorithm Watch, expliquait dans un rapport que ces systèmes se généralisaient dans la plus grande opacité. Alors que le calcul est partout, l’association soulignait que si ces déploiements pouvaient être utiles, très peu de cas montraient de « manière convaincante un impact positif ». La plupart des systèmes de décision automatisés mettent les gens en danger plus qu’ils ne les protègent, disait déjà l’association.

Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.

Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.

Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher. 

A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder. 

S’il est difficile de faire un constat global sur les défaillances spécifiques de tous les systèmes automatisés, qu’ils s’appliquent à la santé, l’éducation, le social ou l’économie, on peut néanmoins noter 3 problèmes récurrents. 

Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. Dans les systèmes bancaires par exemple, comme l’a montré une belle enquête de l’AFP et d’Algorithm Watch, certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.

Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.

Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit. 

Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. Alors que, si ces erreurs ne sont pas un problème pour les structures qui les produisent, elles le sont pour les individus qui voient leurs comptes clôturés, sans raison et avec peu de possibilités de recours. Il est nécessaire pourtant que les taux de risques détectés restent proportionnels aux taux effectifs de condamnation, afin que les niveaux de réduction des risques ne soient pas portés par les individus.

Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…

Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. D’où l’importance de mettre en place un ratio d’impact sur les différents groupes démographiques et des taux de faux positifs pour limiter leur explosion. La justesse des calculs doit être améliorée.

Pour cela, il est nécessaire de mieux contrôler le taux de détection des outils et de trouver les modalités pour que ces taux ne soient pas disproportionnés. Sans cela, on le comprend, la maltraitance institutionnelle que dénonce ATD Quart Monde est en roue libre dans les systèmes, quels qu’ils soient.

Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.

A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. Dans la plateforme dématérialisée pour les demandes de titres de séjour dont le Défenseur des droits pointait les lacunes dans un récent rapport, les usagers ne peuvent pas signaler un changement de lieu de résidence quand une demande est en cours.

Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. Outre les explications lacunaires des services, les possibilités de recours sont réduites quand elles devraient être augmentées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir. 

Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. Ces difficultés nécessitent de mieux faire valoir les droits d’opposition des calculés. La prise en compte d’innombrables données pour produire des calculs toujours plus granulaires, pour atténuer les risques, produit surtout des faux positifs et une complexité de plus en plus problématique pour les usagers. 

Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. 

Renforcer le contrôle des systèmes, notamment mesurer leur ratio d’impact et les taux de faux positifs. Améliorer les droits de recours des usagers, notamment quand ces systèmes les ciblent et les désignent. Et surtout, améliorer la participation des publics aux calculs, comme nous y invitent le récent rapport du Défenseur des droits sur la dématérialisation et les algorithmes publics. 

A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées.

On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. 

Hubert Guillaud

Cet édito a été publié originellement sous forme de tribune pour le Club de Mediapart, le 4 avril 2025 à l’occasion de la publication du livre, Les algorithmes contre la société aux éditions La Fabrique.

« Le potentiel révolutionnaire de l’IA est d’aider les experts à appliquer leur expertise plus efficacement et plus rapidement. Mais pour que cela fonctionne, il faut des experts. Or, l’apprentissage est un processus de développement humain désordonné et non linéaire, qui résiste à l’efficacité. L’IA ne peut donc pas le remplacer », explique la sociologue Tressie McMillan Cottom dans une tribune au New York Times. « L’IA recherche des travailleurs qui prennent des décisions fondées sur leur expertise, sans institution qui crée et certifie cette expertise. Elle propose une expertise sans experts ». Pas sûr donc que cela fonctionne.

Mais, si ce fantasme – qui a traversé toutes les technologies éducatives depuis longtemps – fascine, c’est parce qu’il promet de contrôler l’apprentissage sans en payer le coût. Plus que de réduire les tâches fastidieuses, l’IA justifie les réductions d’effectifs « en demandant à ceux qui restent de faire plus avec moins ». La meilleure efficacité de l’IA, c’est de démoraliser les travailleurs, conclut la sociologue.

Les acteurs de l’IA générative intègrent de plus en plus les plateformes de contenus, à l’image de xAI de Musk qui vient de racheter X/Twitter, rappelle Ameneh Dehshiri pour Tech Policy Press. « Les entreprises technologiques ne se contentent plus de construire des modèles, elles acquièrent les infrastructures et les écosystèmes qui les alimentent ». Nous sommes désormais confrontés à des écosystèmes de plus en plus intégrés et concentrés…