Médias
 GÉNÉRALISTES
Basta ·  Blast ·  Capital ·  France 24 ·  FTVI ·  L'Humanité ·  La Croix ·  LCP ·  Le Monde ·  La Tribune·  Le Figaro ·  The Conversation  ·  Mediapart ·  L'Autre Quotidien ·  Le Media
 MÉDIAS D'OPINION
AOC ·  Acta ·  Acrimed ·  L'Autre France-Presse ·  Issues ·  Les Jours ·  Le Monde Moderne ·  Médias Libres  · QG ·  Rapports de force ·  Reflets ·  Rézo ·  StreetPress ·  LVSL
 OBSERVATOIRES 
Conspis ·  Inégalités ·  Information ·  Internet ·  Médias ·  Multinationales ·  Culture ·  Présidentielle 2022 ·  Routes de la Soie ·  Fact-checking AFP
+
InternetActu.net

15.04.2021 à 09:00

Atlas of AI : déconstruire les dénis de l’IA

Hubert Guillaud
Kate Crawford (@katecrawford) fait partie des chercheurs dont nous suivons avec passion les travaux depuis longtemps – voir notamment, « L’IA est une nouvelle ingénierie du pouvoir ». Forcément, l’annonce de la parution de son premier livre (après une bibliographie de recherche très fournie) ne pouvait qu’attirer notre attention. Cet Atlas de (...)
Temps de lecture ≥ à 20 mn 14730 mots

Couverture du livre Atlas of AIKate Crawford (@katecrawford) fait partie des chercheurs dont nous suivons avec passion les travaux depuis longtemps – voir notamment, « L’IA est une nouvelle ingénierie du pouvoir ». Forcément, l’annonce de la parution de son premier livre (après une bibliographie de recherche très fournie) ne pouvait qu’attirer notre attention. Cet Atlas de l’IAAtlas of AI : Power, Politics, and the Planetary Costs of Artificial Intelligence (Yale University Press, 2021, non traduit) -, cette cartographie du changement de paradigme qu’induit l’IA, offre une synthèse très claire et particulièrement critique de cette industrie dont le coût ne cesse de s’étendre sur le monde. Un voyage particulièrement sombre et pessimiste qui dénonce la nature assurément extractiviste de l’IA.

L’IA n’est ni intelligente, ni artificielle… ni une simple technologie : elle est un objectif !

Le livre de Kate Crawford cherche à détruire deux mythes. Le premier est de croire que des systèmes non humains sont analogues à des esprits humains. Il consiste à croire qu’« avec suffisamment d’entraînement ou de ressources, des intelligences plus ou moins proches de celles des hommes peuvent être créées à partir de zéro, sans se confronter à la façon fondamentale dont les humains sont incarnés, reliés et définis par des écologies qui les dépassent ». Le second est de croire que l’intelligence est indépendante de tout, notamment du social, du culturel, de l’histoire et des forces politiques, quand l’intelligence a toujours été convoquée dans l’histoire pour justifier des relations de domination, de l’esclavage à l’eugénisme.

Pour Crawford, l’IA n’est ni intelligente ni artificielle. Elle n’est qu’une industrie du calcul intensive et extractive qui sert les intérêts dominants. Une technologie de pouvoir qui « à la fois reflète et produit les relations sociales et la compréhension du monde ». L’IA n’a rien de neutre : elle est fondamentalement politique. Pour la comprendre, nous devons toujours demander qu’est-ce qui est optimisé, au bénéfice de qui et sous la décision de qui… L’enjeu de cet Atlas, explique-t-elle, vise à offrir au lecteur la possibilité de relire le monde, de comprendre les empires où se déploient les nouvelles dominations numériques. Il vise à cartographier les États et les entreprises qui façonnent et dominent cette industrie, leur nature extractive, ses impacts partout désastreux, que ce soit sur la planète comme sur les formes de travail qui la font fonctionner.

Le livre de Crawford se présente comme un voyage – sans cartes et sans graphiques – dans les différents paysages du calcul pour comprendre la manière dont ils sont interreliés. « Les modèles permettant de comprendre et de tenir les systèmes responsables ont longtemps reposé sur des idéaux de transparence… Le fait de pouvoir voir un système est parfois assimilé au fait de pouvoir savoir comment il fonctionne et comment le gouverner. Mais cette tendance a de sérieuses limites. Dans le cas de l’IA, il n’y a pas de boîte noire unique à ouvrir, pas de secret à révéler, mais une multitude de systèmes de pouvoir entrelacés. La transparence totale est donc un objectif impossible à atteindre. Nous parviendrons à mieux comprendre le rôle de l’IA dans le monde en nous intéressant à ses architectures matérielles, à ses environnements contextuels et aux politiques qui la façonnent, et en retraçant la manière dont ils sont reliés ». Un Atlas sert à comprendre, rappelle la chercheuse. En cartographiant la logique coloniale de l’IA, l’enjeu est d’aider à la défaire. L’IA est une industrie profondément extractive construite depuis « les logiques du capital, du maintien de l’ordre et de la militarisation » et cette combinaison « accentue les asymétries de pouvoir existantes ». Pour Crawford, l’IA est « à la fois une idée, une infrastructure, une industrie, une forme d’exercice du pouvoir et une façon de voir » (pour ne pas dire une idéologie)… Elle est aussi une manifestation très organisée du capital renforcée par de vastes systèmes d’extraction et de logistique, avec des chaînes d’approvisionnement qui couvrent la planète entière. Elle n’est pas une simple technologie. Elle est un objectif. Elle est un conteneur qui transforme la connaissance, la communication et le pouvoir à un niveau épistémologique et qui a des conséquences directes sur la justice, le social, l’organisation, l’expression politique, la culture, l’identité… L’industrie de l’IA est dominée par une poignée d’entreprises dont les outils et méthodes influencent toutes les institutions existantes, créant une intensification et une accélération du technopouvoir.

L’IA : une machine extractiviste totale et insoutenable

Couverture du livre de Benjamin BrattonDans son livre, Le Stack (UGA, 2019), Benjamin Bratton (@bratton) prenait le contre-pied d’un internet qui aurait rendu le monde plat, pour en redessiner « l’empilement » justement, pour comprendre l’imbrication et la verticalité des rapports de domination, les régimes de souveraineté qui se superposent les uns les autres. Crawford elle aussi décortique les différentes couches, strates, épaisseurs qui composent l’environnement de l’IA. Comme elle l’avait fait en décortiquant l’Amazon Écho pour produire une cartographie « anatomique » de l’assistant vocal d’Amazon, elle décompose les différentes couches extractives pour mieux nous aider à comprendre ce que l’IA mine.

Anatomie de l'IA, ce qu'Amazon Echo exploite

La première strate, c’est bien sûr la terre, les ressources minières et fossiles dont la technologie a tant besoin. L’histoire du progrès technologique a toujours négligé la dévastation environnementale qu’elle laisse dans son sillage, comme une « amnésie stratégique », et ce d’autant que les dégâts n’ont cessé d’être repoussés toujours plus loin des utilisateurs. Les mines n’ont cessé de s’éloigner des lieux qu’elles enrichissaient. Pourtant, ces sites laissés à leurs désolations après avoir été pillés, sont bien des « paysages du calcul », à l’image de la mine de Lithium à ciel ouvert de Silver Peak dans le Nevada dont l’exploitation sert à construire les batteries des célèbres Tesla. Le Lithium est l’une des nombreuses ressources naturelles que nos technologies vampirisent. Comme le disait le théoricien des médias Jussi Parikka (@juspar) dans sa Géologie des médias (Minnesota press, 2015, non traduit), les médias sont surtout des extensions matérielles des ressources terrestres, plus que les extensions de nos sens, comme le croyait McLuhan. La technologie est d’abord un processus géologique. « Tout objet qui compose le réseau étendu d’un système d’IA, des réseaux de routeurs aux batteries en passant par les centres de données, est construit depuis des matériaux qui nécessitent des milliards d’années pour se former au coeur de la terre ». Nous extrayons des entrailles de la Terre des matières qui ont mis des milliards d’années à se former pour produire des objets comme nos smartphones qui ont une durée de vie moyenne de 4,7 ans ! L’industrie de la techno est profondément inscrite dans des pratiques extractives insoutenables.

L'exploitation du Lithium à Silver Peak dans le Nevada

L’extractivisme technologique produit partout des conflits et des violences, locales comme géopolitiques. Malgré les efforts des principaux acteurs des technologies pour mieux documenter leurs chaînes d’approvisionnement – et notamment pour s’assurer que leurs composants soient « sans conflits » -, l’origine des matériaux reste marquée d’amnésie, comme l’expliquait Miriam Posner. La question des ressources qui alimente la chaîne technologique reste marquée par l’opacité, c’est-à-dire par l’enjeu de dissimuler les coûts réels de l’extractivisme. Pour Crawford, l’IA n’est qu’une vague technologique supplémentaire qui va continuer à intensifier l’extraction industrielle et l’exploitation des ressources environnementales nées avec la révolution industrielle. L’informatique algorithmique, développée pour adresser les défis sociaux et environnementaux, est surtout utilisée pour intensifier l’extraction et l’exploitation sociales et environnementales !

Couverture du livre Prehistory of the CloudL’informatique avancée reste rarement observée sous l’angle des ressources, de l’empreinte carbone ou de la pollution. Les serveurs sont invisibilisés dans des « nuages » (cloud) évanescents. L’industrie ne cesse de promouvoir ses initiatives éco-responsables comme elle ne cesse de nous faire penser que l’IA résoudra tous nos problèmes. La réalité est inverse. Comme le souligne Tung-Hui Hu dans A Prehistory of the Cloud (MIT Press, 2015, non traduit), l’informatique en nuage déplace hors de la vue les dommages qu’elle fabrique intensément. L’empreinte carbone de l’IT a dépassé celle de l’industrie de l’aviation et celle du deep learning, encore peu étudiée, ne s’annonce pas meilleure. Mais surtout, malgré toutes les tentatives pour l’évaluer, le niveau de consommation d’énergie du secteur demeure surtout secret, caché, opaque. Quant à la neutralité carbone affichée des grands du secteur, elle ressemble surtout à l’achat d’indulgences pour enfouir leur culpabilité environnementale. L’IA n’est qu’une mégamachine de plus, comme la conceptualisait Lewis Mumford en parlant du projet Manhattan : une vaste infrastructure industrielle particulièrement opaque avec ses chaînes logistiques et ses innombrables travailleurs humains qui s’étirent sur le monde.

Cet extractivisme s’étend au-delà des ressources naturelles : l’exploitation produite par le pipeline industriel de l’IA s’étend jusque sur les gens, notamment les travailleurs qui la font fonctionner, mais également les travailleurs qui en sont le produit : à l’image des employés des entrepôts d’Amazon, qui alimentent la « matrice », tout en étant surveillés en permanence par des algorithmes. Chez le second employeur privé américain, le contrôle du temps est omniprésent et les corps des employés sont soumis aux cadences de la logique informatique, à l’automatisation et à la surveillance permanente. Les systèmes entrelacent le travail, le capital et le temps et transforment l’expérience du travail en une expérience de robotisation. « Depuis les linéaires des usines mécanisées, un modèle émerge qui donne une valeur accrue à la conformité, à la standardisation et à l’interopérabilité – des produits, des process comme des êtres humains » Les lignes d’assemblages automatisés des usines Ford d’antan ont colonisé bien au-delà de l’industrie, à l’image des restaurants ou des commerces et leurs logiciels de planification des horaires. Elles s’apprêtent à envahir le monde des employés en col blanc. Désormais, tout travail doit être interprétable ou compréhensible aux machines. Dans la collaboration entre l’homme et l’IA qui s’annonce, la collaboration n’est pas équitablement négociée.

L’empiètement grandissant de l’IA dans les espaces de travail n’annonce rien d’autre que l’extension d’un taylorisme infernal, alerte Kate Crawford. L’intégration du corps des travailleurs aux machines permet surtout de les transformer, les gérer et les contrôler comme n’importe quelle ressource. La stricte disciplinarisation du temps et la synchronisation toujours plus forte ont été la condition de l’industrialisation, comme le soulignait l’historien britannique E. P. Thompson. Elle continue. Crawford rappelle d’ailleurs, très justement, que le panoptique carcéral du philosophe britannique Jeremy Bentham s’est surtout inspiré des usines imaginées par son frère, l’ingénieur Samuel Bentham, pour surveiller les paysans mis au travail dans les ateliers du prince Potemkine en Russie. Le panoptique est avant tout un mécanisme de travail. Les pratiques d’observation et de contrôle des lieux de travail se sont considérablement accrus avec le capitalisme naissant, à l’image des plantations coloniales qui instaurent le contremaître, celui qui a « le droit de regarder« , comme l’expliquait le spécialiste en études postcoloniales Nicholas Mirzoeff (@nickmirzoeff). Désormais, ce sont les machines qui assurent la surveillance continue.

Kate Crawford le rappelle très justement : « les formes d’exploitation du travail sont présentes à tous les stades du pipeline de l’IA », des mines de ressources naturelles à la production logicielle jusqu’à la distribution des micro tâches aux travailleurs du clic où la collecte de la moindre de nos contributions… Ce « travail fantôme » (qu’évoquaient Mary Gray et Siddharth Suri dans leur livre), cette « automatisation alimentée par l’humain » de Lilly Irani (@gleemie), ce lumpenprolétariat numérique des nettoyeurs du web qu’évoquait Sarah Roberts (@ubiquity75) dans Derrière les écrans (La découverte, 2020), cette « fausstomation », cette automatisation trompeuse qui consiste à confier le travail à quelqu’un d’autre dans une spirale de précarisation sans fin que dénonçait l’essayiste et réalisatrice Astra Taylor (@astradisastra). Les systèmes d’IA ne savent pas fonctionner sans être alimentés par les humains, mais surtout sans les exploiter. Trop souvent, dans le monde de l’IA, on demande aux travailleurs de se faire passer pour une IA, à l’image de x.ai, qui clamait qu’un système savait organiser automatiquement des réunions, alors qu’une armée de petites mains s’en chargeait. « Falsifier l’IA est un travail épuisant ». Ailleurs, comme aux caisses des supermarchés, le travail des employés a été remplacé par celui des consommateurs… Pourtant, cela n’empêche pas les entreprises de l’IA de continuer à tenter de convaincre le public comme les investisseurs que les machines intelligentes font le boulot ! Les vrais coûts de l’IA sont « constamment minimisés et dissimulés ». La déqualification se porte bien ! Cette fauxtomation relocalise et disperse le travail dans le temps et l’espace, augmente la déconnexion entre le travail, sa valeur et son sens, et produit un travail de plus en plus interchangeable, où l’humain n’est qu’une ressource indifférenciée de plus. Le mythe d’une IA abordable et efficace dépend surtout des strates d’exploitation que l’automatisation met en place, y compris l’extraction massive d’une main-d’œuvre non ou peu rémunérée, utilisée pour affiner les systèmes des entreprises les plus riches de la planète. Du dur travail physique des mineurs, au travail répétitif des lignes d’assemblage, en passant par celui des programmeurs externalisés des cognitive sweatshops, au travail distribué des tâcherons de l’IA… L’IA n’est rien d’autre qu’une chaîne d’approvisionnement de l’exploitation.

Cet extractivisme du travail est inscrit depuis l’origine de l’IA. Charles Babbage lui même, l’inventeur de l’idée de la machine à calculer a intensément écrit sur la nature du travail et notamment sur sa logistique, rappelle Crawford. Pour lui, l’usine est une machine rationnelle dont la seule faiblesse est la force de travail humaine. Déjà, l’automatisation était pensée pour contenir les défaillances humaines et maximiser le retour financier, tout comme l’IA aujourd’hui alimente une vision productiviste qui priorise l’efficacité, la réduction des coûts et les profits. L’efficacité met l’accent sur la standardisation, la simplification, la rapidité plutôt que sur la diversité, la complexité ou l’interdépendance, comme l’explique Astra Taylor dans son livre, People Platform (MacMillan, 2015, non traduit). Face à ces formes d’exploitation, souligne Crawford, la régulation se fait souvent à la marge, en laissant intactes les logiques sous-jacentes de la production. Ainsi, on régule souvent ce que produisent les usines plus que la façon dont elles le produisent. Les principes du management scientifique, eux, n’ont jamais cessé. L’IA ne vise qu’à les accélérer encore un peu plus. L’hypermesure accélère la cadence. Désormais, les contremaîtres n’ont plus besoin de passer dans les allées des usines : les postes de travail sont bardés de capteurs, les algorithmes sont devenus nos nouveaux patrons. Pas seulement dans les usines, rappelle-t-elle. WeWork, le géant du coworking, s’était lancé dans la course à la surveillance pour imaginer de nouvelles formes de monétisation en rachetant Euclid, une startup de surveillance des espaces de travail.

Couverture du livre de Judy WajcmanPour la sociologue Judy Wajcman, l’obsession au contrôle du temps n’est pas fortuite. La force de travail de la Silicon Valley est majoritairement plus jeune et masculine qu’ailleurs, sans contraintes familiales. L’addiction au travail de cette population devient le standard qui s’applique à tous, alors que tous les travailleurs ne relèvent pas de cette même population. Des pratiques naît une idéologie, une normalisation du travail et des travailleurs. Plus que les machines, l’accélération dépend surtout des priorités et paramètres que nous nous fixons plus que des machines qui nous aident à les définir, explique-t-elle dans son livre, Pressé par le temps (University of Chicago, 2015, non traduit).

Pourtant, explique encore Crawford, les protocoles de l’internet sont devenus les maîtres du temps à l’heure où les horloges des réseaux doivent être synchronisées. Derrière la métaphore maître/esclave des programmes informatiques, la synchronisation est la clef, à l’image de TrueTime, un protocole de Google qui synchronise les données, une forme de temps universel pour tout horodater, mais un temps privatisé. La coordination des horloges a toujours été un enjeu technologique, rappelle Crawford, en évoquant les enjeux de la coordination des trains au XIXe siècle. Le télégraphe et les câbles transatlantiques ont accéléré la synchronisation, alors que l’exploitation des différences de synchronisation a longtemps été un moyen d’enrichissement, à l’image des transactions à haute fréquence. Maîtriser et définir le temps est une stratégie de pouvoir, qui permet de renforcer et accélérer les affaires. e temps permet de définir la productivité, le taux et la cadence des tâches. Il est au cœur du fonctionnement des entrepôts d’Amazon, au centre de la majorité des modèles d’affaires des plateformes, à l’image de la publicité programmatique. Le taux de productivité, ce calcul automatisé, est désormais ce qu’il y a de plus dur à altérer. À l’heure où « nous sommes tous des travailleurs de la tech », puisque nous travaillons tous sous son contrôle, nous sommes tous soumis à la puissance et l’omnipotence de son extractivisme.

Sans notre consentement ! La donnée un mode de prédation

Cet extractivisme s’étend bien sûr et avant tout aux données. Les données reposent sur leur standardisation pour les rendre interopérables. Cette standardisation permet de développer des méthodes qualitatives pour les harmoniser, les croiser et les traiter, à l’image des standards biométriques développés par le NIST américain en ce qui concerne les empreintes digitales ou la reconnaissance faciale. Un des jeux de données très utilisés pour la reconnaissance faciale, le NIST Special Database 32 contient des milliers d’images de personnes qui ont été confrontées à des arrestations.

Des images sans histoires, sans contextes et sans noms : qui n’indiquent pas par exemple si ces personnes ont été inculpées, acquittées ou emprisonnées. Cette base de données d’individus confrontés au système policier est devenue une base de test pour la reconnaissance faciale. Elle est devenue, comme le disait le photographe et théoricien Allan Sekula « un gabarit physionomique standard pour la criminalité » (cf. The Body and the Archive, traduit dans Ecrits sur la photographie, 2013). La photo d’identité, et ses mesures anthropométriques, inventée par Alphonse Bertillon est depuis l’origine un moyen pour déterminer les caractéristiques criminelles. Le problème, c’est que ces images ne sont pas tant des outils d’identification que devenues des outils pour mettre au point une forme de vision automatisée, utilisée pour détecter les composants mathématiques des visages et « réduire la nature à son essence géométrique ». Ainsi, les individus assemblés dans ce jeu de données n’en sont pas. Aucun n’a consenti à y être incorporé, pas plus que les suspects n’ont le droit de refuser d’être photographiés lorsqu’ils sont arrêtés. Ils ne sont pas tant des individus (puisqu’il n’y a ni contexte ni consentement) qu’une ressource technique partagée.

Pour Crawford, cette base de données est emblématique d’une logique à l’œuvre qui a perverti le secteur de la technologie : « la croyance inébranlable que tout est donnée et que toute donnée est là pour être prise ». Dans cette base de données, « ce qui relève du personnel, du social, du politique, du sens même est neutralisé ». Le contexte est effacé. Dans cette « transformation d’images en infrastructures », « tout est traité comme des données pour qu’elles soient soumises à des fonctions, transformées en matériel à ingérer pour améliorer des performances techniques ». Cette transformation mécanique du matériel en données est au cœur de l’idéologie extractiviste des données. Cette transformation n’a rien de neutre, insiste Crawford, alors qu’elle est souvent présentée comme apolitique, comme un matériel inerte pour permettre aux outils du machine learning d’apprendre à voir. Cette production de données est profondément inscrite dans une histoire d’inégalités structurelles et d’injustices. Elle est construite pour détecter des visages, mais pas les raisons qui ont conduit les gens dans cette situation. Les bases de données peuvent se substituer les unes aux autres, comme si les données qui les composaient n’avaient pas d’incidences. Les visages des suspects et des prisonniers sont moissonnés pour renforcer les systèmes de police et de contrôle afin de contrôler et emprisonner plus de gens dans une boucle de rétroaction délétère. Ce fonctionnement de collecte massive de données pour produire des opérations d’abstractions est un enjeu peu questionné dans le champ de l’IA, estime la chercheuse. Au contraire ! Le pragmatisme du moissonnage pour ne pas dire du vol et du pillage de données est la règle pour créer des systèmes d’IA profitables. La logique extractiviste est là encore aux fondements des méthodes de l’IA.

Les systèmes de reconnaissances d’images sont constamment en train de s’affronter les uns les autres dans des compétitions qui évaluent leurs performances. Et ces bases de données d’images qui servent à leur entraînement sont l’alphabet commun de ces machines à inférences. Partout, les jeux de données d’entraînements s’accumulent, se construisant et se complétant les uns les autres. ImageNet a hérité d’une taxonomie de mots de description provenant d’une base de données lexicale datant des années 80, WordNet, et WordNet a elle-même hérité du Brown Corpus, un lexique d’un million de mots publié en 1961. « Les données d’entraînements se tiennent sur les épaules de collections et de classifications plus anciennes », pareilles à des encyclopédies en expansion.

Crawford rappelle des pans d’histoire de la constitution d’entrepôts de données. Dans les années 80, la reconnaissance du langage à IBM patinait, du fait du manque de données. Les progrès de l’analyse statistique ont permis un premier bond en avant, par la réduction du contexte des données : on a amoindri le sens au profit d’un modèle de reconnaissance purement statistique. Dans cette nouvelle perspective, le seul enjeu était désormais de disposer du plus de données possible. Pour cela, IBM a eu recours à la numérisation massive d’actes gouvernementaux. À l’université de Pennsylvanie, le Penn Treebank Project a lui numérisé et collecté des sources publiques, des articles de presse… Une autre source a été le Enron Corpus, une base de données de 600 000 mails échangés par 158 employés de la firme saisit en 2001 lors de l’enquête contre la firme par la commission de régulation de l’énergie. Cette base de données de contenus dans un langage familier a été utilisée comme une mine linguistique pour la reconnaissance du langage. Reste que ces archives textuelles ont toutes été vues comme des collections neutres, comme si tout jeu d’entraînement était interchangeable. Or, rappelle Crawford, les mots d’un recueil ne sont pas ceux d’un autre. Entraîner des systèmes depuis un forum de Reddit n’est pas la même chose que de l’entraîner depuis des textes de loi ou des formules des cadres d’une grande entreprise. Quels biais de langages, quels biais politiques enferment ces jeux de données et comment influencent-ils tous les systèmes qui reposent sur eux ?

La construction de base de données d’images a les mêmes défauts, explique la chercheuse. À la fin du XXe siècle, l’un des premiers jeux de données d’images pour la reconnaissance faciale a été lancé par un programme de lutte contre la drogue du ministère de la défense américain et le laboratoire de recherche de l’armée, le programme Feret, créé pour automatiser la recherche de visages aux frontières et dans les aéroports en s’appuyant sur des photos prises par la police aux frontières, les autorités en charge du trafic de stupéfiants ainsi que les premières bases de données pour la détection des fraudes aux permis de conduite. Feret est un exemple de production de données avant que l’internet ne permette une extraction bien plus massive, mais elle a introduit des pratiques qui subsistent, notamment l’exploitation sans autorisation et la production de données peu diverses. Depuis les attentats du 9 septembre 2001, qui ont intensifié le financement de ce type de programmes, Feret est demeuré l’un des jeux de données les plus utilisés pour produire de la reconnaissance automatisée. L’internet bien sûr a changé les choses. À mesure que plus de gens téléchargeaient des images sur des services en ligne, le pillage s’est étendu. En 2019, on estime qu’il y a 350 millions d’images téléchargées chaque jour sur Facebook. Les géants de l’industrie technologique sont désormais assis sur un pipeline sans fin d’images et de textes sans cesse mis à jour. Plus les gens y partagent de contenus, plus la puissance de ces industries grandit, sans compter que les utilisateurs travaillent également à labelliser ces images de termes et de description utiles à leur catégorisation et à leur traitement.

En 2006, la professeure Fei-Fei Li (@drfeifei) a conceptualisé le projet ImageNet, une base de données pour la reconnaissance d’objets. Elle s’est surtout enrichie d’images récupérées sur le net : plus de 14 millions d’images organisées dans plus de 20 000 catégories, sans que ce pillage n’ai jamais vraiment suscité de questionnements éthiques. Grâce à Amazon Mechanical Turk, la plateforme de distribution de microtâches d’Amazon, le projet a pu labelliser ses images à bas coût, 50 images à la minute. Les labels proposés aux travailleurs du clic étaient associés à un import du lexique WordNet… avec toutes les limites de ses catégories. « L’approche par l’extraction de données massives sans consentement et par la catégorisation par des travailleurs sous-payés est devenue depuis une pratique standardisée » : elle est devenue la norme de production ! Sur le campus de l’université du Colorado, un professeur a ainsi installé une caméra sur les lieux de passages d’étudiants pour capturer des centaines d’images afin d’améliorer son système de reconnaissance. Le jeu de données DukeMTMC (depuis fermé) a fait la même chose et il a été montré plus tard qu’il était largement utilisé par le gouvernement chinois pour entraîner un système de surveillance à l’encontre des minorités ethniques. À l’université de Stanford, des chercheurs ont récupéré des images d’une webcam d’un café populaire à San Francisco pour en faire une base de données de recherche pour la reconnaissance faciale dont l’utilisation est allée bien au-delà des cadres éthiques préliminaires. MS-Celeb, la base de données de Microsoft, forte de 10 millions d’images de célébrités a pillé ses images en ligne. On y trouve même les photos de célébrités critiques à l’encontre des technologies de surveillance comme Evgeny Morozov ou Shoshana Zuboff ! Sur les problèmes des bases de données d’entraînement de l’IA, je vous renvoie à l’excellent site Exposing AI d’Adam Harvey (@adamhrv) et Jules LaPlace (@comicsands) qui documentent justement ces pillages.

Image extraite du jeu de données Brainwash, du nom d'un café de San Francisco

Les données sont là pour être acquises, raffinées et profitables. L’injonction à la collecte est partout. L’impératif à capitaliser les données pour améliorer les systèmes s’impose sans égard pour les impacts négatifs ou éthiques de ces collectes. Le data mining s’impose finalement en nous faisant croire que la donnée n’est jamais quelque chose de personnel, d’intime ou qui dépend du contrôle individuel. La donnée est toujours décrite comme quelque chose qui doit être consommé, un flux à contrôler, un investissement à exploiter. Quand on compare la donnée au nouveau pétrole, on parle rarement du coût que représentent l’exploitation et l’extraction pétrolière : le travail forcé, les conflits géopolitiques, l’épuisement des ressources… induits. « La donnée est devenue un mot exsangue : qui dissimule à la fois son origine matérielle et ses fins ». En transformant le contenu en matériel abstrait et immatériel, le terme de données permet finalement d’exclure bien des responsabilités sur la manière dont ces matériaux sont extraits et utilisés. Pour Jathan Sadoswki (@jathansadowski), les données sont devenues un capital comme un autre. L’extraction massive de données est « la nouvelle frontière de l’accumulation et la prochaine étape du capitalisme ». La datafication nous a détournés de l’éthique : les sujets de données ne semblent plus jamais considérés comme de véritables sujets humains.

Crawford est sévère dans son constat. La recherche en IA est faite sans procédure d’examen éthique. Les mathématiques, les statistiques et l’informatique n’ont jamais été considérées, historiquement, comme des formes de recherches sur des humains, contrairement aux recherches biomédicales ou psychologiques par exemple. La sortie des recherches en IA de leurs laboratoires pour se déployer dans le monde réel comme pour prédire la récidive criminelle ou calculer les bénéficiaires de l’aide sociale a fait exploser la production de préjudices, non pas à des données, mais à des personnes bien réelles ! Et le risque augmente à mesure que les systèmes accèdent aux données « sans jamais interagir avec leurs sujets ». En ne reposant que sur des données sans considérations humaines, le risque est que l’inexactitude devienne le socle de l’IA et des systèmes, prévient la chercheuse. Comme le montre par exemple CalGang, la base de données sur les gangs, largement utilisée par la police en Californie, dont on a montré pourtant les innombrables failles. Pour Crawford, « cette séparation des questions éthiques et des questions techniques reflète un problème plus large dans le domaine, où la responsabilité des dommages n’est pas reconnue ou considérée comme dépassant le cadre de la recherche ». Dans le domaine de l’IA, trop souvent, « la recherche se produit dans le vide, sans aucune responsabilité pour les idées qu’elle propage ». Les systèmes de données permettent aux chercheurs et ingénieurs de se mettre à distance psychologique des gens que les données représentent. La dépersonnalisation que produit la mise en jeu de données permet de croire que « le monde peut être capturé, utilisé sans restriction et interprété hors de tout contexte ». Comme si le monde n’était finalement qu’un terrain de jeu.

À mesure que ces collectes se multiplient, les enjeux en matière de vie privée deviennent plus importants que jamais, à l’image de la capture par Google des données de santé de plusieurs millions de Britanniques dans un partenariat avec le service de santé anglais. Partout, la capture commerciale de données érode les biens communs. La ruée vers l’or de l’IA consiste à annexer à différents champs de connaissance humains, tout type de données disponibles, dans une logique expansionniste sans fin. Nous sommes confrontés à « un pillage de l’espace public ». « Le mythe de la collecte de données en tant que pratique d’une informatique bienveillante masque des opérations de pouvoir, protégeant ceux qui en profitent le plus tout en leur évitant d’être responsables de ses conséquences ».

Les biais sont la nature même de la classification

Couverture du livre de Stephen Jay GouldClasser, faut-il le rappeler, est l’une des principales fonctions de la science, que ce soit le vivant ou des éléments. C’est ce que faisait le craniologue et phrénologue américain Samuel Morton avec sa collection de crânes au début du XIXe siècle. Son objectif était de hiérarchiser les races objectivement en comparant les caractéristiques physiques des crânes de différentes populations. Mais comme l’a montré le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme, Morton a surtout arrangé ses calculs pour qu’ils servent ses objectifs racistes. Cet héritage épistémologique de classification et de mesures, de corrélation entre morphologie et intelligence, ces tentatives de classification qui se voulaient dépolitisées alors qu’elles étaient on ne peut plus politiques… se retrouvent dans les systèmes d’IA qui en sont les descendants directs. Les systèmes d’IA sont conçus pour produire des classements et donc des formes de discrimination. « Les systèmes de classement sont des technologies très puissantes », soulignent Geoffrey Bowker et Susan Leigh Star dans leur livre de référence sur le sujet (MIT Press, 1999). « Incorporées dans des infrastructures, elles deviennent relativement invisibles sans rien perdre de leur puissance ». L’IA fonctionne là comme une boucle de logique circulaire, qui naturalise les hiérarchies et magnifie les inégalités, en utilisant la classification pour encoder son pouvoir.

Couverture du livre Sorting Things Out de Geoffrey Bowker et Susan Leigh StarIl y a encore 10 ans, la question des biais dans l’IA était encore un sujet peu commun, rappelle la chercheuse. Mais les exemples de pratiques discriminantes sont désormais légion : des biais de genre dans les algorithmes de crédit d’Apple, au racisme des systèmes de mesures de la récidive, aux biais d’âges des publicités ciblées de Facebook… Les biais sont partout ! Le phénomène de leur découverte est répétitif d’ailleurs. Un journaliste, un chercheur, un lanceur d’alerte révèlent comment un système produit des résultats discriminatoires. L’entreprise promet de résoudre le problème en rendant le système plus opaque qu’il n’était et assure que le problème a été traité… jusqu’au prochain problème. Mais pourquoi ces problèmes sont-ils récurrents ?

En 2014, Amazon a automatisé son recrutement en entraînant son système depuis les CV de ses employés. La direction des ressources humaines a commencé à utiliser cet outil en complément de leurs pratiques habituelles et rapidement a constaté qu’il ne recommandait pas de femmes. Après avoir mis à jour son système en ôtant les références explicites au genre, les biais persistaient, notamment parce qu’il s’appuyait sur une analyse sémantique de termes différemment utilisés par les hommes et les femmes. Le système, entraîné depuis des CV d’hommes, a appris à les recommander. Les pratiques d’emploi passées et présentes d’Amazon influaient sur son avenir. Amazon a fini par remiser son outil, démontrant son incapacité à le réparer. Pourtant, « l’industrie de l’IA continue à penser que les biais demeurent un bug à réparer plutôt qu’une fonction de la classification elle-même » ! Pour l’industrie, l’enjeu est de produire une meilleure parité quantitative entre les groupes. Pour Crawford, il est nécessaire de mieux comprendre que le biais est la nature même de la classification. Pour la sociologue Karin Knorr Cetina, dans son livre Epistemic Cultures (Harvard UP, 1999, non traduit), la « machinerie épistémique » créée un « ouroboros statistique », une machine à discriminer qui se renforce et amplifie les inégalités sociales sous couvert de neutralité technique.

« Les affordances des outils deviennent l’horizon de la vérité »

Crawford prend un autre exemple pour montrer la limite intrinsèque à débiaiser les systèmes. En 2019, IBM a tenté de répondre aux critiques sur les biais de ses systèmes en créant un jeu de données plus « inclusif », Diversity in Faces (DiF). DiF se voulait une réponse aux critiques de Joy Buolamwini (@jovialjoy) et Timnit Gebru (@timnitgebru), qui avaient pointé les limites des systèmes de reconnaissance faciale d’IBM, Amazon et Microsoft, et notamment leur fort taux d’erreur à l’encontre des peaux les plus sombres et des femmes. Pour améliorer la reconnaissance faciale, IBM a décidé d’utiliser un jeu de données de cent millions d’images provenant de Flickr pour élargir la diversité de son jeu d’entraînement. Pour mieux représenter les différences, ils ont mesuré les distances craniofaciales entre différents points de repère des visages : yeux, profondeurs nasales, hauteur des lèvres… Une forme de phrénologie pour déterminer des classifications !

Du bertillonnage classique
L'IA, phrénologie moderne

Le but des chercheurs était d’améliorer la diversité de la reconnaissance faciale. Pour labelliser les visages selon le genre, l’équipe d’IBM fit appel à des microtâcherons pour annoter les portraits selon une catégorie binaire : femme ou homme, dépendant d’un simple jugement. En cas de difficulté à classer quelqu’un, l’image était purement et simplement retirée de la base. Pour IBM, « l’équité » a été réduite pour signifier des taux de précision plus élevés pour la reconnaissance faciale par la machine, et la « diversité » réduite à un plus large éventail de visages pour entraîner le modèle ». L’analyse craniométrique était utilisée pour « dépolitiser l’idée de diversité et la remplacer par un accent sur la variation ». De nouvelles variables permettaient d’établir de nouvelles catégories. À nouveau, la pratique de classification était utilisée pour décider « quelles différences faisaient la différence ». Au final, la recherche se révélait encore plus problématique que ne l’était son biais originel !

Pour les chercheurs d’IBM, nos héritages et nos identités se réduisaient à des mesures phrénologiques, comme si nos identités étaient biologiques avant d’être politiques, culturelles ou socialement construites ! Pour Simone Browne (@wewatchwatchers), auteure de Dark Matters (Duke UP, 2015, non traduit), il s’agit là d’une « épidermalisation numérique », qui consiste à imposer la race sur le corps, à imposer une « vérité » sur l’identité en dépit des revendications des sujets. La détection des couleurs de peaux est produite parce qu’elle est possible, pas parce qu’elle pourrait dire quelque chose sur la race ni parce qu’elle pourrait produire une meilleure compréhension culturelle, souligne Kate Crawford. De même, les mesures crâniennes sont faites parce qu’elles peuvent être produites par les machines. « Les affordances des outils deviennent l’horizon de la vérité ». La capacité à déployer des mesures crâniennes et des mesures de la couleur de l’épiderme à grande échelle stimule la capacité à trouver du sens dans ces approches, même si elles n’en portent aucune ! Elles sont utilisées pour aggraver une compréhension problématique de la précision. « Les revendications techniques sur la précision et la performance sont généralement traversées par des choix politiques sur les catégories et les normes, mais sont rarement reconnues comme telles. Ces approches sont fondées sur une prémisse idéologique selon laquelle la biologie est un destin, où les traits des visages deviennent une fatalité ». Ce terrible exemple souligne très bien les limites des questions de responsabilité ou de debiaisages que produit l’industrie de l’IA pour répondre aux critiques qui lui sont adressées.

Dans son livre, Kate Crawford revient plus longuement sur la question des biais et le rôle de la classification, pour en retracer l’histoire, des statistiques à l’IA, en passant bien sûr par les biais cognitifs, soulignant que les biais sont par nature bien plus qu’une simple erreur technique, mais sont profondément ancrés dans les croyances et les stéréotypes humains. Créer un jeu de données consiste à fixer un monde complexe et varié en taxonomies discrètes. Elle revient en détail sur l’histoire d’ImageNet et de WordNet et leurs innombrables limites, comme le fait que dans ce dictionnaire de classification utilisé pour étiqueter des images, la catégorie Human Body ne distinguait que des hommes et des femmes (il y a bien une catégorie « hermaphrodite » (sic), mais qui est relié à la sexualité pas à la corporalité !). Ce réductionnisme n’est pas propre à l’IA ni à l’épistémologie ! Les catégorisations nocives sont courantes et nombreuses. Jusqu’en 1973, l’association psychiatrique américaine classait l’homosexualité comme un désordre mental ! Os Keyes (@farbandish) dans une étude pointait que 95 % des articles de recherche dans le domaine de la reconnaissance faciale de genre décrivaient le genre comme immuable et physiologique ! En assignant un genre, une race ou une identité aux gens, nos systèmes automatisés ne font certes que prolonger ce que nos systèmes administratifs ont produit durant des siècles en appliquant des labels fixes et des propriétés définies à des humains. Le problème, c’est que n’est assurément pas la même chose de le faire d’un point de vue statistique que de le faire pour des machines qui vont produire depuis ces propriétés des différences effectives. Il y a là un changement de nature irréductible et qui devrait être impossible à franchir ! Ce fossé reste visiblement invisible aux suprémacistes numériques comme dirait Tariq Krim, c’est-à-dire à ceux qui pensent que tous les problèmes du monde se résolvent par des équations mathématiques et du machine learning…

Dans les 22 000 catégories d’ImageNet, la nomenclature utilisée écrase toute variété dans une épistémologie qui mêle le concret et l’abstrait (« une pomme » et « la santé »), le descriptif et le jugement (« une personne » et « un PDG »). Derrière son objectif d’objectivité, tout classement est profondément un exercice idéologique. Derrière la profusion classificatoire subsiste le jugement des apparences. Depuis 2009, ImageNet a plusieurs fois purgé ses catégories, malgré cela, nombre de catégories restent problématiques, comme l’a montré l’ImageNet Roulette, un projet que la chercheuse a mené avec l’artiste Trevor Paglen (@trevorpaglen). Les créateurs d’ImageNet ont depuis réagi en proposant d’améliorer leur jeu de données, les amenant à enlever 56 % des catégories descriptives (touchant 600 000 images). Les catégories n’en restent pas moins souvent problématiques. Qu’est-ce qui justifie une distinction entre un professeur assistant et un professeur associé par exemple ? La classification montre qu’il n’y a pas de neutralité en la matière. Même si les termes offensants peuvent être enlevés, toute classification est rapidement politique, quand elle ne sombre pas dans les erreurs, les stéréotypes ou les absurdités. ImageNet doit être une leçon pour comprendre ce qu’il se passe quand les gens sont catégorisés comme des objets, estime Crawford. Les schémas classificatoires utilisés par des entreprises comme Facebook sont certainement tout aussi problématiques, mais bien plus difficiles à révéler et à critiquer, car ils demeurent fermés à toute inspection.

« Les images, comme toutes formes de données, sont chargées d’innombrables sens potentiels, de questions insolubles et de contradictions ». L’enjeu à rendre les données plus justes en effaçant les termes les plus offensants échoue à contenir la puissante et problématique dynamique de la classification. Quand bien même les pires erreurs sont repérées et corrigées, cette approche au final reste fondamentalement construite sur une relation extractive et problématique à la donnée.

Le fait de produire des catégories d’attribution de genre ou de race permet aux machines d’assigner aux corps des identités. La race et le genre deviennent alors un fait assumé, explique Simone Browne dans Dark Matters. Le jeu de données UTKFace comporte 20 000 images avec des annotations d’âge, de genre et de race… Il est utilisé pour une grande variété de tâches, de la détection faciale à l’estimation de l’âge… L’âge des portraits y est pourtant estimé. Le genre y est binaire. La race est réduite à 5 catégories (blanc, noir, asiatique, indien et « autres »). Malgré ses défauts, ce type de catégorisation est largement utilisé dans nombre de jeux d’entraînements qui servent à alimenter le pipeline de l’IA. Le schéma de race qu’il utilise tire ses racines de celui utilisé dès les années 50 par l’Afrique du Sud durant l’Apartheid. Dans les années 50, le gouvernement sud-africain a créé un référentiel brut pour diviser sa population en catégories raciales. IBM, chargé de produire une base de données centralisée pour le gouvernement sud-africain n’a cessé de réarranger les classifications. Et pour cause ! Comment classifier ces variations ? Luke Stark (@luke_stark) soulignait très bien que la difficulté de cette logique classificatoire plutôt que réifier des catégories ou en produire des nouvelles, consiste surtout à reproduire des inégalités et à les exacerber. « La reconnaissance faciale est le plutonium de l’IA », concluait le chercheur. Pour Crawford, tel qu’ils sont utilisés aujourd’hui, les systèmes de Machine Learning construisent la race et le genre.

Alors que doit-on faire ? La justice dans les systèmes d’IA ne sera jamais quelque chose qui peut être codé ou calculé, affirme Crawford. Cela nécessite de dépasser les questions de parité statistique ou d’évaluation des systèmes. Cela nécessite de comprendre également l’impact de ces systèmes. Pour Bowker et Star, il faudrait pouvoir avoir une approche plus sensible, capable de distribuer de l’ambiguïté plutôt que de chercher à la résoudre. Pour Crawford, ces limites doivent plutôt nous aider à délimiter des frontières où l’IA ne devrait pas être utilisée. « L’histoire de la classification nous montre que les plus dommageables formes de catégorisation – de l’apartheid à la pathologisation de l’homosexualité – ne disparaissent pas en les mettant sous la lumière de la recherche scientifique et de la critique éthique ». Le changement nécessite l’organisation politique, des protestations soutenues et des campagnes politiques massives et durables. Comme le disait l’abolitionniste Frederick Douglass, le pouvoir ne concède rien sans demande. Mais dans les régimes largement et trop invisibles des catégorisations du machine learning, il est encore plus dur de faire des demandes et de s’opposer à leur logique interne. À nouveau, les jeux de données publics nous permettent de voir les problèmes, mais ils ne sont que la face émergée du problème face aux moteurs de classifications provenant des entreprises privées.

Et encore, pourrait-on ajouter. En se focalisant, avec raison, sur le genre et la race, il semble néanmoins qu’on oublie ou minimise d’autres types de classements, tout aussi problématiques, mais peut-être plus difficilement discernables encore, comme les classements sociaux, liés aux études ou aux revenus. Dans un monde où les classements sont rendus exécutables, tous les classements posent désormais problème.

La mal-mesure des sentiments : la critique ne produit pas d’abandon

À la fin des années 60, le célèbre psychologue Paul Ekman s’est rendu en Papouasie-Nouvelle-Guinée à la rencontre des Okapa, une tribu isolée. Son but : savoir si les émotions étaient universelles ! Complémentaires aux outils de reconnaissance faciale, les outils de reconnaissance des émotions se déploient désormais partout, aux systèmes de sécurité des aéroports, dans les outils d’embauche automatisés, dans les outils d’évaluation de l’éducation en passant par les outils de détection des troubles psychiatriques aux programmes policiers qui revendiquent être capable de prédire la violence… Mais tout comme le genre ou l’appartenance raciale – on l’a vu – sont liés à l’apparence, l’analyse de l’état intérieur d’une personne repose elle aussi sur un malentendu : le fait de croire qu’on peut évaluer les sentiments d’une personne depuis l’expression de son visage. Pourtant, là encore, assène Crawford, « il n’y a aucune évidence fiable qu’on puisse déduire avec précision l’état émotionnel de quelqu’un depuis son visage ». Ça n’empêche pas le champ de recherche de la reconnaissance de l’émotion d’être florissant. Tout comme celui de la reconnaissance faciale pourtant, il poursuit un but extractiviste, celui d’extraire plus d’information sur les gens qu’ils ne souhaitent en donner. Lui aussi s’appuie sur la mal-mesure et de la mauvaise science pour produire de l’idéologie. La reconnaissance des émotions a pour but de détecter et classifier les émotions depuis l’analyse de n’importe quel visage. Dans le secteur de la détection des affects, les compétiteurs sont nombreux : Human, HireVue, Emotient et Affectiva sont parmi les entreprises du secteur les plus connus. Mais Amazon avec Rekognition, Microsoft avec Face API et IBM (toujours !) sont également de la partie…

En retraçant l’histoire de l’analyse de sentiment, Crawford pointe le rôle déterminant joué par Paul Ekman et les financements que celui-ci reçut de l’Arap (l’ancêtre de la Darpa, là encore la Défense est au coeur du financement des techniques de surveillance déployées par l’IA). Pour faire la démonstration que l’expression des sentiments était universelle, Ekman va montrer aux Orka des images d’expressions faciales et leur demander d’appliquer un sentiment à chacune (parmi une courte sélection : la joie, la peur, le dégoût, la colère, la surprise et la tristesse). Il répétera cette méthode auprès d’autres sujets et constatant que les réponses étaient proches, déclarera que les expressions faciales de l’émotion sont universelles.

Duchenne et l'un de ses patientsLà encore, pourtant, si on remonte aux origines de ce champ de recherche, on trouvera un champ disciplinaire problématique : la physiognomonie ! Des recherches du criminologue Cesare Lombroso, qui tente de relier délinquance et caractéristiques physiques, aux travaux du fondateur de la neurologie Duchenne, qui va utiliser les chocs électriques pour stimuler les mouvements de muscles faciaux spécifiques et les cartographier. Les photographies de Duchenne demeurent emblématiques : ses stimulations électriques sont faites sur des personnes vulnérables et la vérité qu’elles produisent, comme le « sourire authentique », sont en fait hautement fabriquées. En 1971, Ekman publie le Facial Action Scoring Technique (Fast) qui détermine 6 types émotionnels, accompagnés de photographies posées pour établir leurs caractéristiques. Il prolongera ce travail d’une sorte de dictionnaire plus précis (Facs) identifiant les contractions musculaires de différents points du visage pour chaque expression et au début des années 80 aura recours aux ordinateurs pour automatiser ses mesures et à des jeux d’images liées là encore à la répression de la criminalité. Différents travaux supplémentaires, notamment de ses étudiants, donneront naissance à la Cohn-Kanade emotional expression dataset et à ses descendants, comme le Karolinska Directed Emotional Faces. Ces bases de données d’expression faciales et leurs successeurs apportent deux choses importantes : un jeu de caractéristiques stables et limitées qui peuvent être utilisées pour catégoriser les expressions faciales et un système pour produire des mesures. Ainsi que des registres d’expressions, extrêmes, exagérées, souvent produites avec des acteurs.

Les applications des travaux d’Ekman ont donné naissance aux outils de détection de mensonge et notamment au programme Spot de l’administration de la sécurité des transports américains. Spot a été utilisé suite aux attaques du 11 septembre pour détecter les expressions faciales des voyageurs passant les contrôles aériens afin de détecter les terroristes depuis 94 critères et notamment les signes de stress, de peur ou de mensonge. Or, rappelle Crawford, ces assignations à certaines catégories ne sont pas neutres. Certains groupes seront plus désavantagés que d’autres. Les gens stressés, qui ne sont pas à l’aise avec les questions, ou ceux qui ont des expériences négatives avec la police ou les gardes-frontières auront automatiquement des scores plus forts. Le programme Spot a été abondamment critiqué par de nombreuses organisations pour son manque de méthodologie scientifique et malgré son coût (900 millions de dollars), n’a pas produit de succès clairs !

Les critiques à l’encontre des travaux d’Ekman et de ses succédanés ont été nourries. Pour l’anthropologue Margaret Mead, l’expression n’est ni universelle ni biologique, mais dépend surtout de facteurs culturels. Pour les psychologues James Russell et José-Miguel Fernandez-Dols, auteurs de The Psychology of Facial Expression, le fait que le visage exprime des émotions claires est plus contreversé qu’on le pense. Pour Maria Gendron et Lisa Feldman Barrett (@lfeldmanbarrett), les expressions faciales n’indiquent pas nécessairement un état intérieur particulier : les systèmes peuvent détecter un air renfrogné, mais cela ne signifie pas nécessairement qu’elles détectent de la colère. L’historienne des sciences, Ruth Leys, dans The Ascent of Affect (UP Chicago, 2017, non traduit), souligne enfin que nos expressions varient selon les personnes ou les situations dans lesquelles ont les exprime, comme quand on est seul ou en groupe…

En fait, l’IA est entraînée à reconnaitre de fausses expressions de sentiments, depuis des expressions exagérées mimées par des acteurs, faisant fit de combien nous avons pourtant du mal, en tant qu’humains, à interpréter les expressions faciales d’autrui, tout comme il nous est facile d’exprimer des choses sans les ressentir : tout le monde a déjà souri sans être heureux ! Pourtant, constate Crawford, aucune de ces objections sérieuses n’a suffi à arrêter la reconnaissance de l’émotion. La critique, hélas, ne produit pas d’abandon ! Lisa Feldman Barrett a conduit une méta-étude pour montrer que les expressions faciales n’étaient ni des empreintes ni des manifestations de diagnostiques qui établiraient l’état émotionnel. Plus récemment encore, Luke Stark (qui prépare un livre sur le sujet) dans une interview pour OneZero, rappelait lui aussi que nos réponses émotionnelles sont intrinsèquement interpersonnelles. La recherche d’indicateurs quantifiables (comme le rythme cardiaque ou la pression sanguine tout comme les sophismes physiognomoniques) reste un moyen d’assurer une relation de pouvoir par la mesure, d’assurer une forme de contrôle moral, « d’impérialisme émotionnel ».

Pour Crawford, ces systèmes qui tentent de lire nos émotions relèvent d’une politique des visages. Les interprétations émotionnelles sont pourtant truffées d’erreur, au détriment bien sûr, toujours, des minorités : les visages noirs ont tendance à être plus souvent corrélés à des sentiments négatifs que les blancs, comme l’a montré Lauren Rhue. Pour Crawford, les systèmes de détections d’émotion ne font pas ce qu’ils affirment ! Le problème, c’est que malgré leurs défauts, malgré les critiques, ces systèmes se répandent rapidement à la recherche de nouveaux marchés. Une science qui n’en est pas, prend des parts de marché, mais surtout étant son pouvoir depuis des outils profondément problématiques et qui ont des effets très concrets sur l’existence des gens.

Une industrie du pouvoir

Les révélations d’Edward Snowden nous ont montré que le secteur de l’IA s’étendait bien au-delà de ce qu’on en voyait. Que derrière l’IA des entreprises privées et de la recherche publique, un autre secteur se déployait en secret : celui des agences de renseignements, de l’armée et la Défense, qui depuis l’origine orientent la recherche en IA, comme le rappelle l’historien des sciences Paul Edwards dans Un monde clos (B2, 2013). Ils ont profondément façonné ce que l’IA est devenue.

Comme le souligne le philosophe Achille Mbembé (@achillembembe1) en définissant la nécropolitique, nous sommes confrontés à la production infrastructurelle de structures de guerre. Les relations entre l’industrie de l’IA et la surveillance militaire s’étendent bien au-delà du contexte de sécurité. Les technologies accessibles d’abord uniquement aux agences de renseignements – « extralégales par design » – se sont infiltrées bien au-delà, et notamment jusqu’aux autorités locales. L’industrie de l’IA reconfigure le rôle traditionnel des autorités.

« L’État prend l’armature d’une machine parce que les machines ont déjà pris les rôles et les manifestations de l’État ». Et cet entrecroisement n’a cessé de s’intensifier. De 2015 à 2017, Ash Carter, secrétaire à la Défense des États-Unis a défendu la « Third Offset Strategy », un programme de réponse technologique reposant sur la domination américaine dans le secteur de l’IA et renforçant les relations entre la défense et le secteur technologique. L’un des exemples que saisit Crawford pour montrer la production de cet entrecroisement est le projet Maven, qui repose sur la transformation de l’infrastructure technologique du département de la Défense en passant des contrats avec le secteur commercial de la tech, pour aligner leurs intérêts. Maven a ainsi contracté avec Google pour utiliser TensorFlow pour améliorer leur ciblage de drones. En 2018, quand les employés de Google ont découvert ce contrat, plus de 3000 d’entre eux ont signé une lettre de protestation. Le contrat est ensuite passé à Microsoft, alors que Google publiait ses principes pour l’IA rejetant tout usage de l’IA contraire aux normes internationales. Pour Eric Schmidt, à l’époque président d’Alphabet cependant, l’usage de l’IA dans les opérations militaires n’est pas tant rejeté d’un point de vue éthique : elle doit être une question de précision et d’exactitude technique !

Couverture du livre Predict & Surveil de Sarah BrayneLa fin du projet Maven n’a pas mis fin aux collaborations de Google avec le département de la Défense, au contraire. Les entreprises de la tech continuent de s’aligner aux intérêts des États-Unis, dans une politique largement patriotique. Mais surtout, souligne Crawford, les technologies ne sont pas réservées aux zones de guerre et à l’espionnage de masse, elles sont désormais déployées partout et à tous les niveaux, notamment dans les agences de l’aide sociale et pour le maintien de l’ordre public. Pour la chercheuse, les technologies militarisées de détection de de menace se déplacent désormais au niveau des services municipaux et des institutions d’État, à l’image de Palantir qui investit nombre de services d’État, de la mécanique d’extraction de données qui fait fonctionner les systèmes de l’agence fédérale de police aux frontières américaine ou les agences du département de la santé pour détecter la fraude au système d’assurance santé américain Medicare. Pour Crawford, les systèmes de Palantir ont une similarité structurelle avec les systèmes déployés par la NSA et permettent d’élargir les techniques de surveillance partout. La sociologue Sarah Brayne (@sarah_brayne, qui vient de publier Predict & Surveil, Oxford UP, 2020, non traduit, une enquête glaçante dans l’usage de Palantir) a observé le fonctionnement de Palantir in situ, par la police de Los Angeles et a souligné combien il transformait le processus de surveillance, au détriment des immigrants, des sans-papiers, des pauvres et des personnes de couleurs, des populations qui sont encore plus surveillées parce qu’elles sont surveillées.

« L’inégalité n’est pas seulement aggravée, mais elle est aussi technicisée, justifiée par des systèmes qui semblent à l’abri de l’erreur, mais qui, en fait, intensifient les problèmes de surpolice et de surveillance raciste ». Les départements de police sont « NSA-ifiés ». Les États et autorités locales achètent ces systèmes en déclinant leurs responsabilités pour les problèmes créés par des systèmes qu’ils ne maîtrisent pas. Pour Crawford, les systèmes d’IA qui influencent les décisions des autorités devraient être reconnus comme responsables de leurs effets, comme elle le défendait dans un essai avec le professeur de droit Jason Schultz (@lawgeek). On en est loin. En fait, les services technologiques achetés à des entreprises privées permettent trop souvent de contourner les obligations légales qui s’imposeraient aux acteurs publics.

Crawford livre d’autres exemples à cette pratique du contournement légal, comme le propose Vigilant Solutions, un service qui installe des caméras de surveillance pour lire automatiquement les plaques minéralogiques des voitures et qui vend l’accès à sa base à la police, aux banques ou aux compagnies d’assurances… Vigilant a signé des partenariats avec les autorités locales du Texas, de la Californie ou de la Géorgie en permettant à la police d’utiliser sa base de données. L’entreprise a aussi signé un partenariat avec la très décriée agence fédérale de police aux frontières américaine (ICE). Or, la réglementation impose à cette dernière ne pas collecter de données dans des endroits sensibles comme les écoles, les églises ou les manifestations. Des restrictions qui ne concernent pas Vigilant ! Derrière la privatisation de la surveillance se cache un moyen de contourner la réglementation. Les différences de pratiques de surveillance privées et publiques ne s’érodent pas tant : elles se complètent pour contourner les limites qui leur sont imposées, pour exploiter les failles de la loi, comme le pointait très bien l’avocat Arié Alimi. Crawford évoque encore les réseaux de voisinage ou les caméras de surveillance Ring d’Amazon qui permettent à la police de faire des requêtes auprès de leurs propriétaires sans nécessité de mandat (voire notamment notre article « Quel contrôle démocratique sur la vidéosurveillance privée en réseau ? »).

La logique de ciblage militaire repose sur l’idée de signature, c’est-à-dire sur une modélisation comportementale qui permet de distinguer un individu d’un autre, permettant de tuer une personne depuis un drone sur la base des métadonnées recueillies. Or, rappelle la chercheuse, la frappe depuis une signature ne relève pas de la précision, mais de la corrélation. Quand un motif est détecté dans les données, la suspicion devient suffisante pour passer à l’action. Ce mode de décision basé sur la reconnaissance de spécificités est un des principes de fonctionnement de l’IA. Le plus souvent, il s’appuie sur un score, une évaluation que l’on retrouve partout dans l’évaluation du risque. Lors de la crise des réfugiés syriens de 2015, IBM a été approché pour créer une plateforme de détection des risques afin d’évaluer la possibilité que les réfugiés soient connectés au jihadisme. IBM a créé un « score de terrorisme », une évaluation de la menace dont les limites posent plus de problèmes qu’ils n’en résolvent.

Malgré leurs lacunes intrinsèques, que ces logiques de calcul et de surveillance ne cessent pourtant de s’étendre. Partout dans le monde, des systèmes calculent des comportements pour récompenser certains et en pénaliser d’autres. Le problème c’est que tous reposent sur des techniques incertaines et faillibles, comme on l’a vu pour la reconnaissance faciale ou la détection de sentiments. La technologie produit un « nouveau régime de classification sociale moralisée », comme le pointent les sociologues Marion Fourcade et Kieran Healy (@kjhealy) qui désavantagent les moins privilégiés. La production de score est devenue le lieu ou les signatures militaires et commerciales se combinent pour produire des estimations problématiques. La logique du calcul de score affecte bien sûr bien d’autres domaines, comme l’aide sociale. Pour Virginia Eubanks (@poptechworks), le déploiement de ces systèmes vise surtout à restreindre l’accès à l’aide sociale plus qu’à apporter une meilleure aide à ceux qui en ont besoin. Le problème, estime Crawford, c’est que nous importons partout la logique intrinsèquement punitive et discriminatoire de ces systèmes. Pour Kate Crawford, ces systèmes révèlent là leur idéologie sous-jacente : une philosophie massive de command and control infrastructurelle qui s’impose par une combinaison de techniques extractivistes de données, de logiques de ciblage et de surveillance. « L’argent et les ressources consacrés à une surveillance sans relâche font partie d’un rêve de contrôle centralisé qui s’est fait au détriment d’autres visions de l’organisation sociale ». Les méthodes et outils de la NSA se répandent aux salles de classe, aux commissariats, aux lieux de travail, jusqu’aux bureaux de recherche d’emploi. Nous sommes confrontés à une logique de pouvoir asymétrique par nature, qui arme ceux chargés de servir les citoyens.

L’IA est une arme tournée contre nous

Face à la logique du technopouvoir, Crawford n’est pas tendre. L’IA n’est ni objective ni universelle ni neutre. Elle est conçue pour discriminer, pour amplifier les hiérarchies, pour encoder des catégorisations. Elle bénéficie avant tout aux entreprises et autorités qu’elle sert. L’IA est l’expression même du pouvoir, créée pour augmenter les profits et centraliser le contrôle au profit de ceux qui l’utilisent. Derrière la magie des systèmes, il n’y a qu’un « déterminisme enchanté », qu’un pouvoir sans responsabilité. L’IA grandit dans son aura techniciste se présentant toujours comme trop complexe pour être régulée et trop puissante pour être refusée. Par sa propre mystification, elle s’impose partout comme inévitable. Pourtant, conclut Crawford, le pouvoir de l’IA repose avant tout sur l’exploitation des bénéfices de ce que la société a bâti. Les datacenters de Google à Dalles, dans l’Oregon, n’existeraient pas s’ils ne pouvaient exploiter les infrastructures publiques qui permettent de produire l’hydroélectricité la moins chère du pays. L’expansion de l’IA n’a été possible que parce qu’elle a été largement aidée et subventionnée par l’État, des fonds de recherche, aux contrats publics, des exonérations fiscales aux déréglementations des législations du travail… « L’IA a été lancée comme un projet public et a été peu à peu privatisée pour apporter des gains financiers considérables à une petite minorité au sommet de la pyramide extractiviste ».

L’IA, par nature, rend abstrait l’énergie, le travail et le capital et tout l’extractivisme nécessaire pour la produire. L’IA n’est que l’ultime manifestation de l’intrication de la technologie, du capital et du pouvoir. « Pour comprendre l’IA, nous avons besoin de voir les infrastructures de pouvoir qu’elle sert ». Dans cette cartographie de l’extraction, tout ce que l’on peut voir dans le monde réel est désormais copié dans des bases de réel, tout comme Google Street View semble le miroir du monde réel. Mais un miroir infidèle, qui masque notamment que cette copie demeure la propriété de Google, pas de tous, et qu’elle repose sur des agencements discrétionnaires. L’IA repose sur le pillage de tout ce qui peut être pillé, comme une accélération de sa brutalité même, comme le dirait Achille Mbembé. Les jeux de données ne sont jamais des matériaux bruts : ils sont profondément des interventions politiques. « Toute la pratique consistant à récolter des données, à les catégoriser et à les étiqueter, puis à les utiliser pour former des systèmes est une intervention politique ». » « Les biais sont le symptôme d’un mal plus profond : une logique normative vaste et centralisatrice qui sert à déterminer comment le monde doit être vu et évalué ». Derrière l’enjeu à rendre le monde lisible par des machines, nous formalisons le social dans un jeu d’approximations sans fin.

Bien sûr, l’enjeu de réorienter l’IA vers plus de justice, vers plus de démocratie est capital… Mais pour Crawford, les infrastructures et formes de pouvoir que permettent et qui sont permises par l’IA sont profondément orientées vers la centralisation et le contrôle. Cela signifie que démocratiser l’IA pour réduire son asymétrie de pouvoir c’est un peu comme argumenter pour démocratiser l’industrie de l’armement au service de la paix. « Les outils du maître ne démontent pas la maison du maître », disait la poétesse afro-américaine Audre Lorde.

La réponse de l’industrie de l’IA à l’ensemble de ces constats consiste à promouvoir des principes éthiques. En 2019, on comptait plus de 129 cadres pour l’éthique dans l’IA en Europe. Mais ces cadres, très consensuels, restent bien plus l’expression de ceux qui produisent l’IA que ceux qui en subissent les préjudices. Ils demeurent généraux, proposent des fins plus que méthodes d’applications concrètes. Contrairement à la médecine ou à la justice, l’IA n’a pas de structure de gouvernance professionnelle formelle et de normes. « L’auto-régulation éthique permet aux entreprises de choisir comment déployer leurs technologies et surtout de décider ce que l’éthique de l’IA signifie pour le reste du monde ». L’industrie de l’IA n’endure jamais de pénalités financières lourdes quand leurs systèmes enfreignent les lois ou leurs propres principes éthiques. Partout l’éthique est accessoire sur les profits. Pour comprendre ce qui est en jeu, nous devons nous focaliser plus sur le pouvoir que sur l’éthique, conclut celle qui a pourtant beaucoup promu et aidé à structurer la réponse éthique quand elle était à l’AI Now Institute (@ainowinstitute). Plus que jamais nous avons besoin d’une nouvelle critique de la technologie, de nos expériences de la vie dans la technologie, disait Achille Mbembé. Pour Crawford, nous devons travailler à renverser le dogme de l’inévitabilité. Quand l’expansion de l’IA semble inarrêtable, nous ne pouvons intervenir qu’en corrigeant après coup les systèmes, que ce soit en nettoyant les bases de données, en renforçant les dispositions pour protéger la vie privée ou en créant des comités d’éthique. Mais ces réponses ne peuvent être que limitées, partielles, incomplètes… renforçant même l’idée que nous devons nous adapter à la transformation technologique.

Pour imposer un monde plus soutenable, il nous faut déterminer là où l’IA ne devrait pas être utilisée, là où elle compromet la justice ! Pour Crawford, nous devons travailler à une « nouvelle politique du refus ». Partout nous devrions demander des explications à l’usage de l’IA, questionner la logique de la prédiction statistique, de l’informatique de la domination qu’évoquait Donna Haraway. Nous voyons les premiers aperçus de ces refus quand les gens demandent le démantèlement de la police prédictive, l’interdiction de la reconnaissance faciale, ou les manifestations contre les notations algorithmiques… Ces victoires mineures sont encore trop souvent localisées et il est plus que jamais nécessaire de les élargir. « Refuser nécessite de rejeter l’idée que les mêmes outils qui servent le capital, le militaire, la police soient utilisés aussi pour transformer l’école, l’hôpital, la ville ou l’environnement, comme s’ils pouvaient être des calculateurs neutres qu’on pourrait appliquer partout et à tout. Nous devons élargir nos solidarités et faire converger nos demandes de justice. »

Appliquer ces techniques au monde réel, au social, semble plus que jamais en tout cas, la grande limite de l’IA. Reste à savoir comment reconfiner ces outils aux laboratoires dont ils n’auraient pas dû s’échapper ! Documenter, réduire et redresser les préjudices qu’ils déploient ! La puissante et documentée démonstration de Kate Crawford fait plus que nous y inviter : elle montre qu’elle est indispensable ! Pourtant, elle montre combien relever le déni de l’impact des systèmes sur le social est difficile. Il est probable que nous soyons là face au même défi que celui du déni climatique : le risque est de continuer à minimiser le problème pour ne pas se résoudre à des solutions d’ampleurs, pour ne pas changer de trajectoire. La promesse du business as usual, de la poursuite des gains de productivité, peine à nous aider à nous réorienter. Nous continuons à produire des systèmes discriminatoires comme nous continuons à utiliser les énergies fossiles, comme si toute remise en cause restait hors de portée, inatteignable, inévitable.

Hubert Guillaud


09.04.2021 à 09:00

Définancer la technologie ?

Hubert Guillaud
Renforcer les lois antitrusts pour briser les grands monopoles que construisent les Gafam ne suffira pas (voir à ce sujet, les propos de Tim Wu ou notre article sur la souveraineté fonctionnelle), clame une tribune publiée par le collectif d’auteurs Tech Otherwise (Tech autrement), qui estime qu’une autre technologie est (...)
Texte intégral 2853 mots

Renforcer les lois antitrusts pour briser les grands monopoles que construisent les Gafam ne suffira pas (voir à ce sujet, les propos de Tim Wu ou notre article sur la souveraineté fonctionnelle), clame une tribune publiée par le collectif d’auteurs Tech Otherwise (Tech autrement), qui estime qu’une autre technologie est possible (sur cet enjeu, voir également « De l’aternumérisme »).

Les chercheurs Wolmet Barendregt, Christoph Becker (@ChriBecker), EunJeong Cheon (@EJ_Cheon), Andrew Clement, Pedro Reynolds-Cuéllar (@pecuellar), Douglas Schuler (@doug_schuler) et Lucy Suchman ont été inspirés par les appels à définancer la police lancés par les mouvements abolitionnistes et en lutte contre le racisme systémique, comme Black Lives Matter – auxquels on pourrait ajouter ceux qui visent à « désarmer » le numérique. Le « définancement » consiste à inviter les communautés locales à décider de l’orientation des fonds publics, et notamment à réorienter les investissements disproportionnés dans la répression et la surveillance policière au détriment de l’action sociale. Pour le collectif, « pour réorienter le flux de revenus excessifs des Big Tech, nous devons transformer les conditions et les structures de financement qui les permettent ». Le but est de libérer des ressources pour soutenir un large éventail d’objectifs socialement bénéfiques, pour développer des infrastructures numériques qui servent les communautés et le bien public plutôt que les surveiller ou les limiter. Pour une réforme radicale, il faut abolir les conditions qui créent et normalisent l’emprise disproportionnée des Big Tech sur les infrastructures clés des technologies pour réduire leurs impacts négatifs sur la société et l’environnement. À l’heure où la pandémie a intensifié le rôle essentiel des technos dans la vie de chacun, où le secteur a été plus florissant que jamais, se réapproprier les technologies semble plus essentiel que jamais !

Page d'accueil du collectif Tech Otherwise

Dans leur tribune, le collectif questionne ce qui motive le financement des grandes entreprises de la technologie. Les Big Tech sont toutes nées depuis des recherches publiques, rappellent-ils à la suite des travaux de l’économiste Mariana Mazzucato. Ni les investisseurs ni les grands entrepreneurs de la tech n’ont pris la majeure partie des risques, contrairement à ce qu’ils nous font croire… L’État n’a pas seulement créé les conditions qui rendent la Silicon Valley possible, il a également financé la R&D et, dans de nombreux cas, soutenu les produits de la Silicon Valley jusqu’à leur commercialisation. Malgré son rôle central, l’État a été systématiquement privé des bénéfices générés par ses propres investissements dans l’innovation. La défiscalisation et la déréglementation ont permis aux grandes entreprises de n’avoir ni à rembourser l’État ni à payer leurs contributions fiscales, et leur permettent également souvent d’éviter de payer les amendes lorsqu’elles sont reconnues coupables d’infractions. Enfin, ce sont les utilisateurs qui génèrent une grande partie de la valeur de ces entreprises : Facebook et Google vendent les profils de leurs utilisateurs, en grande partie composés de contenus créés par ces derniers. Ces mêmes entreprises exploitent nombre de ceux qui travaillent pour elles, sous forme de travaux incertains, précaires et temporaires, distribués à l’échelle mondiale dans des « environnements à faibles droits » comme les appelle Virginia Eubanks. Enfin, ces technologies créent des monopoles de fait dommageables à la société dans son ensemble. Des monopoles qui menacent nos démocraties, notamment par un lobbying intensif au profit de leur pouvoir économique et de leurs idéologies politiques, c’est-à-dire faisant pression pour que « leurs intérêts privés passent avant les intérêts publics ». Les modèles commerciaux des Big Tech influent sur les processus politiques et perturbent les formes de gouvernance conventionnelle. Les gouvernements eux-mêmes tentent d’exploiter les capacités d’analyse et de surveillance de ces entreprises à des fins de renseignement, de sécurité et de gains de productivité des services publics. En devenant les bras armés des États, ils exacerbent la surveillance, la répression et les discriminations. Les Big Tech favorisent le solutionnisme technologique, donnant la priorité aux réponses technologiques et aux systèmes de surveillance sur tout l’éventail des questions sociales, économiques, politiques et environnementales auxquelles la société contemporaine est confrontée, marginalisant les réponses les moins intensément technologiques, quand bien même elles pourraient être plus appropriées.

De ces constats, le collectif appelle à étendre le projet de redistribution des ressources, c’est-à-dire à définancer la technologie, à la suite des appels du fondateur du Citizen Lab de Toronto, Ron Deibert (@rondeibert, notamment dans son livre, Reset, éditions Anansi, 2020) ou de celui de l’écrivain Cory Doctorow (@doctorow) qui invitait à « détruire le capitalisme de surveillance » (à lire en français sur le Framablog). Pour cela, la tribune appelle les entreprises de la tech à payer leurs impôts (rappelant que ces grandes entreprises sont les principales bénéficiaires de l’évasion fiscale – estimée à 100 milliards de dollars au cours des 10 dernières années pour 6 des plus grandes entreprises du secteur, à savoir Facebook, Apple, Amazon, Netflix, Google et Microsoft… et ce alors que le président américain Joe Biden annonce vouloir lancer une taxation minimale des multinationales). À rendre transparent leur lobbying. À rendre transparents leurs pratiques et leurs impacts, notamment leurs impacts sociaux et environnementaux, tout comme leurs pratiques de revente et d’exploitation de données. À exiger l’interopérabilité des plateformes, notamment pour faciliter la « portabilité de l’identité » afin de permettre l’émergence de modèles économiques alternatifs, y compris à but non lucratif, sans retenir les utilisateurs captifs. À ouvrir le droit à la réparation des appareils. C’est à la société civile (et aux gouvernements) d’agir pour exercer la pression et la force réglementaire nécessaire pour modifier les priorités de ces entreprises et leurs fonctionnements, rappellent les chercheurs, en invitant les autorités à interdire l’accès aux marchés publics aux entreprises qui ne respectent pas ces règles. Elles doivent également relancer les lois antitrusts et limiter les fusions anticoncurrentielles. Caractériser les plateformes comme des services de plateformes en interdisant aux Big Tech de posséder et monétiser à la fois leur plateforme et leurs utilisateurs, comme le proposait Elizabeth Warren. Étendre la responsabilité des producteurs pour atténuer les dommages environnementaux et l’obsolescence planifiée. Mettre en oeuvre un régime fiscal sur leurs bénéfices excessifs et les transactions financières. Mettre fin à la surveillance massive des États et l’accès aux données des plateformes. Établir des régimes internationaux de protections des données suffisamment robustes pour abolir le modèle commercial du capitalisme de surveillance. Réduire la dépendance des institutions publiques aux Big Tech dans les secteurs de la Défense, des services publics, de l’éducation, de la santé…

Les travailleurs de la tech ont également un rôle à jouer dans ces changements. Ils doivent s’organiser pour s’opposer, veiller à la responsabilité des systèmes qu’ils développent, soutenir les lanceurs d’alertes qui dénoncent les abus et construire des alternatives. Quant aux organisations de la société civile, c’est elles qui jouent aujourd’hui le rôle de chiens de garde et sont les relais de la mobilisation la plus efficace pour faire pression sur les entreprises et les autorités. Enfin, c’est à nous en tant qu’individus et consommateurs d’être également attentifs, individuellement et collectivement, en faisant pression sur les autorités pour défendre l’intérêt de tous, en résistant aux pratiques de surveillance, en boycottant les pires services, en utilisant et soutenant des services alternatifs…

Mais surtout, clame le collectif, le définancement de la technologie doit réorienter les flux d’argent ! Il doit permettre de refinancer ce qui nécessite un traitement prioritaire : l’urgence climatique, la protection de l’environnement, la réforme démocratique, la lutte contre les inégalités sociales ou la réforme de la justice pénale… qui toutes manquent de ressources. Mais surtout, insistent-ils, il est nécessaire de se concentrer sur des développements technologiques visant à répondre aux besoins des gens tout en restant sous le contrôle de la communauté. Ce que le collectif appelle, dans un contexte très américain, la « technologie communautaire », qui tient surtout d’une coproduction de la technologie qui vise à ne pas faire « pour nous sans nous »

Ces technologies communautaires qui visent à réimaginer les infrastructures technologiques, bénéficieraient d’une redistribution des revenus des grandes entreprises technologiques. L’idée est de réorienter les modèles de financement vers le bien public plutôt que vers le profit privé, en servant mieux les intérêts individuels et collectifs. Pour cela, les chercheurs invitent à reconnaître que, de fait, les grands services technologiques sont des infrastructures de services publics, qui, à l’instar des services publics antérieurs tels que l’eau, l’électricité ou les télécommunications, ne devraient pas être exploités par des monopoles sans contraintes. Au contraire, ils « doivent répondre à des critères d’intérêts publics », notamment « être gouvernés et soumis à une obligation démocratique et rendre des comptes en tant que services publics, afin que tous puissent en profiter librement et équitablement tout en contribuant à leur orientation ». Pour les chercheurs, la technologie communautaire est « un hybride entre la gouvernance classique des infrastructures sociétales par les services publics et l’innovation communautaire ». Les innovations clés des Big Tech sont nées d’initiatives communautaires à but non lucratif, rappellent les chercheurs qui évoquent à la fois le pionnier Homebrew Computer Club ou comme le Los Angeles Community Action Network, un réseau de sans-abris devenus célèbre dans les années 90 pour avoir documenté en vidéo les violences policières à son encontre et qui reste l’un des grands acteurs technocritiques américains. Si celles-ci sont toujours actives, les initiatives non lucratives sont restées souvent marginales par manque de ressources (à l’exception notamment de Mozilla, Wikipédia et Open Street Maps… auxquels ont pourrait ajouter par exemple Internet Archive ou Signal… qui ont pour caractéristique commune de n’être pas des entreprises). Or ces initiatives qui produisent des biens communs aujourd’hui ne reçoivent pas de soutien public comparable à celui qui a pu bénéficier à d’autres époques à la fondation des écoles publiques, des bibliothèques ou des services postaux, qui n’existeraient pas sans un financement public important. Et les chercheurs d’appeler au développement d’un fonds, d’une « bourse publique démocratiquement gouvernée » pour soutenir les services numériques essentiels à tous, c’est-à-dire des biens publics de valeur, à l’image par exemple du projet Waves à Baltimore, un fournisseur d’accès à internet communautaire – les auteurs dressent d’ailleurs un parallèle entre un large éventail d’initiatives de mises en réseau communautaires, tels que documentés par le Journal of Community Informatics et la proposition d’auto-organisation organique des plateformes coopératives, telles que Turkopticon, SherpaShare, Contratados… qui permettent d’éviter les dérives liées à l’aspect propriétaire des plateformes comme la recherche de la rentabilité financière ou l’exploitation des travailleurs. Le refinancement communautaire devrait être basé sur une responsabilité plus partagée de tous les aspects du cycle de vie des technologies, de l’éducation à la réparation, mais aussi lié à une attention particulière à leurs implications sociales et environnementales. L’enjeu est de fournir des ressources au déploiement infrastructurel d’institutions démocratiques, à l’image du Conseil consultatif des citoyens sur la technologie de la ville de Seattle comme de la proposition d’une « Corporation for Public Software » proposé par les chercheurs Todd Davies et John Gastil (@jgastil) (qui fait explicitement référence à la Corporation for Public Broadcasting, l’organisme américain de soutien aux médias et contenus audiovisuels publics). L’enjeu ici consiste à promouvoir du « logiciel public » (public software), notamment des systèmes pour la délibération à l’image des initiatives de la ville de Barcelone, comme le Ciutat Refugi qui travaille à aider les réfugiés ou bien sûr, Decidim, le système de gouvernance participative utilisé désormais bien au-delà de la seule ville de Barcelone. Les logiciels publics pourraient s’étendre à d’autres enjeux, comme le développement de coopératives de données (à l’image des projets Sentilo et Decode à Barcelone là encore, permettant de mettre à disposition des données pour le bien public) ou les projets de recyclage comme Free Geek ou Reboot Canada pour fournir une informatique abordable et durable…

Changer la trame de la fabrique sociale et technologique est essentiel pour changer la technologie conclut le collectif. Qui invite à résister à l’accaparement de nos infrastructures d’information et de communication (et plus largement de nos infrastructures publiques) et à réorienter les ressources vers des initiatives orientées vers, par et avec les communautés les plus impactées par les transformations technologiques. À mesure que la technologie se diffuse toujours plus profondément et de manière de plus en plus opaque dans nos relations, dans nos environnements de vie, il est essentiel (et plus difficile) de soutenir des orientations plus critiques, réaffirment-ils.

Si la proposition du collectif Tech Otherwise est intéressante, on regrettera pourtant qu’il s’intéresse assez peu aux structures de financement de l’innovation. Pour « rediriger » le financement vers d’autres formes d’innovation, il est certainement nécessaire d’observer plus avant comment fonctionnent ces financements. La tribune a l’avantage de fixer un objectif dont il reste à creuser bien des modalités concrètes.

Hubert Guillaud


07.04.2021 à 09:00

Comment les systèmes complexes échouent-ils ?

Hubert Guillaud
En 1998, le médecin Richard Cook (@ri_cook), spécialiste de la sécurité des systèmes de santé, a écrit Comment les systèmes complexes échouent : un petit traité sur la nature de la défaillance et la façon dont la défaillance est évaluée et attribuée. Professeur émérite, il est le cofondateur du Laboratoire des (...)
Texte intégral 2117 mots

En 1998, le médecin Richard Cook (@ri_cook), spécialiste de la sécurité des systèmes de santé, a écrit Comment les systèmes complexes échouent : un petit traité sur la nature de la défaillance et la façon dont la défaillance est évaluée et attribuée. Professeur émérite, il est le cofondateur du Laboratoire des capacités adaptatives (@adaptativeclabs) et à coécrit en 2010 le livre Derrière l’erreur humaine (Routledge, 2010, non traduit).

« Tous les systèmes complexes sont des systèmes intrinsèquement dangereux », rappelle le spécialiste dans son éclairante synthèse, évoquant à la fois les transports, les soins de santé ou la production d’énergie. La fréquence d’exposition aux dangers peut parfois être modifiée, mais les processus impliqués dans ces systèmes sont eux-mêmes intrinsèquement et irréductiblement dangereux, d’où notre tendance à créer des défenses contre ces dangers. Le risque de défaillance de ces systèmes conduit à la construction de multiples couches techniques, humaines et organisationnelles pour s’en prémunir : systèmes de secours, caractéristiques de sécurité des équipements… mais également formation et information continue ainsi que la multiplication de certifications, procédures et règles… Ces mesures visent à contenir les accidents. Si ces défenses fonctionnent la plupart du temps, cependant, les défaillances catastrophiques se produisent lorsque de petites défaillances, apparemment inoffensives, se conjuguent pour créer l’occasion d’un accident systémique. C’est souvent la combinaison de petites défaillances qui provoque la catastrophe, alors que les opportunités de défaillances sont souvent bloquées par les composants de sécurité du système.

Par nature, les systèmes complexes contiennent une « mixture » de défaillances latentes. De par leur complexité même, ils ne peuvent fonctionner sans que de multiples défauts soient présents. Mais comme ils sont individuellement insuffisants pour provoquer une défaillance, ils sont considérés comme des facteurs mineurs. Leur éradication totale est souvent minorée par le coût économique que cela représenterait, mais aussi parce qu’il est bien souvent difficile de voir comment ces défaillances pourraient contribuer à un accident, isolément les unes des autres. Enfin, ces défaillances sont mouvantes : elles changent constamment en raison de l’évolution des technologies, de l’organisation du travail et des efforts faits pour les éradiquer. Le corollaire de ce constat, c’est que les systèmes complexes ne fonctionnent qu’en mode dégradé. Ils continuent de fonctionner grâce aux redondances et parce que de nombreuses personnes les font fonctionner malgré leurs faiblesses.

Tous les examens post-accidents montrent que les systèmes ont presque toujours un historique d’incidents antérieurs. « Les arguments selon lesquels ces conditions dégradées auraient dû être reconnues avant l’accident manifeste reposent généralement sur des notions naïves liées à la performance du système ». Or, les opérations du système sont dynamiques, avec des composants (organisationnels, humains, techniques) qui tombent en panne et sont remplacés en permanence. En fait, souligne Cook, la catastrophe est toujours en embuscade. « Les systèmes complexes possèdent un potentiel de défaillance catastrophique » qui peut survenir à tout moment et partout. Ce potentiel de défaillance catastrophique tient de la nature même des systèmes complexes.

Après un accident ou une catastrophe, l’enquête à tendance à chercher et à attribuer une « cause première », voire un bouc-émissaire (sur ces sujets, voir notamment « Construire pour durer ? » et l’intervention de Stefana Broadbent dans « Embrasser la complexité »…). Pour Cook, c’est là une façon d’attribuer et d’évaluer la défaillance particulièrement erronée. Les défaillances manifestes nécessitent des défauts multiples et chaque défaut isolément est insuffisant pour créer un accident. C’est leur conjonction, leur association, qui crée l’accident. Pour Cook, la recherche de « cause première » ne reflète pas « une compréhension technique de la nature de la défaillance, mais plutôt le besoin social et culturel d’attribuer la responsabilité à des forces ou à des événements spécifiques et localisés », comme le montre la recherche anthropologique sur la construction sociale de la notion de cause. En fait, post-accident, on a l’impression que les événements qui y conduisent auraient dû sembler plus importants qu’ils ne l’étaient. Cela montre que l’analyse post-accident est inexacte. La connaissance du résultat empoisonne l’observation. Pour Cook, le biais de « rétrospection » est un véritable obstacle aux enquêtes.

En fait, rappelle le médecin, les opérateurs humains ont un double rôle : ils doivent à la fois produire et faire fonctionner le système et le défendre contre ses défaillances. Ce rôle dual, dynamique, à la recherche d’un équilibre entre la production et la défaillance possible est inévitable. Quand il n’y a pas d’accident, la production est mise en avant, mais en cas d’accident, c’est la défense contre les défaillances qu’on met en avant, alors que l’opérateur lui a deux rôles à tenir ! Pour Cook, dans ce contexte, toutes les actions sont des paris, c’est-à-dire des actions qui font face à des résultats incertains. En cas d’échec, on estime que le choix a été mauvais, mais quand ça n’a pas conduit à un échec, on ne souligne pas assez que le pari était pourtant bien là. En fait, les systèmes et les organisations sont profondément ambigus, souvent intentionnellement dans cette relation entre objectifs, utilisation des ressources, économie, coûts d’opérations et risques acceptables d’accidents de faibles et de fortes gravités. Dans les systèmes complexes, les opérateurs humains sont l’élément d’adaptation. Ils adaptent le système pour maximiser la production et minimiser les accidents. L’expertise humaine est forte et change constamment. La compétence et l’expertise font partie de la fonction même du système et doit être constamment entretenue.

Le faible taux d’accidents dans les systèmes fiables a tendance à encourager les changements par l’introduction de nouvelles technologies par exemple pour réduire les défaillances à faible conséquence, mais à haute fréquence. Or, ces changements créent souvent de nouvelles opportunités pour des défaillances à faibles fréquences, mais aux conséquences élevées. Il n’est pas rare alors que des catastrophes rares aient un impact encore plus grand que celles éliminées par de nouvelles technologies. Mais ces nouvelles défaillances sont difficiles à déceler a priori : on regarde souvent le bénéfice des changements et moins les conséquences graves, parce qu’elles se produisent rarement. Si vous augmentez cela par de multiples changements, il devient difficile de voir la contribution d’un changement sur la défaillance. Mais surtout, explique Cook, la recherche de causes limite l’efficacité des défenses contre les défaillances à venir. Dans la recherche des causes d’un accident, on obstrue souvent les activités qui peuvent causer des accidents. Bien souvent, au lieu d’accroitre la sécurité, les remèdes post-accidents augmentent la complexité et donc le potentiel de défaillances latentes et leur détection. Pour Cook, la sécurité est une caractéristique des systèmes, pas une composante. La sécurité ne réside pas dans une personne, un dispositif ou une organisation, elle n’est pas un produit ou une matière première. L’état de sécurité d’un système est par nature dynamique et les changements continus des systèmes font en sorte que le danger et sa gestion évoluent également constamment. Les opérateurs créent continuellement de la sécurité, car les opérations sans défaillance sont le résultat de leur travail de maintenance permanent. Bien souvent, elle est le fruit de routines répétées, parfois de nouvelles approches ou d’adaptations inédites.

En fait, rappelle-t-il, pour qu’il y ait des opérations sans défaillance, il faut faire l’expérience des défaillances. « Reconnaître le danger et réussir à manipuler les opérations du système pour rester à l’intérieur des limites de performances tolérables nécessite un contact intime avec la défaillance », à l’image de l’entraînement des pilotes de l’air aux accidents dans des simulateurs. Pour améliorer la sécurité, il faut fournir aux opérateurs une compréhension des dangers qu’ils rencontrent (comme le pointait Nicolas Carr, notamment dans son livre, Remplacer l’humain où il insistait longuement sur l’entraînement des pilotes).

Dans un article pour Scalyr datant de 2016, une entreprise spécialisée dans l’analyse des solutions en nuage (@scalyr), Kathleen Estreich a adapté les observations de Richard Cook aux systèmes distribués en ligne. Leur défaillance est toujours à portée de main rappelle-t-elle et ce d’autant plus qu’ils sont bourrés de failles, trop souvent considérées comme mineures. Ils continuent à fonctionner grâce à diverses mesures de résiliences : bases de données redondantes, serveurs qui se mettent à jour automatiquement, surveillance des pannes… Dans les systèmes web complexes, il n’y a pas de causes premières, constate-t-elle également : les incidents requièrent de multiples contributeurs ! C’est la combinaison des causes, souvent inoffensives, qui constitue la condition préalable à un incident. Trop souvent pourtant, on a tendance à rejeter la responsabilité des erreurs sur une personne ou une procédure et à restreindre les activités mises en cause. Mais cela relève surtout de « la comédie sécuritaire » que décrivait le spécialiste du sujet Bruce Schneier : on fait jeter à tous les voyageurs qui passent aux aéroports leurs dentifrices, sans qu’il y ait de preuves que cela prévienne réellement les attentats ! Or, la complexité des systèmes web repose toujours sur des inconnues : il y a ce que nous croyons savoir, ce que nous ne savons pas et ce que nous ne savons pas que nous ne savons pas. L’incertitude n’est pas éliminable. Trop souvent, les entreprises ne disposent pas d’une politique claire concernant les risques d’incidents acceptables, ce qui fait que les décisions pour les minorer sont souvent prises en fonction de l’intuition.

Pour Kathleen Estreich aussi, l’expérience de l’échec est essentielle… Elle invite également à déclencher des défaillances de manière proactive pour mieux préparer les ingénieurs systèmes au pire et mieux comprendre la résilience des systèmes, comme le propose les méthodes de l’ingénierie du chaos (voir également ces explications). L’échec est inévitable… Pour s’y confronter, expliquait déjà Mathias Lafeldt (@mlafeldt), il ne suffit pas de changer de technique, mais bien de modifier son état d’esprit. Cela ne consiste pas seulement à forcer les systèmes à échouer, mais à mettre en lumières les faiblesses de tout système, à comprendre et gérer la complexité, à introduire une discipline expérimentale, comme l’explique une remarquable synthèse sur le sujet chez O’Reilly. Pour comprendre l’échec et le risque, il faut d’abord apprendre à jouer avec…

Hubert Guillaud


24.03.2021 à 08:00

Après la Smart City, la Dark City ?

Hubert Guillaud
La Smart City, la ville intelligente, n’a vraiment plus la cote – mais depuis le temps qu’on le répète, on peut avoir des doutes ! Apparue il y a une bonne dizaine d’années, l’idée que les nouvelles technologies allaient fluidifier nos usages urbains semble en berne. Longtemps, les collectivités locales, soucieuses (...)
Texte intégral 5599 mots

La Smart City, la ville intelligente, n’a vraiment plus la cote – mais depuis le temps qu’on le répète, on peut avoir des doutes ! Apparue il y a une bonne dizaine d’années, l’idée que les nouvelles technologies allaient fluidifier nos usages urbains semble en berne. Longtemps, les collectivités locales, soucieuses de prendre le train de l’innovation en marche, achetaient des solutions sur étagère pour entrer dans le club de la modernité. Reste qu’en même temps qu’elle déployait ses promesses, la ville intelligente a vu les critiques s’étendre, notamment autour des préoccupations relatives au respect de la vie privée, à l’image de l’annulation de l’imposant projet de Sidewalk Labs à Toronto (sur ce sujet, je renvoie aux billets de Mais où va le web@MaisOuVaLeWeb – qui expliquait en détail en 2019 les enjeux du projet et en 2020 les enjeux de l’opposition par le collectif Block Sidewalk mené par l’activiste Bianca Wylie). Si Google/Alphabet a invoqué les effets de la pandémie pour jeter l’éponge en mai 2020, le projet d’aménagement du quartier des docks de Toronto est surtout tombé sous la pression sans faille de ses opposants.

La Smart City en déshérence ?

Visiblement, la pandémie a pourtant accentué un retrait des projets de villes intelligentes, rapporte le City Monitor (@citymonitorai). Des déploiements ont été retardés ou abandonnés alors que les autorités locales ont réorienté leurs priorités et budgets vers la relance économique. Cisco a annoncé arrêter la commercialisation de son tableau de bord urbain (sur le sujet des tableaux de bord urbains, voir notamment « Les données suffisent-elles pour piloter la ville ? » et Connaître et gouverner les villes »).

Pour Nigel Jacob (@nsjacob), cofondateur du New Urban Mechanics (@newurbanmechs, blog), l’incubateur et le laboratoire d’innovation civique de la ville de Boston, les grands fournisseurs sont en train de changer de stratégie. Le City Monitor avance quelques chiffres et graphiques pour montrer le ralentissement des projets. « En 2021, l’idée que l’objectif de chaque ville devrait être de devenir plus intelligente semble douloureusement déconnectée de la réalité ». Reste, modèrent les auteurs, que les technologies ne vont pas disparaître pour autant. Les systèmes d’éclairage publics intelligents qui ont été installés, capables de s’adapter aux besoins, qui semblent rentables et durables, ne seront pas enlevés demain. Pourtant, la pandémie signe assurément la fin d’une époque.

Page d'accueil du New Urban Mechanics de Boston

Pour Story Bellows (@storybellows), du cabinet de conseil en gestion du changement urbain Cityfi (@teamcityfi, blog), voilà quelque temps déjà que les collectivités se concentrent davantage sur la création de résultats pour leurs communautés (à ce sujet, voir notamment notre lecture du livre de Ben Green, The Smart Enough City). Pour Jacob, les entreprises qui ont le plus de succès dans la vente de technologies aux collectivités locales sont désormais plutôt des petites entreprises qui proposent des solutions précises à des problèmes spécifiques et urgents, comme celles permettant de coordonner des ressources ou des systèmes de gestion de volontaires pour l’aide d’urgence. Pour Jacob, les solutions de capteurs pour la ville intelligente ne sont pas mortes, notamment avec la montée de capteurs Covid (compteurs de jauges, analyse du CO◊, caméras de prise de température, etc.), « ,mais les entreprises qui cherchent à vendre des technologies aux collectivités locales auront besoin d’un argument de vente plus percutant que le simple fait d’être « intelligent » », avance-t-il.

Changement de modèle ? Vers des villes plus sûres ou vers des villes plus agiles ?

Aux promesses d’une ville technologique intelligente et agile semble répondre désormais celle d’une ville plus froide et hostile : la Safe City, la ville sûre. Une forme de ville intelligente qui assume son idéologie, sa dérive sécuritaire. La ville est toujours bardée de capteurs et gadgets, mais désormais l’enjeu de sécurité est pleinement endossé, allant de la surveillance des individus à la prévention des risques. Comme le posait Raphaël Languillon dans un éditorial pour la Fabrique de la Cité (@FabriquelaCite), nous passons d’un modèle urbain libéral né dans la Silicon Valley à un modèle urbain autoritaire inspiré de l’hypersurveillance à la chinoise ! Un modèle que la crise épidémique bien sûr accélère.

Mais les villes en pandémie nous ont surtout montré une autre facette d’elles-mêmes : leur résilience, leur capacité à s’adapter, à se reconfigurer ! Pour s’adapter à la crise, elles ont souvent opté pour un design urbain temporaire, dont le symbole le plus éclatant a incontestablement été les pistes cyclables, les « coronapistes » comme s’en extasiait le New York Times (toutes n’ont pourtant pas été pérennisées, rapportait Olivier Razemon sur son blog dès juin 2020). Elles ont en tout cas eu plus de succès que les piétonnisations temporaires…

Les CoronaPistes vues par le New York Times

Le trottoir a été pourtant un nouvel espace de conquête, d’extension de l’espace public à l’heure où les bars et restaurants ont été autorisés à s’y étendre. Cette adaptation a, peut-être été bien plus ambigu qu’on l’a dit, comme le souligne Isabelle Baraud-Serfaty fondatrice d’Ibicity (@ibi_city) qui s’est longuement intéressée à ce sujet. Dans une interview pour Urbis Le Mag, elle souligne combien cet espace est devenu stratégique. Son encombrement est la conséquence de l’appétit des plateformes numériques qui l’ont transformé en ressource clef de leurs services : un espace à occuper, gérer et à s’accaparer ! Avec la pandémie, il s’agissait d’adapter et libérer l’espace public, comme nous y invitait dès avril 2020 l’agence Vraiment Vraiment… Ce qui suppose d’articuler l’intelligence micro-locale et la cohérence métropolitaine, de faire de l’agile, du rapide, du frugal, de l’inclusif, mais pas pour autant en mode dégradé. Nous avons vu naître une ville adaptative, bricolable, tactique, DIY (Do it yourself, à faire soi-même)… mais dont il faut pourtant mesurer les limites.

Couverture du livre de Thierry RibaultLe DIY s’est tout de même révélé comme « une maestria du bricolage piloté en temps de catastrophe », une « individualisation de l’intendance », souligne le chercheur en sciences sociales Thierry Ribault et auteur de Contre la résilience (L’échappée, 2021), dans le Monde.

Une ville adaptée… à qui ?

Reste à savoir si cette promesse d’une ville recomposée à la volée ne s’est pas perdue dans des adaptations sans cesse changeantes, si le temps long des politiques publiques ne s’est pas fracassé contre le temps court des changements incessants. La promesse d’une ville d’un coup rendue aux piétons et aux vélos a fini par générer des règles confuses. Si les rues et les trottoirs ont été un temps libéré, ce design urbain temporaire a aussi été contesté, comme le souligne le le CityLab de Bloomberg (@citylab), par exemple à Oakland où le programme de « ralentissement », de « rues pour les gens », n’a pas été reçu positivement par tous les habitants (et notamment par les communautés les plus pauvres, handicapées ou de couleurs). Pour le responsable de l’engagement communautaire du programme Just Cities, ces fermetures de rues aux véhicules ont profité aux plus riches. Même constat pour l’anthropologue et urbaniste Destiny Thomas (@drdestheplanner), dans une cinglante tribune pour City Lab : les rues sûres ne le sont pas pour les vies noires ! Face aux contestations, la ville d’Oakland a révisé son programme notamment pour que les « rues lentes » soient décidées en concertation avec les habitants. Dans d’autres villes, comme New York ou San Francisco, les habitants se sont plaints que les programmes de fermeture de rues ne s’étendaient pas aux quartiers les plus pauvres. Nombre de villes américaines en tout cas semblent avoir appris à la lueur de la crise que l’urbanisme doit apprendre à travailler avec les habitants, conclut l’article de Bloomberg. Même chose chez nous, comme le pointait le géographe Matthieu Adam (@MatthieuAdam_), chercheur au laboratoire Environnement, Ville, Société, qui a codirigé l’ouvrage Le capital dans la cité (Amsterdam, 2020) dans une tribune pour Le Monde : le vélo reste une pratique de cadres et de classes supérieures. Son développement accompagne la gentrification et renforce une conception inégalitaire de l’accès à l’espace public, rappelle-t-il.

Reste à savoir si cet urbanisme de bricolage, ce « DIY urbanism » (cet urbanisme à faire soi-même), est appelé à rester. Peut-être bien, affirme une récente tribune du City Lab qui souligne que la crise épidémique a permis à de nombreuses villes de reconquérir de l’espace pour les gens, comme la reconquête des rues aux piétons et vélos, la réaffectation de l’espace public urbain pour la restauration en extérieur ou la vente. La pandémie a favorisé la promesse souvent répétée de rues sans voitures ! Même constat pour Farhad Manjoo, l’éditorialiste du New York Times qui en juillet 2020 rêvait de villes sans voitures, comme le plus fort de la crise nous l’avait montré. Mais la reprise a depuis bien montré les limites de cette reconquête.

Reste que le coronavirus n’est pas l’aube d’une utopie urbaine ni le bon carburant d’un urbanisme plus fantaisiste qu’agile, explique Alissa Walker (@awalkerinla) dans Curbed. La journaliste rappelle combien la répression liée à la crise épidémique a bien plus frappé les plus démunis et les populations marginalisées. La réquisition des trottoirs et des rues n’a pas été équitable ! Les vendeurs de rues (quand ce ne sont pas les piétons eux-mêmes) ont été chassés pour permettre aux commerces de s’étendre. La compétition pour savoir quelle ville rendait le plus de kilomètres d’espace public aux piétons et aux vélos a surtout fait disparaître les autres besoins de ceux qui dépendent de l’accès à ces rues. « Transformer les trottoirs en restaurants revient à privatiser l’espace, en limitant l’accès à ce qui était auparavant un droit de passage public. Ouvrir une poignée de rues à un type d’utilisateur ne signifie pas que ces rues sont ouvertes à tous. » Derrière le fantasme de l’urbanisme tactique (tactical urbanism), « personne ne parle de ce à quoi ressembleront les villes lorsque la moitié des travailleurs n’auront pas d’emploi, que la majorité des petites entreprises auront fait faillite et que le nombre de sans-abri aura augmenté de 45 % ». La ville adaptative ne s’est pas adaptée à tous !

La pandémie ne devrait pas alimenter les fantasmes d'urbanistes clame l'article d'Alissa Walker

Une ville plus cloisonnée ?

Certes, durant la crise épidémique, la ville s’est plus que jamais bricolée, expliquait clairement en juin 2020 la journaliste Amanda Hurley (@amandakhurley)… À coups de films de plastiques ou de plexiglas, d’autocollants et de ruban adhésif… les bricolages ont révélé une ingéniosité locale, une forme d’urbanisme tactique désordonné, mais qui avec le temps, semble surtout avoir produit une forme de ville en attente ou pire, une ville interdite. Ces « hacks » se sont peu à peu enkystés, comme devenus permanents, mais sans plus informer de leur validité. Les changements ad hoc, impromptus, ont été déconsidérés par l’évolution incessante des règles et mesures sanitaires et policières. Amanda Hurley ne s’y trompait pas en soulignant que nombre de ces dispositifs pourraient devenir inutiles à long terme parce que nous aurions intégré les règles de villes sous pandémie. En fait, ils sont surtout devenus complexes et incompréhensibles, car changeants sans cesse, à l’image des autocollants apposés dans le métro pour contraindre à la distanciation sociale qui sont désormais devenus désuets avec le retour des voyageurs. L’urbanisme agile, tactile, a finalement bien plus éprouvé ses limites qu’autre chose ! Pire, cet imaginaire d’une ville adaptative nous a peut-être masqué finalement une transformation plus insidieuse, celle d’une ville qui tient ses habitants plus à distance qu’elle ne les a fait participer.

C’est l’idée que pointe David Banks (@DA_Banks) pour Real Life en parlant d’une ville de la souscription, où désormais tout ce que nous devons y faire nécessite une connexion. L’accès à la ville physique nécessite une inscription en ligne, à l’image des musées qui n’étaient plus accessibles aux flâneurs lorsqu’ils ont un temps rouvert, puisqu’on ne pouvait y entrer qu’en prenant un ticket en ligne. À l’heure des jauges, du rationnement des places, le numérique devient un péage pour contrôler l’accès, l’identité, l’allocation de ressources disponibles. Le QR code pour nous donner accès aux lieux publics que dessine le projet de pass sanitaire par exemple, ou la complexité du click & collect pour les petits commerces physiques, pourraient bien rendre l’accès libre et ouvert que nous associons à la vie urbaine plus entravée que jamais. À la liberté du flâneur urbain semble se profiler une ville de l’enregistrement. Banks noircit encore le tableau en imaginant une ville faite de tarifications et péages toujours plus dynamiques, une ville soumise à des niveaux de priorités différents selon ce à quoi vous êtes autorisés. Une ville des abonnés, où un ensemble technique, juridique et commercial gère la ségrégation des ressources. Des villes capables de « cloisonner des parties de la ville à la volée, sans en changer le paysage physique ».

La ville par abonnement repose sur la capacité des services à séparer les individus selon des niveaux d’accès, de services, de citoyennetés. C’est notamment le cas des applications de traçage, via les QR code qui les informent de vos déplacements parce que vous devez les scanner à l’entrée des bâtiments où vous pénétrez, comme le propose le dystopien SafeEntry lancé à Singapour. C’est le principe des passeports d’immunités également, qui annoncent un monde scannable et avec lui donc un accès différencié, où le QR Code s’apprête à être le surprenant grand gagnant de la crise, comme le remarquait très justement l’ADN.

Banks évoque également le très inquiétant Clear (@clear), un vérificateur d’identité biométrique pour les passagers des compagnies aériennes, qui permet à ceux qui souscrivent un abonnement à son service de franchir plus rapidement les contrôles de sécurité de plus de 60 aéroports et stades des États-Unis. Face à la baisse de revenus liée au ralentissement du trafic aérien, l’entreprise envisage d’étendre son service partout. Clear a même lancé à un pass santé, explique l’enquête de Dave Gershgorn (@davegershgorn) pour One Zero où l’application deviendrait l’arbitre de l’accès à la vie publique.

Clear décortiqué par Dave Gershgorn pour OneZero

Dans cette ville cloisonnée, les réponses discriminatoires se sont accentuées. À New York, explique Alissa Walker, les parcs du West Village sont restés ouverts quand ceux de Harlem ont été fermés ! « Dans la ville sur abonnement, la ségrégation sera masquée par un invisible filet de commodité et d’optimisation », explique Banks, à l’image de Whizz, une application pour aider les travailleurs des plateformes de livraisons à la demande à trouver des toilettes dans un monde où leur accès est désormais restreint.

La question de l’accès change de sens : elle glisse d’un accès en ligne à un accès au monde réel, rendant la question de la fracture numérique plus sensible que jamais ! Les applications qui aidaient autrefois les gens à réserver une table dans un restaurant deviennent le seul moyen de manger dans un restaurant ! Dans un « internet de propriétaires », la clôture numérique se referme sur chacun, comme le pointait le sociologue Jathan Sadowski (@jathansadowski, voir également « De la ville intelligente à la ville capturée »). Pour Banks, demain, nos centres-villes pourraient être restreints aux seuls abonnés d’Amazon Prime. À l’heure où nos paiements peuvent fusionner avec une vérification d’identité, de santé, d’inscription à des programmes… la ségrégation s’apprête à s’étendre au-delà des écrans en faisant se rejoindre la sécurité et la commodité, dans un monde où l’accélération technologique déborde désormais sur le monde réel.

Des villes zombies aux Dark Cities

Pour la sociologue Saskia Sassen et l’architecte Carlo Ratti (@crassociati), directeur du Laboratoire des villes sensibles du MIT (@senseablecity), le risque cependant est de nous retrouver dans des villes zombies, faites de bureaux et commerces abandonnés, à l’image des villes confinées, désertes et post-apocalyptiques. Pour les deux chercheurs, les changements qui s’annoncent sont une opportunité pour changer les politiques urbaines. Ils appellent à augmenter le « droit à la ville » d’un devoir à la ville… permettant que les actifs immobiliers soient dynamiquement réaffectés en augmentant les taxes sur les logements et bureaux vacants pour accélérer leur reconversion ou leurs usages temporaires.

Pas sûr pourtant que cet appel soit très entendu. Cette réévaluation des politiques urbaines n’est peut-être pas ce qui est en train de se passer.

Couverture du livre Machine LandscapesDans la ville en pandémie, après la ville zombie, une autre ville est apparue, comme si à la Smart City succédait une Dark City. Une ville noire ou sombre. Une ville qu’on ne voit pas ou qu’on comprend mal. Une ville qui se cache tout en laissant apercevoir ses limites, comme elle a d’un coup révélé les innombrables inégalités qu’elle dissimulait, comme les lieux de distribution de l’aide alimentaire mis en visibilité par les files d’attentes interminables d’étudiants. À l’image des dark kitchens, ces restaurants sans salles, « fantômes », ces cuisines tournées entièrement vers la livraison, accélérées par la pandémie. Ou encore des dark stores, ces supermarchés sans clients entièrement conçus pour accélérer la vente en ligne. On semble assister à la naissance d’une ville cachée, d’une ville derrière la ville, qui ne ressemble pas à ce qu’elle montre d’elle-même, à l’image des petites boutiques d’informatiques qui sont essentiellement devenues des relais de livraisons pour la vente à distance et la vente entre particuliers, sur Vinted par exemple. Une ville qui cache ses entrepôts comme elle cache ses data centers ou invisibilise les employés des plateformes de livraisons, qui sont pourtant parmi les rares autorisés à circuler sans réelles limites. Une ville qui cache ses paysages machiniques, comme le pointait l’architecte et designer Liam Young (@liam_young). Une ville qui masque les espaces construits pour en exclure les humains. Des espaces d’automatisation » comme autant de « Zones d’exclusions humaines » se répandent sur les villes. Les centres de données de Facebook nous sont totalement étrangers, alors que nous les visitons tous les jours. Comme si, des lignes d’assemblage automatisées aux centres de données, en passant par les entrepôts et serres automatisés… se construisait une ville que nous ne pouvons pas visiter, alors qu’elle structure notre expérience moderne. Dans les fermes verticales comme dans les data centers, des magasins aux espaces publics, l’être humain est le désormais le risque contaminant.

La Dark City semble à la fois fermée et ouverte, comme saisit elle-même d’injonctions contradictoires, à l’image des magasins, bars et restaurants où l’on ne peut plus entrer, mais qui restent ouverts grâce au click & collect qu’il fallait un temps soutenir, un temps empêcher, promettant une impossible transformation numérique de la ville pour pas cher. Dans la Dark City, on ne sait plus ce qui est ouvert et fermé. Même Google Maps semble désorienté.

Derrière la ville barricadée, se dessine une ville devenue brutalement et surprenamment clandestine : avec ses restaurants, salles de sports, fêtes, spectacles… Une ville à la clandestinité aléatoire d’ailleurs, où les contrôles semblent plus contingents que réguliers.

Une ville en grande partie fermée où les autorités rejettent la plupart des protocoles sanitaires proposés, mêmes les plus ou les mieux documentés (comme celui proposé par la région Nouvelle-Aquitaine pour les lieux culturels)… au profit d’une fermeture, d’un « lockdown », d’un confinement social, culturel, commercial qui dissimule d’innombrables micro-exceptions (par exemple, celle des professionnels qui conservent un accès à ce qui est interdit au quidam, ou au fait que tous les lieux clos accueillant du « public » ne sont pas soumis aux mêmes « jauges » : les écoles, les entreprises, les transports publics ne répondent pas aux mêmes règles que les magasins ou les services publics, sans compter les magasins qui ne sont pas soumis aux mêmes règles selon les produits qu’ils proposent ou leurs lieux d’implantation, à l’exemple de ceux qui sont dans des galeries marchandes…). La Dark City c’est une ville qui devient illisible, où les multiples métriques des jauges par exemple, sans cesse révisées, ne sont jamais claires ni réellement proportionnelles à l’urgence sanitaire. Dans la Dark City, les évolutions de statuts paraissent des mesures placebo, sans sciences ni bon sens, qui produit une ville sans logique, des mesures sans critères compréhensibles, où les paramètres ne cessent de se dérober à nous à mesure qu’ils se multiplient… comme face à une IA devenue folle !

Dans la Dark City, les règles ne sont plus claires, à l’image de l’extension en août 2020 du port du masque à l’extérieur à Paris à certaines zones seulement, qui faisait que l’on devait porter le masque sur certains trottoirs, mais pas d’autres où à celle plus récente d’interdiction de consommer de l’alcool dans certaines rues de Paris… Motivée seulement par une urgence sans buts, nous sommes plongés dans l’évolution dynamique et incessante des règles, dans un cumul bureaucratique inextricable, où les usagers butent sur les interdits et les autorisations jusqu’à n’y plus comprendre rien, à l’image des modalités des attestations dérogatoires… qui ont fini en partie par s’écrouler sous leur propre complexité. Dans la Dark City, la surveillance est partout punitive, toujours aléatoire, douteuse, arbitraire, à l’image des amendes laissées à l’interprétation des forces de l’ordre… Les jauges vous laissent patienter dans le froid, dehors, debout… La Dark City révèle un visage hostile : c’est une ville sans chaise où s’asseoir, sans toilettes où se soulager. C’est une ville qui régresse dans son offre, dans ses promesses, à l’image du grand retour des emballages jetables et du plastique dont on pensait être débarrassé.

La ville sombre ne semble plus du tout smart ou intelligente. Elle ne semble en tout cas plus safe, ni saine, ni sûre. Elle apparait floue, confuse à ses habitants qui la fuient, qui n’arrivent plus à suivre les efforts que la vie urbaine leur demande. C’est la ville du ruban adhésif partout, sans qu’on sache toujours clairement ce qu’il nous indique. C’est une ville où les vitrines sont tapissées d’ordres, de recommandations et de contre-ordres. C’est une ville où les installations temporaires s’éternisent. C’est une ville où les commerces s’allongent de queues interminables à l’extérieur. C’est une ville qui n’est plus accueillante à ses habitants, avec une police qui les chasse dès qu’ils s’amassent quelque part, alors qu’ils sont par nature nombreux, comme si leur densité même les avait trahis. C’est une ville qui devient illisible aux habitants, avec des interdictions complexes et fluctuantes, qui produit avec le temps une forme d’Absurdistan comme s’en amusent ou s’en désolent les réseaux sociaux ! C’est une ville fuyante, où les règles changent sans arrêt. C’est celle où la ville qui succède au jour paraît une autre ville, comme dédoublée par l’ombre d’elle-même. La Dark City est une ville que ses habitants ne comprennent plus et qui ne comprend plus ses habitants. C’est une ville qui ne semble plus aussi sûre qu’elle n’était. C’est une ville où les règles transitoires, agiles, bougent trop vite. La Dark City, c’est une ville qui cache et « en même temps » révèle sa face obscure. Une ville où les appartements deviennent nos bureaux. Une ville où plus rien n’est clair ou plus rien ne se lit. Une ville faite d’injonctions contradictoires paralysantes où ses habitants semblent déboussolés, comme s’il n’y avait plus d’orientation claire pour les guider. Une ville où on ne sait plus où elle nous emmène. Une ville masquée qui se dérobe plus qu’elle ne révèle. Une ville où l’urbanité même, le fait d’être ensemble, semble peu à peu disparaître… Dans la Dark City, c’est le sens même de la ville qui se dérobe à nous ! Une ville dont on ne sait plus quand elle desserrera ses nouveaux carcans !

Hubert Guillaud


4 / 25

25