Il est temps de refermer cette 15e saison d’InternetActu.net (@internetactu) ! Merci à tous de votre fidélité !

Cette année, nos articles (une petite quarantaine) ont réalisé en moyenne 25 000 vues (tout support confondus). InternetActu.net repose essentiellement sur 4000 à 5000 lecteurs très fidèles, qui lisent quasiment chacun de nos articles, que ce soit par e-mail, RSS ou sur le site. Une audience plus resserrée qu’il y a quelques années, notamment parce que nous avons arrêté les partenariats extérieurs et les republications. En retour, l’audience se révèle assurément moins volatile et plus fidèle – pour ce que nous en mesurons, à savoir très peu, puisque depuis 2016 nous avons supprimé tout traceurs d’audience autre qu’un simple compteur de vue par article, préférant l’autonomie et la liberté de nos lecteurs à leur contrôle, en accord avec nos convictions.

Nous espérons en tout cas que cette saison vous a nourri de sujets, de concepts, d’idées, de leviers et d’exemples pour mieux comprendre les évolutions du numérique. C’est en saisissant ses effets en profondeur que nous nous armerons collectivement pour le réorienter.

Nous avons consacré beaucoup d’articles à évoquer les risques que fait peser le numérique sur la société et notamment les dérives de l’aide sociale automatisée relatives à l’enfance, aux prestations sociales, en passant par l’extension des boites noires aux dangers de l’exécutabilité des règles, de la mal-mesure, que cela concerne la santé et la médecine comme la modération automatisée…

Nous avons plongé en profondeur dans quelques livres, toujours critiques, qui permettent de renouveler nos compréhension du numérique et de ses effets, comme Race after technology, La nouvelle guerre des étoiles, Dictature 2.0, L’âge du capitalisme de surveillance, Design Justice, Atlas of AI et Contrôler les assités…

Nous avons profondément interrogé le sens du développement informatique, sa prétendue robustesse, ses enjeux de société, les limites des méthodes prédictives, l’addiction algorithmique, les limites de l’audit algorithmique, celles de la critique, les causes de ses échecs et pannes, ses limites à auto-corriger ses propres errements, et son idéologie même.

Nous avons également instruits des questions pour retrouver des modalités d’action : l’algovernance, l’enjeu du renouveau des licences libres et celui de libérer les modes de gouvernance, interroger la question des modalités de la dé-surveillance (et ses enjeux), le levier du définancement, l’enjeu à créer une diversité de services numériques publics… et nous avons cherché à interroger les modalités possibles d’une politique numérique de gauche.

Nous avons pointé le besoin d’une mobilisation plus forte pour défaire les développements toxiques du numérique reposant sur la transparence ou son exact contraire, le risque d’une opacité sans limite ou encore l’enjeu à réparer l’ingénierie du social…

Enfin, nous avons également tenté d’instruire des questions plus difficiles liées aux transformations qu’à introduit la crise pandémique : sur la difficulté à saisir l’incertitude, sur le constat que la démultiplication des données ne fait advenir aucune vérité, sur les enjeux de la visioconférence dans laquelle nous avons tous basculés, sur la désorganisation ou encore l’avènement d’une ville de la souscription…

Nous espérons que tous ces sujets vous ont apporté de la matière pour comprendre et ré-orienter le développement technique.

Nous vous invitons à continuer à nous lire bien sûr et surtout à nous partager, à nous aider à nous faire découvrir à de nouveaux lecteurs encore et toujours, à nous référencer… Nous espérons surtout que nos propos génèrent plus de discussions demain qu’aujourd’hui, parce que plus que jamais le numérique nécessite d’être débattu, mis en question, critiqué.

Bonnes vacances à tous et à très vite !

Hubert Guillaud

La revue Terrain (@RevueTerrain, blog, index) publie un hors-série sur le « sublime bureaucratique », coordonné par les ethnologues et sociologues Emmanuel Grimaud (qui vient de faire paraître par ailleurs Dieu point zéro, PUF, 2021), Anthony Stavrianakis et Camille Noûs (@NousCamille, un pseudonyme collectif émanant du groupe RogueESR –@rogueesr – personnalisation d’une communauté académique critique issue du laboratoire délocalisé et interdisciplinaire Cogitamus – @CogitamusLab).

Un hors série qui plonge dans les formulaires et les techniques de production de la rationalité administrative, entre admiration et terreur. Dans ces exercices d’exorcisme (magnifiés de contributions graphiques provenant d’une belle diversité d’artistes pour mieux les subjuguer), les chercheurs soulignent, via nombre d’exemples, envoûtants, combien la technicité ne pourra jamais embrasser le monde. L’ensemble livre de belles épaisseurs sur l’absurdie à laquelle nous participons, que ce soit sur des objets convenus, comme Parcoursup – « Numéritocratie », une synthèse parfaite du sujet par la toujours remarquable Isabelle Bruno – , le Crédit impôt recherche – « L’équation managementale » par Nicolas Bataille qui s’intéresse aux contorsions à produire des justificatifs – , le FMI – « Dessine-moi un FMI » d’Horacio Ortiz qui s’interroge sur la difficulté à saisir une organisation par ses productions… Ou des objets qui le sont bien moins comme la formule du taux de mortalité journalier des usines à poulet en Europe – « La formule de la chimère » de Gil Bartholeyns – qui vient de publier Le hantement du monde (éditions du Dehors, 2021) qui interroge l’origine même de la production de normes. Ou encore l’incroyable article d’Etienne Bourel, « (Dé)rég(u)ler la forêt » qui s’intéresse aux diamètres minimum d’autorisation de coupe d’arbres dans l’exploitation forestière au Gabon. Les formulaires de comités d’éthique pour produire de l’éthique de Christos Panagiotopoulos dans « Déformuler » qui souligne combien la variabilité des protocoles de recherche produit d’inconsistance. Les calculs complexes du taux d’incapacité qui souligne les limites de la reconnaissance du handicap, comme si l’administration était incapable finalement de produire la sensibilité nécessaire à mesurer le sensible – « 50 nuances d’incapacité » par le groupe d’intervention Usher-Socio. Ou encore une plongée glaçante dans le formulaire de calcul du niveau de coma (le « Coma recovery scale revised ») par Sélima Chibout qui nous rappelle que plus la réalité est insaisissable, plus nous produisons des dispositifs inopérants… Ou encore ce puissant retour sur la naissance d’Excel, « La feuille qui calcule le réel » par le Recursion Lab, qui met en abîme le réductionnisme de la mise en cellule du calcul…

Nous sommes cernés par des catégorisations qui segmentent le réel sans jamais parvenir à le réduire, nous explique ce numéro. A mesure que nous recherchons plus d’efficacité, nous démultiplions les procédures certes, mais surtout les confusions… Nous éloignant toujours plus du vivant qu’on voudrait saisir. Cette « descente » dans le cœur des normes, des formulaires, des calculs, des procédures montre assurément que c’est là désormais que la politique se produit. Comme l’expliquent dans leur introduction Emmanuel Grimaud et Anthony Stavrianakis, l’envoutement se referme sur nous. « Nous ne pouvons imaginer d’autre solution » à la rationalité et à la technicité que nous mettons en œuvre, alors qu’elle ne cesse de produire ses propres limites. Nous sommes pris dans le cercle infernal de notre propre désir de règles « claires, édictées, matérialisées, formulées »… « Peut-on contrer la pulsion organisationnelle par autre chose que de l’organisation ? » Passionnant !

Hubert Guillaud

PS : nous ajouterons les liens vers les publications en ligne lorsqu’elles seront disponibles.

Pour les ingénieurs, bien souvent, la question des biais algorithmiques n’est qu’un problème technique à corriger. Le fait qu’une IA ne soit ni neutre, ni loyale, ni équitable n’est finalement qu’une question de modélisation à ajuster, de données à corriger, de calculs à améliorer…

Pour remédier aux discriminations, il suffirait finalement de calculer des mesures correctrices proportionnelles au niveau de discrimination, une discrimination positive en quelque sorte. Ce n’est peut-être pas si simple…

Kate Crawford (@katecrawford) le disait très bien : quelle correction appliquée ? La question est bien plus compliquée qu’une correction relative à des problèmes de physique, comme de corriger les turbulences d’un avion ou le freinage d’une voiture. Modéliser la société n’est pas la même chose que modéliser des problèmes de physique, disait déjà le physicien Pablo Jensen…

Reste que la question de la correction des biais des systèmes fait de plus en plus l’objet d’une attention forte des autorités. Et trouver les préjugés de l’IA est devenue une activité en plein essor pour les startups et les grands noms de la technologie, rapporte le journaliste Cade Metz (@cademetz, qui vient de publier Genius Makers, Penguin, 2021) dans le New York Times.

Le National Institute of Standards and Technology a publié récemment une proposition détaillant la manière dont les entreprises peuvent lutter contre les préjugés de leurs systèmes. Fin 2019, les régulateurs de l’État de New York ont ouvert une enquête contre United Health Group accusé d’avoir utilisé un algorithme dans des hôpitaux qui donnait la priorité aux patients blancs sur les patients noirs (et ce n’est pas le seul exemple des problèmes que l’usage de l’IA en médecine pose, cf. notre article « En médecine, l’IA est en plein essor, mais pas sa crédibilité »). Plus de 100 millions de dollars ont été investis au cours des 6 derniers mois dans des entreprises explorant les questions éthiques liées à l’intelligence artificielle, estime PitchBook, un cabinet de recherche qui suit les activités financières des entreprises. Software Alliance (@BSAnews) a proposé récemment un cadre détaillé (.pdf) pour lutter contre les préjugés de l’IA en pointant le fait que certaines technologies automatisées nécessitaient une surveillance humaine régulière. Les grandes entreprises du numérique travaillent toutes sur ces sujets et déploient des outils dédiés.

Le problème, c’est qu’il n’y a pas de solution simple pour lutter contre les biais. Pour nombre d’entreprises, construire une technologie équitable consiste surtout à ignorer les problèmes de discrimination qu’elle crée (ce qu’on appelle, d’une manière assez paradoxale, « l’équité par inconscience »). L’idée est simple : plus on apporte de données – et notamment des données les plus diverses possibles -, plus l’équité viendra. Pour la Software Alliance cependant, tout comme pour nombre de spécialistes du sujet, cet argument ne tient pas la route. Le problème n’est pas la masse de données, mais bien leur qualité, leur diversité bien sûr, qui n’est pas nécessairement assurée, mais aussi leur validité.

Le problème du problème, c’est que nous ne savons pas à quel point le problème des biais est grave, estime Jack Clark (@jackclarksf), cofondateur d’Anthropic, membre du laboratoire Human-Centered Artificial Intelligence de Stanford (StanfordHAI) et auteur de l’AI Index (@indexingai). C’est-à-dire que si nous constatons que le problème est profond, nous avons du mal à mesurer son impact et ses conséquences.

Des outils pour débiaiser ou des outils pour accélérer et réduire les coûts de la mise en conformité ?

Liz O’Sullivan (@lizjosullivan, blog), conseillère pour Arthur.ai, un système de surveillance de la performance et de détection de biais pour les outils d’IA, membre de l’American Civil Liberties Union et directrice technologique du programme Surveillance Technology Oversight Project, a construit avec Rumman Chowdhury (@ruchowdh), Parity, une technologie qui analyse les données, les technologies et les méthodes utilisées par les entreprises pour créer leurs services et identifier les « zones » à risque. Parity examine les biais, la conformité à la loi et fournit des recommandations dédiées. Mais plus que la responsabilité, Parity travaille sur le risque, une notion bien plus préhensile pour les entreprises. Parity dispose d’une bibliothèque de questions qu’elle adresse aux concepteurs des systèmes selon leurs fonctions et connaissances, des juristes aux scientifiques. Les réponses, souvent en texte libre, sont elles-mêmes analysées par des outils de traitement du langage naturel et traduit en risques, permettant souvent de montrer que les risques des uns ne correspondent pas aux risques des autres. Ensuite, la plateforme recommande un ensemble d’actions pour atténuer les risques, comme de créer un tableau de bord pour surveiller en permanence la précision d’un modèle ou mettre en place des procédures de documentation sur la manière dont il est formé et affiné. Il intègre plusieurs outils de contrôles comme AI Fairness 360 d’IBM ou les Model Cards de Google (voir notre article : « Auditer les algorithmes »). L’enjeu estime Chowdhury consiste à réduire le temps nécessaire à l’audit des systèmes pour le faire plus régulièrement et souvent, soulignant là encore, combien l’automatisation des questions de conformité (et toutes les formes d’évaluations qui les accompagne, à savoir les mesures de qualité, d’impact social et environnemental…), qui nécessitent des évaluations chronophages et coûteuses, doivent être réduites dans le but de produire des économies d’échelles et des gains de productivité. La question de l’automatisation de l’atténuation des biais relève surtout d’une automatisation de l’intégration des formes régulations. Pour Chowdhury pourtant, l’enjeu est de pousser un cran plus loin : il est de faire passer les entreprises du calcul du risque à l’analyse de leurs impacts.

Reste qu’il est finalement troublant que le « débiaisage » de l’IA utilise des technologies d’IA qui peuvent elles-mêmes être biaisées. Si ces outils sont aussi imparfaits que l’IA, ils permettent au moins de souligner certains problèmes, veulent croire les chercheuses. L’enjeu, estime Liz O’Sullivan, c’est surtout de créer du dialogue. Trop souvent le problème vient du fait qu’il demeure ignoré ou que les personnes qui en discutent ont le même point de vue. Ce qui manque, bien souvent, c’est une diversité d’approche de ces questions.

Sur son blog, Liz O’Sullivan revient par exemple sur le besoin d’équité des moteurs de recommandation. Les moteurs de recommandation aident les entreprises à prédire ce qu’elles pensent que vous aimeriez voir. Pour Netflix ou YouTube, cela se traduit par le choix de la vidéo suivante qui vous sera proposé en lecture automatique. Pour Amazon par le choix d’articles à vous suggérer dans un courriel promotionnel. Les systèmes de recommandations doivent donc prendre en compte 2 aspects d’un problème : ce qu’ils recommandent et à qui ils le recommandent.

Pour recommander des contenus, cela nécessite bien souvent d’apprendre d’une combinaison à détecter les articles similaires et les utilisateurs similaires. Les moteurs de recommandation recommandent des articles sur la base de « préjugés inductifs », selon le modèle courant que les utilisateurs qui semblent similaires dans le passé continueront à l’être dans le futur. Le problème de ce biais inductif est multiple. Tout d’abord, il favorise la popularité : quel que soit le contenu que vous recommandez à un utilisateur, tous les chemins de la recommandation mènent à la vidéo la plus populaire du jour. Grosso modo, YouTube va vous recommander la vidéo que tout le monde regarde, comme a pu l’être Gangnam Style à une époque. Le biais inductif implique de ne pas prendre de risque et de montrer ce qui a le plus plu aux autres utilisateurs. À l’inverse, bien sûr, « moins YouTube sait comment les utilisateurs vont interagir avec votre type de contenu, plus il est risqué de le promouvoir », d’où la difficulté à promouvoir des contenus très peu consultés. Bien sûr des correctifs existent. On peut favoriser les contenus récents et émergents et réduire la recommandation vers la vidéo la plus populaire. Si cela permet de favoriser les petits producteurs de contenus, le risque est de donner un avantage disproportionné à des contenus qui ne le méritent pas beaucoup, comme les contenus complotistes ou radicaux. L’IA fait un mauvais travail de prédiction dès qu’elle n’a pas beaucoup de données sur lesquelles s’appuyer. C’est hélas bien souvent le cas.

Un autre parti pris très documenté est la partialité politique, le fait que les moteurs favorisent certains types de contenus politiques ou ne distribuent pas équitablement dans la population les mêmes types de contenus. Le problème ici consiste à mesurer l’impact positif ou négatif d’une recommandation. Une publicité financière peut-être bénéfique si elle recommande le refinancement d’un prêt étudiant (à son avantage) mais nuisible dans le cadre d’un prêt sur salaire par exemple. D’où la nécessité d’évaluations qualitatives, qu’il est pourtant difficile de réaliser à grande échelle sur une multitude d’annonces.

Pour O’Sullivan, il n’y a pas de solution miracle pour atténuer ces biais, mais l’industrie devrait tout de même travailler à mieux le mesurer. Mieux évaluer la discrimination induite d’abord, comme celle produite par les choix et biais des utilisateurs eux-mêmes : « la discrimination involontaire [c’est-à-dire l’équité par inconscience] n’est plus une stratégie viable », met en garde la chercheuse.

En fait, il va peut-être falloir envisager de créer des catégories sur les contenus ou publicités en fonction de leur utilité ou nocivité, explique-t-elle. On peut par exemple distinguer des publicités proposant un enseignement supérieur selon qu’il est dispensé par des universités ou qu’il propose seulement des certifications à but lucratif… Distinguer les contenus selon ce qu’ils proposent serait effectivement une méthode de tri pertinente, mais elle implique des décisions morales et subjectives qui sont bien loin de la neutralité affichée par les plateformes. Pas sûr que grand monde sache ou souhaite de cette solution. Ensuite, il va s’agir de mesurer les recommandations selon les catégories protégées et la qualité de ce qui est recommandé – aux États-Unis, les groupes protégés sont des catégories de personnes qui disposent d’une protection spéciale pour limiter leur discrimination. Pour Liz O’Sullivan, l’atténuation des biais et préjugés est une quête sans fin nécessitant de tester ad nauseam les systèmes. C’est-à-dire « veiller, en tant que praticiens, à apporter une éthique d’amélioration continue à ces enjeux, sans jamais considérer que ce qui a été fait est « suffisamment bon » ».

Retenons pourtant de cette démonstration une précision importante : évaluer la nocivité nécessite de la catégoriser. Une proposition assez iconoclaste dans un monde où le relativisme règne en maître sous prétexte de sa neutralité, ou une publicité en vaut une autre quel que soit le produit proposé, ou l’efficacité d’un calcul est toujours évaluée par rapport aux gains financiers qu’il génère avant tout autre critère.

D’autres outils que Parity existent également pour surveiller les services d’IA, comme le rapporte la Technology Review dans un article sur les « startups de l’éthique ». Celles-ci proposent différents types de produits : des outils d’atténuation des biais à des modalités d’explicabilité des traitements. Fiddler (@fiddlerlabs), dirigé par Krishna Gade (@krishnagade), ancien responsable du News Feed de Facebook où il a développé une première base de son travail qui a donné la fonctionnalité « Pourquoi est-ce que je vois ça ? », travaille principalement sur l’explicabilité. Mais Fiddler permet également de suivre les performances des modèles en fonction de leurs résultats.

Il a même récemment introduit un détecteur de biais, qui produit des alertes si par exemple vous utilisez le code postal pour calculer un prêt immobilier ou des taux de faux positifs par catégories d’utilisateurs. Pour cela, Fiddler a développé des « métriques d’équité », basées sur les catégories légales des groupes protégés que nous évoquions ci-dessus. Par exemple, il calcule un « impact différencié » qui mesure la discrimination indirecte qui affecte de manière disproportionnée les membres d’un groupe protégé par rapport aux autres. Il calcule également la « parité démographique » : c’est-à-dire compare si les différents segments d’une classe protégée reçoivent des résultats à taux égaux. Il calcule « l’égalité des chances », c’est-à-dire évalue si toutes les personnes sont traitées de manière égale ou similaire et ne sont pas désavantagées sur la base de résultats différents. Enfin, il calcule un « avantage de groupe », c’est-à-dire détermine le taux auquel un événement particulier est prédit au sein d’un sous-groupe par rapport au taux auquel il se produit réellement.

Dans un autre billet de blog, le PDG de Fiddler explique sa collaboration avec FinRegLab, une équipe de chercheurs de l’École d’affaires de Stanford qui travaille à un système d’évaluation et d’explicabilité des outils de crédits (et notamment le fameux score Fico qui détermine les possibilités d’emprunt). Les banques et assureurs sont confrontés à plusieurs problématiques avec leurs outils : le manque de transparence quant aux raisons pour lesquelles le modèle a pris une décision, qui impacte tant ces entreprises et leurs clients que les autorités de régulation. Le manque de visibilité sur les performances des modèles en production, le risque de dérives sur les données et leur difficulté à prendre en charge les changements. Par exemple, avec la pandémie, la distribution des demandeurs de prêts s’est radicalement transformée ce qui a rendu l’évaluation du risque bien plus difficile. Les banques doivent également apprendre à gérer les biais qui peuvent se produire à l’encontre des utilisateurs finaux, pour ne pas connaître d’incidents comme celui de l’Apple Card, la carte de crédit d’Apple qui était censée désavantager les femmes par rapport aux hommes (soulignons pourtant qu’une enquête du département des services financiers de l’État de New York n’a trouvé aucune preuve concrète de ces accusations en analysant le système, rapporte Bloomberg). Enfin, dans la finance, le besoin de conformité réglementaire est assez fort… Dans son utilisation par les banques, Fiddler par exemple produit une surveillance permanente des modèles et permet de produire des alertes lorsque les modèles dérivent.

Arthur AI et Weights & Biaises proposent également des plateformes de surveillance. Le premier met l’accent sur l’explicabilité et l’atténuation des biais, tandis que le second suit les expériences d’apprentissage automatique pour améliorer la reproductibilité.

Pour O’Sullivan et Chowdury de Parity, toutes ces solutions plus ou moins concurrentes sont une bonne chose, car il n’y a pas une seule méthode pour créer de la responsabilité. On l’avait déjà constaté avec les innombrables méthodes, matrices et checks-lists existantes qui sont autant de tentatives à trouver des modalités de dialogues pour intégrer des considérations sociales aux systèmes techniques. Pour elles, soulignent-elles, l’enjeu consiste surtout à produire un écosystème qui permette d’interroger les systèmes et de montrer les implications de ces questions pour dépasser les correctifs techniques, les questions de conformité ou la mesure de risque. Comme pour mieux prendre en compte l’impact social des enjeux techniques.

Jusqu’où débiaiser ?

L’un des premiers articles (.pdf) (signé par une cohorte de jeunes chercheurs dont Tolga Boukbasi de l’université de Boston) sur le débiaisage/débruitage de systèmes par d’autres systèmes date de 2016 et portait bien sûr sur une analyse du langage pour détecter les mots genrés et leur appliquer des correctifs (plus précisément, il s’agit de comprendre les « plongements lexicaux », c’est-à-dire les associations implicites entre mots et préjugés). Sur son blog, la data scientist Mitra Mirshafiee, de la communauté de data scientist Analytics Vidhya (@analyticsvidhya, blog) revenait d’ailleurs sur cet article pour nous en expliquer la portée et les limites.

Pour elle, les systèmes d’apprentissage automatique sont en train de s’emparer du monde que nous utilisons quotidiennement et non seulement « ils reproduisent nos anciennes pensées et nos anciens schémas de pensée, mais ils les amplifient en rendant les biais plus répandus encore qu’ils n’étaient ». « Si nous ne prenons pas soin de nos algorithmes, ils continueront à étiqueter les personnes à la peau foncée comme des gorilles, à montrer aux femmes programmeurs informatiques et mathématiciennes des offres d’emploi de nettoyage et de ménage, à penser que tous les musulmans soutiennent le terrorisme, etc. »

En 2013, l’informaticien Tomas Mikolov et son équipe chez Google travaillaient à ce que les algorithmes de recherche répondent mieux aux questions des gens. Ils ont ainsi inventé word2vec, un algorithme non supervisé auto-encodeur. Ainsi, lorsqu’on lui donne une phrase, il produit pour chaque mot de cette phrase une série de nombres représentant les aspects les plus importants de ces mots. Ainsi mesurés, encastrés, on peut calculer des relations entre les mots, trouver des liens cachés. Les informaticiens ont travaillé à trouver des analogies entre les mots pour mieux mesurer leurs différences… par exemple pour calculer si l’analogie entre homme et femme était différente de celle entre femme et fille ou entre homme et fille. En produisant des analogies, ils ont ainsi remarqué que homme était lié à « informaticien »… et demandé si femme était lié à un terme comparable. Mais plutôt que de produire le terme informaticienne, la machine a répondu « femme au foyer ». En fait, ils ont ainsi montré que certains termes étaient genrés dans leur utilisation même : « libraire » s’associe plus au pronom « she » (elle) que « maestro » qui ne qualifie que des « he » (il) ! En observant comment des mots pourtant neutres en terme de genre sont associés à des genres, les chercheurs peuvent alors produire un système pour neutraliser leur connotation cachée. La démonstration de Mitra Mirshafiee est bien sûr un peu complexe, mais elle souligne comment ces calculs permettent de réduire les stéréotypes. Pas totalement pourtant : c’est toute la limite de la correction ! Elle reste limitée et incomplète. Les résultats d’atténuation sont notables, mais pas total… et restent limités à des dictionnaires terminologiques eux-mêmes élémentaires ou critiquables, qui concernent certains types de relations entre certains types de mots… Calculer et rectifier les biais de tous nos lexiques semble bien compliqué et produira peut-être des corrections… Le risque est que ce soit là un travail toujours inachevé !

D’où le fait qu’on parle bien plus de « réduction » ou « d’atténuation » de biais que de suppression… en employant via des techniques de « contraintes d’équité », de « régularisations de préjugés » ou de « débruitage contradictoire ». C’est ce que montre très bien (même si c’est là encore assez technique) les publications de la data scientist Haniyeh Mahmoudian sur les techniques d’atténuation des biais pour Towards Data Science.

L’article de Tolga Boukbasi et ses collègues a certes donné des ailes à l’automatisation du débiaisage… Pourtant, malgré quelques succès – que les techniques des startups qu’on a évoqués ici représentent parfaitement -, le débruitage demeure toujours imparfait. Le journaliste Kyle Wiggers (@Kyle_L_Wiggers) pour Venture Beat soulignait d’ailleurs que si nombre de plateformes utilisent des systèmes de détection de la toxicité du langage (notamment Jigsaw d’Alphabet/Google), ils demeurent souvent bien peu performant. Les chercheurs du Allen Institute ont étudié (.pdf) des techniques pour remédier aux déséquilibres lexicaux (le fait que des mots ou ensembles de mots soient toxiques) et dialectaux (le fait que des variantes linguistiques soient marquées comme toxiques) dans les données. Là encore, si les techniques de filtrage réduisent les biais, ils ne les éliminent jamais. Les modèles de filtrage établis continuent de marquer de manière disproportionnée certains textes comme toxiques. En fait pointent les auteurs, l’atténuation des biais dialectaux ne semble pas modifier la propension d’un modèle à étiqueter les textes d’auteurs noirs comme plus toxiques que ceux d’auteurs blancs ! Pour eux, GPT-3 (qui est pourtant l’un des modèles d’analyse linguistique le plus développé) manque certainement d’entraînement sur des variétés d’anglais afro-américains. Dans le gouffre des données, le risque est qu’il n’y en ait jamais assez sans être assuré que plus de données permettent vraiment de réparer les biais que nous ne cessons de produire.

Pour les chercheurs, le débiaisage ne suffira pas… C’est le constat récurrent que font les chercheurs de ces domaines, que ce soit les travaux de Joy Buolamwini (@jovialjoy) et Timnit Gebru (@timnitGebru) sur la reconnaissance faciale, ceux de Guillaume Chaslot (@gchaslot) et l’association Algotransparency sur les recommandations de YouTube, ceux d’Angèle Christin (@angelechristin) sur la justice prédictive… et tant d’autres, dont nous nous sommes régulièrement fait l’écho…

Même constat des chercheurs du Allen Institute. Au final, ils recommandent de mieux identifier le locuteur pour produire de meilleures corrections. Pour produire une meilleure correction des éléments lexicaux et dialectaux, il faudrait donc mieux étiqueter les textes, notamment en les catégorisant selon l’origine de leurs auteurs ! Mais cette perspective se révèle finalement plus inquiétante que les biais actuels des systèmes… puisqu’elle consiste à étiqueter sans fin les personnes sans saisir la notion culturelle des biais. Si on prolonge l’exemple d’une catégorisation de l’origine des textes, il faudrait catégoriser selon les origines de leurs auteurs… au risque de descendre dans des spécifications encore plus problématiques qu’elles ne sont ! À quelles « variétés » (sic) rattacher les textes de Ta-Nehisi Coates, Toni Morrisson, Richard Wright, James Baldwin… ?

À croire que la surproduction identitaire de l’analyse de données répond et amplifie nos névroses identitaires ! En tout cas, c’est typiquement le risque que pointait Kate Crawford dans son livre, Atlas of AI, celle d’une réduction identitaire qui risque d’encourager une mal-mesure sans fin… C’est-à-dire qu’au prétexte de vouloir corriger des biais en ajouter d’innombrables !

Pas étonnant que certains chercheurs souhaitent donc s’éloigner du concept même de biais. La chercheuse à Data & Society, Kinjal Dave (@kinjaldave7), par exemple, estime que le terme, issu de la psychologie sociale, renvoie à l’imperfection des individus, que ce soient les producteurs de systèmes comme tout un chacun, en invisibilisant le fait que les systèmes produisent non pas des biais, mais renforcent des rapports de pouvoir. Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein) dans leur livre Data Feminism, estiment que parler de biais laisse croire qu’on pourrait les corriger : elles préfèrent donc parler d’oppression. Même constat chez d’autres auteurs dont nous avons parlé comme Sasha Constanza-Chock ou Ruha Benjamin… qui parlent elles plutôt de justice, pour pointer également l’importance des rapports de pouvoir masqués par les traitements.

Ultime défiance face à ces technologies d’atténuation. Le risque que les correctifs proposés se démultiplient dans la plus grande opacité, sans qu’on soit assuré de leur efficacité comme du fait qu’ils aient été utilisés ou utilisés correctement. Qui nous assurera que les correctifs techniques ont bien été produits et appliqués ? La perspective d’une automatisation de l’éthique ne lève donc pas tous les défis du sujet !

Vers une éthique automatique ?

Un épais rapport du Pew Research Center auprès d’experts de l’IA se montre plutôt sombre… sur les perspectives à rendre l’IA éthique. Pour la majorité d’entre eux, la conception éthique de l’IA ne devrait pas être la norme avant une bonne dizaine d’années. L’optimisation des profits et le contrôle social devraient continuer à être au cœur de l’IA. Aux États-Unis, un rapport de l’agence de la responsabilité gouvernementale américaine reconnaissait que les technologies de reconnaissances faciales par exemple étaient déjà largement déployées et utilisées par nombre de services du gouvernement, s’alarmait Rachel Metz pour CNN.

Dans ce contexte plutôt sombre, l’Ada Lovelace Institute britannique (@AdaLovelaceInst) se veut plus positif. Il a organisé fin juin une série d’ateliers et de discussions pour prototyper l’avenir de l’éthique de l’IA. Pour les chercheuses Sarah Chander (@sarahchander), Erinma Ochu (@erinmaochu) et Caroline Ward (@noveltyshoe), l’enjeu, expliquent-elles en interview, n’est pas tant de rendre les systèmes moins problématiques qu’ils ne sont… n’est pas de documenter les dommages qu’ils causent, ou de débiaiser les technologies… mais d’imaginer : « si nous devions démanteler les technologies de surveillance, la domination, l’extraction, qu’y aurait-il à la place ? Qui a le droit d’écrire ce futur ? »

On se souvient, il n’y a pas si longtemps, de l’éviction de Timnit Gebru de Google pour avoir tenté de mettre un peu de responsabilité et d’éthique chez Google, lié à la publication d’un article critique des développements de GPT-3. Le licenciement de Timnit Gebru, pour emblématique qu’il soit, rappelle d’autres tensions, pointe le journaliste Tom Simonite (@tsimonite) dans un remarquable et détaillé article pour Wired sur son parcours et son éviction. Dans l’industrie minière ou chimique, les chercheurs qui étudiaient la toxicité ou la pollution pour le compte des entreprises exploitantes, n’ont jamais été très bien considérés. Pour l’instant, dans le jeune domaine de l’IA, les chercheurs qui étudient ses méfaits occupent encore bien souvent une place centrale dans les entreprises. Il est possible que le bruyant licenciement de Timnit Gebru de Google en signe la fin, explique le journaliste.

En 2016, Google avait publié un premier article de recherche sur l’équité de l’IA, un article qui tentait d’apporter des réponses pour corriger les réponses afin que l’évaluation du risque à ne pas rembourser un prêt offre un traitement égal aux individus, indépendamment de leur sexe, de leur race ou de leur religion. Dans son article, Simonite souligne les hésitations internes de Google à s’aventurer sur ces sujets, ainsi que le fait que le travail de Timnit Gebru et Margaret Mitchell (@mmitchell_ai, qui a également été remerciée) sur les questions de responsabilité avaient du mal à être intégrées à la culture Google.

Après la fronde contre Maven, le contrat controversé passé avec le Pentagone, Google a publié de grands principes pour guider ses travaux sur l’IA. En octobre 2019, Google a lancé BERT, un système d’apprentissage automatique permettant de mieux comprendre les requêtes longues et complexes et leur contexte, en travaillant depuis des volumes de textes plus grands. En mai 2020, OpenAI (@openai) a lancé GPT-3 qui avait ingéré plus de données que Bert et pouvait générer des textes d’une plus grande fluidité (nous somme là assurément dans une course à la puissance : Bert avait avalé quelques 3,3 milliards de mots, quand GPT-3 en digère près de 500 milliards – que les ingénieurs ont récupérées sur le Web, la source la plus facilement disponible à l’échelle nécessaire). Mais les ensembles de données étaient si volumineux que les assainir, ou même savoir ce qu’ils contenaient était une tâche trop ardue. Il s’agissait d’un exemple extrême du problème contre lequel Timnit Gebru avait mis en garde la communauté dans une de ses recherches, à savoir la nécessité de produire, pour chaque ensemble de données, une fiche technique les documentant (qui a visiblement contribué activement à la naissance des Google Model Cards). Alors que Google travaillait à la construction de successeurs encore plus puissants à Bert ou GPT-3, l’équipe chargée de l’éthique de l’IA chez Google a commencé à étudier les inconvénients de ces technologies. En septembre 2020, en interne, des responsables de Google se sont réunis pour discuter de l’IA responsable sans que des représentants de son équipe éthique soient conviés. Au même moment, les chercheurs de l’équipe éthique mettaient un point final à un article critique sur « Les dangers des perroquets stochastiques : les modèles linguistiques peuvent-ils être trop grands ? » qui soulignait les limites des modèles statistiques utilisés et le risque à répéter du « mauvais » langage, c’est-à-dire, des biais, des erreurs et des fautes en les amplifiant. L’article soulignait les difficultés à documenter les biais d’ensembles de données de plus en plus vastes, mais surtout, estime Gebru, critiquait ouvertement une technologie au fort potentiel commercial. Comme l’explique très bien le chercheur Olivier Ertzscheid (@affordanceinfo2) sur son blog où il revenait également sur les enjeux de ces travaux : « le danger est que nous devenions autant de « perroquets stochastiques » à force de mal manipuler des modélisations de la langue trop denses, massives et étendues ».

Depuis l’éviction de son équipe dédiée à l’éthique (qui a entraîné aussi quelques démissions par rebond), si l’on en croit Tom Simonite, le département de recherche de Google est déchiré par la méfiance et les rumeurs. Pour le journaliste, les perspectives de recherche « ouvertes d’esprit » sur la question de l’éthique de l’IA se sont assombries. Pour Luke Stark (@luke_stark), « les grandes entreprises technologiques ont essayé de prendre le dessus sur les régulateurs et les critiques du public en adoptant l’idée de l’éthique de l’IA ». Mais à mesure que la recherche a mûri, elle a soulevé des questions plus importantes. « Les entreprises sont devenues moins aptes à coexister avec la recherche critique interne », estime-t-il.

Depuis le drame, des chercheurs qui ont fondé une revue sur l’éthique de l’IA ont lancé un appel pour que les publications des chercheurs en IA travaillant pour des industries du secteur soient plus transparentes sur leurs travaux. Mais la suspicion sur les travaux menés par les entreprises du secteur pourrait s’installer, un peu comme la recherche industrielle sur la pollution est peu considérée par les spécialistes de l’environnement, notamment pour ses collusions, voire surtout ses dissimulations éhontées… À la dernière conférence annuelle des développeurs de Google, l’entreprise a annoncé que les grands modèles de langage qu’elle développe joueraient à l’avenir un rôle central. Une annonce balayant les critiques. Pour Meredith Whittaker (@mer__edith), directrice de l’AI Now Institute, le message de Google est clair pour ceux qui veulent mener des recherches sur la responsabilité : « nous ne les tolérons pas ». Des menaces inquiétantes, d’autant que les emplois en dehors des grandes industries du secteur sont rares.

Pour Inioluwa Deborah Raji (@rajiinio) de la Fondation Mozilla, l’échec de Google à se réformer rend désormais tout le monde conscient que la responsabilité doit venir de l’extérieur. Timnit Gebru, quant à elle, collecte désormais des fonds pour tenter de lancer un institut de recherche indépendant.

Si Google n’est plus « the place to be », peut-être que la question de l’éthique de l’IA sera récupérée par d’autres ? En ce moment, souligne la journaliste Anna Kramer (@anna_c_kramer) pour Protocol (@protocol), les regards se tournent vers Twitter qui vient de créer Meta.

En 2020, Ariadna Font Llitjos (@quicola), responsable des équipes d’apprentissage automatisé de Twitter – qui relève de Twitter Cortex, qui gère toute l’IA de l’entreprise – estime que la recherche sur l’éthique pourrait transformer l’entreprise. Elle propose donc de construire une équipe dédiée, Meta (pour Machine learning, Ethics, Transparency and Accountability) et convainc Jack Dorsey, le PDG de Twitter de faire de la responsabilité la priorité de Twitter. Rumman Chowdury a quitté Parity pour devenir la responsable de Meta. Kristian Lum (@kldivergence) et Sarah Roberts (@ubiquity75) ont rejoint l’équipe. L’enjeu : travailler depuis les propositions des chercheurs pour réellement agir sur la promesse de Twitter !

Depuis la création de Meta, Twitter a pris des premiers engagements, via son initiative pour un apprentissage automatisé responsable, où l’entreprise s’est engagé à partager publiquement la façon dont elle prendra des décisions sur ses algorithmes (ce que l’entreprise a fait par exemple sur son algorithme de recadrage d’image qui a été supprimé en donnant un plus grand contrôle aux utilisateurs sur la façon dont les images apparaissent avant publication tout en permettant de « réduire la dépendance à l’égard du Machine Learning pour une fonction, qui, nous en convenons, est mieux réalisée par les personnes utilisant nos produits », expliquait Rumman Chowdury). L’enjeu pour l’instant consiste à mieux définir les problèmes que rencontrent les utilisateurs. Pour Chowdury, l’enjeu, au-delà de la transparence publique sur les travaux engagés, est de créer un système de règles et d’évaluations qui soit une sorte de « gouvernement » sur les modèles et permette d’empêcher les préjudices aux utilisateurs de se produire, plutôt que de tenter de les corriger a posteriori. Meta se veut une équipe de création de connaissances plus qu’une force de police des algorithmes, conclut Anna Kramer. On espère que l’équipe saura relever le défi qui l’attend !

Ce que racontent ces histoires, c’est certainement que l’automatisation de l’éthique n’est pas si assurée, en tout cas, elle ne se fera pas sans éthique personnelle, sans engagements des équipes et des responsables des systèmes techniques. L’éthique de l’IA tient assurément d’un dialogue, d’une discussion entre la technologie et la société. Reste à savoir quelle direction ces recherches vont prendre… Entre l’hystérisation des calculs dans des systèmes toujours plus vastes, spéculant en boucle sur eux-mêmes ou leur réduction sous forme d’une première « dénumérisation », comme le propose pragmatiquement Rumman Chowdury pour Twitter, la gamme d’évolution est ouverte. Plus qu’une perspective d’automatisation de l’éthique (qui ne semble pas très éthique), et si l’avenir était plutôt de trouver les moyens pour dire que le recours à l’IA n’est pas – et ne devrait pas être – automatique ! C’est en tout cas là une perspective bien plus stimulante que la première, vous ne trouvez pas ?

Hubert Guillaud

Dans une longue interview pour le magazine belge Agir par la culture (@agirparculture), je tente de poser des pistes pour repolitiser la question numérique…

À l’heure où les réponses légales sont trop mouvantes, où les réponses techniques sont contournables, où les réponses économiques ne concernent pas du tout les déploiements techniques, où les réponses éthiques sont limitées, comment contenir ce que le numérique optimise trop bien ? Comment limiter et contraindre le délire calculatoire qui vient ?

« L’enjeu à venir à nouveau consiste à faire des choix de société sur ce que nous devons numériser, ce que nous devons dénumériser et comment. Mais la réponse à ces questions n’est pas numérique, mais bien politique : comment étendre les protections sociales et environnementales ? Que devons-nous définancer ? Que devons-nous refuser de moderniser ? Où devons-nous désinnover ? Si on regarde le monde numérique à l’aune de sa durabilité, ce monde n’est pas soutenable. Si on le regarde à l’aune de ses enjeux démocratiques ou sociaux, le numérique ne produit pas un monde en commun. Il va donc falloir refermer des possibles que le numérique a ouverts. La surveillance, la fausse efficacité qu’elle promet ne propose que du contrôle, de la répression, des discriminations, de la sécurité au détriment de la liberté, de l’équité, de l’égalité. On ne fait pas société seulement en calculant son efficacité maximale ! »

En espérant que cette contribution livre quelques pistes d’action !

Hubert Guillaud

En 2019, pour le magazine Commune, l’ingénieur et membre de la coalition des travailleurs de la tech (@techworkersco – voir également Collective Action In Tech et @tech_actions) Jimmy Wu (@jimmywu) revenait sur la question de l’optimisation. Qu’est-ce que le numérique optimise ?

Alors que la tech rencontre une contestation inédite, l’éthique de la technologie bénéficie d’un vif regain d’intérêt, explique Wu. Le but : apporter aux professionnels de la technologie une conscience sociale… pour redresser la crédibilité du secteur ! « Pourtant, en positionnant l’éthique comme la boussole morale de la technologie, l’informatique académique nie le fait que ses propres outils intellectuels sont la source du pouvoir dangereux de l’industrie technologique ». Pour Wu, le problème réside dans l’idéologie même de la tech. « Ce n’est pas seulement que l’enseignement de l’ingénierie apprend aux étudiants à penser que tous les problèmes méritent des solutions techniques (ce qui est certainement le cas) ; le programme est surtout construit autour de tout un système de valeurs qui ne connaît que les fonctions d’utilité, les manipulations symboliques et la maximisation des objectifs. »

L’informatique, une idéologie du statu quo ?

Wu raconte avoir assisté au premier cours sur l’éthique des données proposé par Stanford au printemps 2018. Dans un exercice proposé aux élèves, l’enjeu était d’interroger un jeu de données provenant d’un site web qui avait révélé les noms des donateurs à des organisations qui soutenaient le seul mariage hétérosexuel. Les étudiants étaient appelés à faire des propositions pour résoudre le problème. Pour Wu pourtant, le problème n’était pas la question de la granularité des données (c’est-à-dire jouer sur la visibilité du montant des dons par exemple, comme de faire passer l’obligation d’afficher les noms des donateurs à partir d’un montant plus élevé pour éviter qu’ils soient pointés du doigt, comme le proposaient des étudiants) qu’un enjeu politique qui consiste à organiser la politique depuis des dons financiers. Cette proposition à sortir du seul cadre des paramètres accessibles a mis fin aux discussions. Pour Wu, ce petit exemple illustre à lui seul « l’idéologie du statu quo » qui structure l’enseignement de l’informatique. C’est comme si en informatique, l’enjeu premier était de ne pas prendre parti ou de ne pas faire de politique… Comme si tout n’était question que de paramètres à régler.

La science informatique a visiblement largement intégré la discipline de l’esprit qu’évoquait Jeff Schmidt dans son Disciplined Minds (2000, non traduit), un livre qui critiquait justement la socialisation et la formation des professionnels qui consiste trop souvent à ne pas faire de vagues. En 4 ans d’informatique à Berkeley et Stanford, rapporte Wu, à l’exception d’un cours d’éthique, les enseignants ne nous ont jamais suggéré d’examiner de manière critique les problèmes techniques, souligne-t-il. « Les questions dites « douces » sur la société, l’éthique, la politique et l’humanité étaient silencieusement considérées comme intellectuellement inintéressantes. Elles étaient indignes de nous en tant que scientifiques ; notre travail consistait à résoudre les problèmes qui nous étaient soumis, et non à nous demander quels problèmes nous devions résoudre en premier lieu. Et nous avons appris à le faire bien trop bien. »

Pour Wu, l’enseignement technique est directement responsable du technosolutionnisme. Des programmes d’études qui exposent « la primauté du code et des manipulations symboliques engendrent des diplômés qui s’attaquent à tous les problèmes sociaux à l’aide de logiciels et d’algorithmes ». En cours d’éthique, les questions de politiques et d’orientation étaient réduites à des problèmes techniques. Wu fait référence à un cours très populaire sur l’optimisation mathématique donné par Stephen Boyd à Stanford. « Dans le monde de l’informatique et des mathématiques, un « problème d’optimisation » est toute situation dans laquelle nous avons des quantités variables que nous voulons fixer, une fonction objective à maximiser ou à minimiser, et des contraintes sur les variables ». Pour Boyd d’ailleurs « tout est un problème d’optimisation » ! Tout peut être modélisé, tout peut-être exprimé en fonction d’un critère d’utilité selon des critères plus ou moins grossiers. Une affirmation des plus banales pour ces étudiants. Pour Wu, nous sommes là face à un marqueur de l’état des sciences informatiques.

L’optimisation n’est pas récente, rappelle-t-il. Elle est née avec la Seconde Guerre mondiale et est devenue un passage obligé des sciences informatiques. La question des algorithmes d’optimisation est arrivée à maturité au milieu du XXe siècle, avec le développement de la programmation linéaire qui a permis de faire des progrès sur des problèmes allant de l’allocation des biens au routage logistique. En URSS, sous la coupe de son inventeur, Leonid Kantorovich, elle est devenue un outil central de la planification dès les années 60. En Occident, elle s’est déployée dans l’expédition et le transport. Des deux côtés du rideau de fer, longtemps, « l’optimisation a été déployée dans des contextes résolument non marchands », pour la planification notamment. Mais depuis le début du XXIe siècle, elle a été remodelée pour être utilisée par nombre d’applications, notamment commerciales. Désormais, aidés par l’IA et l’apprentissage automatisé, entreprises, armées et États exigent des algorithmes rapides, efficaces, sûrs, mais aussi intelligents, réactifs. Tout est en passe d’être exprimé à l’aide de variables, de contraintes et de fonctions objectives, puis résolues à l’aide d’un logiciel d’optimisation.

Cette prise de contrôle de l’optimisation se reflète sur les campus au vu du nombre d’inscriptions à ces cours. À Stanford toujours, au Huang Engineering Center, à quelques centaines de mètres de là où enseigne Boyd, Andrew NG (@andrewyng) donne des cours sur le Deep Learning où se pressent des milliers d’étudiants. Son cours porte sur les réseaux neuronaux profonds. Ici, les paradigmes d’optimisation ne sont pas de type planification, car les modèles n’ont que les contraintes qu’ils découvrent eux-mêmes. Une fois entraîné, le modèle est exécuté sur des échantillons de données. Si les résultats sont médiocres, le concepteur modifie les paramètres ou affine l’objectif. « L’ensemble du processus de formation d’un réseau neuronal est si ad hoc, si peu systématique et si embarrassant, que les étudiants se demandent souvent pourquoi ces techniques devraient fonctionner. » Personne ne sait très bien leur répondre, mais soyez-en assurés, elles fonctionnent ! « L’étude de l’apprentissage automatique offre une révélation stupéfiante : l’informatique du XXIe siècle manie, en réalité, des pouvoirs qu’elle comprend à peine » !

L’informatique, c’est de l’économie sans les questions politiques

Le seul autre domaine qui semble à la fois en savoir autant et si peu est l’économie, explique encore Jimmy Wu. La comparaison est à raison : cette optimisation en roue libre et heuristique rappelle la façon dont l’économie elle-même est comprise. « Plutôt que de considérer l’optimisation comme une planification, nous cherchons à libérer la puissance de l’algorithme (le marché libre). Lorsque les résultats ne sont pas ceux escomptés, ou que l’algorithme optimise son objectif (le profit) avec beaucoup trop de zèle à notre goût, nous corrigeons docilement ses excès rétrospectivement avec toutes sortes de termes secondaires et de réglages de paramètres (taxes, péages, subventions). Pendant tout ce temps, le fonctionnement interne de l’algorithme reste opaque et sa puissance de calcul est décrite en termes de magie, de toute évidence compréhensible uniquement par une classe de technocrates doués et suréduqués. »

« Lorsqu’on entre dans le « monde réel », la perspective acquise grâce à ces formations en informatique s’intègre parfaitement à l’idéologie économique dominante. Après tout, qu’est-ce que le capitalisme néolibéral sinon un système organisé selon un cadre d’optimisation particulièrement étroit ? » « À l’école, on nous a dit que tout problème pouvait être résolu en tournant les boutons algorithmiques de la bonne manière. Une fois diplômés, cela se traduit par la conviction que, dans la mesure où la société a des défauts, il est possible d’y remédier sans changement systémique : si l’accumulation du capital est le seul véritable objectif et que le marché est un terrain de jeu infiniment malléable, il suffit de donner aux agents individuels les incitations appropriées. Pour réduire l’utilisation du plastique, ajoutez une surtaxe sur les sacs d’épicerie. Pour résoudre la crise du logement, relâchez les contraintes imposées aux promoteurs d’appartements de luxe. Pour contrôler la pollution, fixez un prix de marché en utilisant un système de plafonnement et d’échange. »

« À un niveau élevé, l’interprétation computationnelle de l’économie moderne ressemble à ceci : une économie peut être considérée comme un gigantesque problème d’optimisation distribuée. Dans sa forme la plus élémentaire, nous voulons décider quoi produire, combien payer les travailleurs et quels biens doivent être alloués à qui – ce sont les variables du programme d’optimisation. Les contraintes consistent en toute limite naturelle sur les ressources, la main-d’œuvre et la logistique. Dans le capitalisme primitif du laissez-faire, l’objectif à maximiser est, bien entendu, le profit ou le produit total. »

« Le péché originel du programme capitaliste est donc qu’il optimise non pas une certaine mesure du bien-être social ou de la satisfaction humaine, mais une quantité qui ne peut être qu’un lointain substitut de ces objectifs. Pour remédier aux dommages considérables causés par cette mauvaise formulation, les démocraties libérales d’aujourd’hui cherchent à concevoir un programme plus nuancé. Le profit constitue toujours le premier terme de l’objectif, mais il est désormais accompagné d’un éventail impressionnant de termes secondaires modifiables à l’infini : imposition progressive des revenus pour ralentir l’accumulation des richesses, taxes et subventions pigouviennes pour guider le comportement des consommateurs, et marchés d’émissions financiarisés pour freiner la désintégration rapide de la planète. Lorsque les carottes et les bâtons du marché ne suffisent pas, les gouvernements tentent d’imposer des réglementations, en introduisant des contraintes supplémentaires. Ces solutions politiques suivent précisément la même logique que les exercices qu’on nous propose en classe sur les réglages algorithmiques. »

Wu rappelle qu’il n’est donc pas étonnant que le rôle sociétal des algorithmes fasse l’objet de nombreux débats. Il n’y a pas si longtemps encore, les gens pensaient que les algorithmes étaient politiquement neutres ou ne présentaient pas de danger fondamental pour les humains. Comme la révolution industrielle précédente, cette révolution était considérée « comme un fait impersonnel de l’histoire économique, et non comme quelque chose qui discriminait activement certaines populations ou servait de projet à la classe dirigeante ». En 2013, quand on évoquait des biais dans les modèles, on estimait que c’était une question purement statistique dépourvue du moindre jugement moral. Depuis 4 ou 5 ans, la critique s’est emparée de la question des boîtes noires algorithmiques, montrant qu’elles excluaient nombre de personnes des services sociaux… La fausse neutralité et objectivité des calculs ont été démasquée, constate Wu. Un nouveau parti-pris a émergé qui reconnaît qu’en pratique, les algorithmes comme les données encodent des partis-pris.

Pour Wu néanmoins, ce nouveau parti-pris continue de faire l’apologie de la « tyrannie informatique ». Il reste sans idéologie !

Le problème c’est les programmeurs humains et les données ! Pas le fait que l’informatique travaille à améliorer et automatiser le monde… Or, comme le soulignait le philosophe Mark Fisher (Wikipedia), ce « réalisme capitaliste » (Entremonde, 2018) relève précisément de l’idéologie. La tâche qui reste à l’informatique comme au capitalisme, c’est « d’affiner le système au mieux de nos capacités »… À calculer encore et toujours leur efficacité maximale, les systèmes pourraient bien tourner en rond !

Les contributions du monde universitaire au capitalisme sont essentiellement venues de l’économie, notamment des partisans ultralibéraux de l’École de Chicago, explique encore Jimmy Wu. Mais ces contributions comportaient une limite majeure : l’économie reste une arène de débat, de désaccords…

L’informatique lui est bien supérieure, ironise l’ingénieur. « Elle enseigne les axiomes et les méthodes du capitalisme avancé, sans les questions politiques qui peuvent se poser en économie ou dans d’autres sciences sociales. Dans sa forme actuelle, l’informatique est un véhicule d’endoctrinement réussi pour l’industrie et l’État, précisément parce qu’elle apparaît comme leur contraire : un domaine sans valeur qui incarne à la fois des mathématiques rigoureuses et une ingénierie pragmatique. C’est le pourvoyeur idéal du réalisme capitaliste pour une époque sceptique ; une science de droite qui prospère dans notre ère post-idéologique. »

Peut-on, doit-on, faut-il défaire l’ordinateur et ses sciences ? Le débat oppose deux camps, simplifie Jimmy Wu. D’un côté l’élite traditionnelle qui ne voit pas même le problème. De l’autre, des « humanistes de la technologie », une alliance peu structurée de fonctionnaires critiques, de médias, de chercheurs, d’ONG et de repentis de la tech… qui pensent que les pratiques technologiques peuvent être apprivoisées par une politique plus éclairée, des pratiques d’ingénieries réformées et un peu plus d’éthique… Mais les deux parties partagent finalement la même vision, même si l’un a un visage plus aimable que l’autre : « celle d’une société dominée par une aristocratie technique qui exploite et surveille le reste d’entre nous ». L’informatique universitaire file les mêmes contradictions : le matin, un étudiant peut assister à un exposé sur la maximisation publicitaire et le soir construire une base de données pour une association locale…

Avons-nous besoin d’une autre informatique ?

L’ingénieure repentie, Wendy Liu (@dellsystem) en appelait dans le magazine socialiste britannique Tribune (@tribunemagazine) à « abolir la Silicon Valley » (elle en a depuis fait un livre : Abolir la Silicon Valley : comment libérer la technologie du capitalisme, Repeater Books, 2021, non traduit). Elle n’appelait pas par là à un rejet naïf de la technologie, mais à sa régulation, à sa transformation en un secteur qui soit financé, détenu et contrôlé par la société dans son ensemble et non plus seulement par quelques actionnaires.

Pour Wu, ce réformisme ne suffit pas. Il est nécessaire de mettre en cause ce qui sous-tend cette prise de pouvoir économique sur le monde. « La Silicon Valley n’existe pas dans un vide intellectuel : elle dépend d’un certain type de discipline informatique. Par conséquent, une refonte de la Silicon Valley par le peuple nécessitera une informatique « populaire » ». C’est-à-dire une autre informatique et une autre vision de l’informatique, soutient Jimmy Wu. Nous en sommes pourtant encore très loin. « Aujourd’hui, les départements d’informatique ne se contentent pas de générer le « réalisme capitaliste », ils sont eux-mêmes gouvernés par lui. » Le financement de la recherche en informatique est totalement dépendant des géants de l’industrie et de la défense. La recherche est guidée par les seules applications industrielles. Et tout ce beau monde nie que l’informatique contemporaine soit une entreprise politique (quelles que soient ses intentions apolitiques affichées). Pour remédier à ce brouillard idéologique étouffant, nous devrions construire une « informatique communiste », soutient Jimmy Wu. Il termine en l’esquissant à grand trait : à savoir que seuls les projets au service direct ou indirect des gens et de la planète devraient pouvoir être financés, en invitant à imaginer des algorithmes pour la planification économique participative, pour estimer le temps de travail socialement nécessaire, pour créer des chaînes d’approvisionnement locales… « La froide science de l’informatique semble déclarer que le progrès social est terminé – qu’il ne peut y avoir désormais que du progrès technologique. Pourtant, si nous parvenons à arracher le contrôle de la technologie à la tour d’ivoire de la Silicon Valley, les possibilités de la société post-capitaliste sont apparemment infinies. Le mouvement des travailleurs de la technologie du XXIe siècle est un véhicule plein d’espoir pour nous amener vers de telles perspectives ! Il est certes encore naissant, mais il est de plus en plus une force avec laquelle il faut compter, et, au risque de s’emballer, nous devrions commencer à imaginer le futur que nous souhaitons habiter. Il est temps de commencer à conceptualiser, et peut-être à prototyper, l’informatique et l’information dans un monde de travailleurs. Il est temps de commencer à concevoir une nouvelle science de gauche. »

Reste à savoir si la lutte contre les dérives des technologies (le techlash des employés de la tech) ou la prise en compte des questions écologiques suffiront à mobiliser les « agents de la société technicienne » comme le dit très bien le dernier numéro de Socialter (@socialter) ?

Si l’on en croit le dernier livre du sociologue Jamie Woodcock (@jamie_woodcock), Le combat contre le capitalisme de plateforme (Press de l’université de Westminster, 2021, non traduit), les travailleurs des plateformes parviennent à organiser de plus en plus d’actions collectives et à renforcer la solidarité transnationale, explique le politologue James Muldoon (@james_muldoon_) pour le blog de la London School of Economics (@LSEReviewBooks). En Europe, expliquait récemment The Guardian, la sécurité des travailleurs des plateformes progresse, tout comme le déploiement des plateformes coopératives, notamment autour de Coopcycle qui fédère plus de 67 coopératives dans 7 pays. La France semble plutôt tenir de l’exception en la matière, puisque malgré les jugements récents, les plateformes continuent à opérer par l’auto-entrepreneuriat.

Reste que l’horizon d’une nouvelle informatique qu’esquisse Jimmy Wu semble encore loin !

Défaire l’optimisation ?

Dans son dernier livre Undoing Optimization : Civic Action in Smart Cities (Yale University Press, 2021, non traduit), la chercheuse Alison Powell (@a_b_powell, blog), qui est également la responsable du programme et réseau de recherche sur l’éthique de l’IA, Just AI (@justainet, blog), de l’Ada Lovelace Institute, rappelle que les données ne sont pas gratuites, qu’elles ne sont pas exemptes de déséquilibres de pouvoir. Comme elle l’explique dans une tribune pour la LSE, cette optimisation configure des rationalités, notamment le fait que les décisions opérationnelles soient basées sur des données disponibles. Pour elle, pour défaire l’optimisation, nous devons nous concentrer sur les frictions, les lacunes, les erreurs… Comme le propose l’anthropologue Anna Tsing, les frictions produisent des relations de négociation inédites. Pour Powell, « les relations de pouvoir inégales autour des données pourraient générer de nouvelles opportunités de changement social ».

Pour Powell, nous ne sommes pas suffisamment attentifs à la manière dont les technologies se superposent les unes aux autres. À la fin des années 90, la vogue était au citoyen en réseau, à l’individu connecté qui s’engage dans la ville grâce à la connectivité. L’accès est alors devenu une demande et a aussi produit (à la marge) quelques projets politiques (comme les réseaux communautaires sans fil, voir « Avons-nous besoin d’une vitesse limitée sur l’internet ? »). La démultiplication des données et des systèmes de capteurs connectés ont permis une collecte sans précédent et une forme d’optimisation de la vie urbaine en temps réel… Mais pour Powell, cette optimisation n’aborde pas la conception coercitive des applications qui servent à la collecte de données justement. Quand la ville intelligente donne la priorité aux données, l’optimisation produit une surveillance constante, incompatible avec les libertés collectives.

Au lieu de cela, les points de friction ouvrent une autre perspective et permettent de limiter l’objectif d’une optimisation sans limites. Pour la chercheuse, il est ainsi nécessaire d’interroger l’optimisation, de savoir « pour qui ce n’est pas optimal » justement. Pour Powell, nous devons travailler à des alternatives à l’optimisation. Elle propose un exemple, celui du projet Connected Seeds and Sensors – un projet londonien qui explore comment l’internet des objets peut soutenir la consommation et la production d’une alimentation durable – qui montrent que les données collectées sur les semences ne parviennent pas à être exhaustives. Le savoir n’est pas réductible aux informations. Pour la chercheuse, pour nous défaire de l’optimisation, nous devrions considérer que la friction est bien plus nécessaire pour créer de bonnes relations. Ensuite, nous devrions travailler à limiter la collecte de données plutôt que l’étendre. En privilégiant l’optimisation à la friction, nous risquons surtout d’oublier de construire des solidarités et des échanges qui ne soient pas que de données.

Comme elle l’expliquait dans le texte de configuration du réseau Just AI, l’éthique doit se penser d’abord comme une pratique. Comme elle le souligne encore dans un premier compte rendu de travaux portant sur la cartographie de la recherche éthique, « les préoccupations éthiques concernant l’IA sont désormais profondément imbriquées dans les préoccupations éthiques concernant de larges pans de la vie sociale ».

Dans la conclusion de son livre, Powell explique que le modèle de pensée « techno-systémique » étend sans fin la commodité des données et l’exploitation des informations personnelles. Le problème est que cette approche ne définit pas une bonne citoyenneté, mais seulement « une bonne citoyenneté technologique »… et celle-ci, d’une manière très récursive, ne consiste finalement qu’à soutenir toute optimisation. Le problème, explique Alison Powell, c’est que cet objectif restreint l’action civique à n’être qu’une consommation de ressources ! Le paradigme de l’optimisation par les données et les capteurs réduit en fait la place des citoyens à n’être que les acteurs de leur propre surveillance. Ce paradigme réduit également la diversité, favorise les intérêts privés plus que publics. Mais surtout, l’optimisation efface le conflit, les divergences, les dissensus, les frictions… Or, dans la réalité, bien souvent, les gens luttent pour redéfinir les formes normatives que produisent les données, et trouver des espaces de discontinuité entre les données. La liberté ne consiste pas seulement à ne pas être surveillé, mais également réside dans la capacité d’avoir des approches différentes, d’être en désaccord avec des interprétations, de revendiquer un droit à la discontinuité… Powell défend une datafication minimisée (un droit à la « datafication minimum viable », sur le modèle du Produit minimum viable). Pour elle, la transparence ou la responsabilité ne suffisent pas, car elles ne permettent pas de modifier le cadre technologique qui nous capture, de remettre en question son circuit de pouvoir, explique-t-elle en faisant référence au « droit à une ville intelligente soutenable » de Sara Heitlinger. Bref, de continuer à avoir le droit de faire évoluer nos modes de connaissances et de relations hors des produits prédictifs… À produire une société autrement qu’en calculant son efficacité maximale.

Cela nous renvoie au livre déjà classique de l’historien des technologies Edward Tenner (@edward_tenner), Le paradoxe de l’efficacité : ce que le Big Data ne peut pas faire (Penguin Random House, 2018, non traduit), qui soulignait combien l’inefficacité a de vertus. Tenner y rappelle que ce que nous rendons plus efficace rend toujours autre chose moins efficace. Que l’optimisation est toujours un choix qu’on peine à évaluer, dans ses coûts comme dans ses bénéfices. Dans son livre, Tenner observe l’apport ambigu de la techno sur la médecine, l’éducation et la connaissance pour souligner qu’il n’y a pas qu’une forme à l’efficacité, mais des formes qui s’imbriquent et se contrebalancent. Dans notre monde ultra rationnel, où domine le colonialisme comptable, où tout est converti en gains de productivité, l’historien pourtant bien peu radical, nous rappelle que l’inefficacité est parfois un bien meilleur chemin.

Hubert Guillaud