TechTonic Justice est une nouvelle initiative américaine pour combattre l’injustice algorithmique. Leur premier rapport explique que les personnes à faible revenu subissent plus que les autres des décisions basées sur l’IA et voient un aspect fondamental de leur vie décidée par l’IA. Pour eux, l’IA est déjà inéluctable. Elle restreint les opportunités des personnes à faible revenu dans tous les aspects fondamentaux de la vie : à la maison, au travail, à l’école, dans les bureaux gouvernementaux et au sein des familles… Aux Etats-Unis, ce sont « 92 millions de personnes à faible revenus qui ont un aspect fondamental de leur vie déterminé par l’IA ».

L’association, a été fondée par Kevin De Liban, qui l’a créé après avoir travaillé pendant 12 ans à l’assistance légale de l’Arkansas, où il a représenté des clients handicapés qui ont poursuivi le Département des services sociaux de l’État pour avoir réduit leurs services de soins à domicile en raison d’un système informatisé défectueux. « Le problème n’est pas que l’automatisation soit intrinsèquement mauvaise, a déclaré De Liban. Le problème est que les systèmes sont trop souvent conçus pour privilégier la réduction des prestations sociales plutôt que de garantir que les personnes puissent y accéder. Et ils sont utilisés comme un substitut moins coûteux à un examen plus minutieux et mené par des humains », rapporte le Washington Post. « Tous ces outils de prise de décision basés sur l’IA, finissent par éliminer des personnes qui devraient être éligibles aux programmes d’aides sociales ».

A quoi sert l’innovation si elle ne fonctionne pas pour tout le monde ? interrogent, dans un essai provocateur, Rachel Coldicutt et Matt Dowse. La politique d’innovation au Royaume-Uni (mais c’est également le cas bien au-delà) se concentre sur deux priorités que sont la croissance des entreprises et l’amélioration de la recherche. Des perspectives qui négligent le monde réel de l’innovation, celle qui se déploie au quotidien, alimentée par l’ingéniosité, l’expérimentation et l’adaptation des technologies existantes. Pourtant, l’innovation communautaire a un impact plus local, une application plus disparate et une intention plus régénératrice que de nombreuses grandes technologies et percées primées – ce qui signifie qu’elle est également plus difficile à classer dans des tableaux ou à traduire en gros titres accrocheurs. En tant que telle, elle est moins visible pour les décideurs politiques. 

« Pourtant, l’innovation communautaire – qui permet la résolution de problèmes contextuels, le développement d’infrastructures sociales et la création de biens communs de la connaissance – se produit partout au Royaume-Uni, souvent avec peu ou pas de soutien. Nous pensons que soutenir et encourager l’innovation locale et indépendante est essentiel pour relancer l’économie de l’innovation au Royaume-Uni de manière à ce qu’elle profite à davantage de personnes à travers le pays. Cela permettra de développer des compétences, des capacités et des équipements locaux qui ne dépendent pas d’un petit nombre d’entreprises de la Silicon Valley, de construire une infrastructure sociale solide et de créer de nouvelles opportunités pour davantage de personnes, dans davantage d’endroits – en fin de compte, de construire une économie de l’innovation plus diversifiée avec des niveaux plus élevés d’avantages publics et de participation ».

Changer d’échelle

Les technologies à plus petite échelle sont pourtant un élément essentiel de la résilience à long terme, en particulier dans le contexte de l’urgence climatique.

« Plutôt que de faire profiter un petit groupe d’innovateurs appartenant à l’élite sociale, une économie de l’innovation véritablement moderne doit chercher à créer des opportunités plus plurielles et équitables, accessibles au-delà des grandes institutions de recherche et des grandes entreprises technologiques, qui privilégient la régénération plutôt que l’extraction, et qui élèvent et autonomisent les personnes et les communautés dans leur diversité ». 

Petite dans ce cas ne signifie pas un manque d’ambition. Des technologies à plus petites échelles signifient des technologies peu concentrées et plurielles, c’est-à-dire des technologies qui puissent apporter une alternative à la nature intensive en ressources des technologies modernes à grande échelle. La question écologique rend ce changement d’échelle urgent, et il est probable qu’un passage à des approches informatiques à plus petite échelle et plus distribuées deviendra un impératif au cours de la prochaine décennie. C’est particulièrement vrai des technologies d’IA, comme le rappelaient récemment Gael Varoquaux, Alexandra Sasha Luccioni et Meredith Whittaker dans un article, soulignant que l’IA a développé un « goût malsain pour l’échelle », excluant structurellement les petits acteurs. Nous devons œuvrer à ce que le passage à grande échelle ne soit pas la solution universelle à tous les problèmes et nous concentrer plutôt sur des modèles qui peuvent être exécutés sur du matériel largement disponible, à des coûts modérés. « Cela permettra à davantage d’acteurs de façonner la manière dont les systèmes d’IA sont créés et utilisés, offrant une valeur plus immédiate dans des applications allant de la santé aux services aux entreprises, tout en permettant une pratique plus démocratique de l’IA ».  

Pour y parvenir, estiment Coldicutt et Dowse, il est nécessaire d’opter pour un changement de culture et un changement de discours, afin que l’innovation à petite échelle et à long terme qui construit l’infrastructure sociale, cultive les compétences et autonomise les personnes et les communautés puisse être célébrée, recevoir des investissements et jouer un rôle actif. Les deux auteurs estiment que pour cela, il faut modifier l’investissement technologique, pour donner la priorité aux rendements sociaux à long terme plutôt qu’aux profits à court terme. Qu’il faut produire des infrastructures pour favoriser les investissements à long terme en faveur de sociétés équitables, plutôt que de soutenir les rendements d’un petit nombre d’entreprises et d’investisseurs de la Silicon Valley. Cela nécessite également de réfléchir à adapter nos modalités d’organisation pour faciliter cette autre économie de l’innovation. « Faisons en sorte que la technologie fonctionne pour 8 milliards de personnes et non pour 8 milliardaires ». 

Des technologies pour tous dans une économie du soin

L’enjeu est de favoriser des technologies qui améliorent la qualité de vie, la santé, le bien être, le travail, les loisirs, les relations sociales et les opportunités économiques pour tous, partout. Nous devons passer d’une innovation top-down à une innovation communautaire, comme le propose Careful Trouble, l’initiative que Coldicutt a lancé, à la fois cabinet de conseil et entreprise sociale communautaire – rappelons que Rachel Coldicutt a été longtemps l’animatrice de DotEveryone, le think tank britannique dédié au développement de technologies responsables, dont les activités ont été continuées par l’Ada Lovelace Institute et l’Open Data institute. Carfeul Trouble vient soutenir des personnes et des communautés qui gèrent des coopératives d’énergie responsables, des collectifs de soins sociaux, des pubs et des bibliothèques communautaires, des studios de technologie et des centres artistiques, des programmes de rénovation de logements et des entreprises de médias locaux. Autant d’exemples et d’initiatives qui servent à renforcer le réseau technologique communautaire et qui montrent que les technologies peuvent être utilisées pour renforcer les liens sociaux, la résilience et créer de la valeur économique de proximité, s’ils ne manquaient pas de soutiens et d’investissements (à New York également, Community Tech propose de reconstruire la technologie pour bâtir des communautés, en développant également une autre approche et un autre rapport à la technologie). 

Coldicutt et Dowse rappellent que la population reste pessimiste quant à l’impact actuel des technologies. Et elle a raison : les opportunités créées par l’innovation technologique, telle qu’on la pratique, ne sont pas réparties équitablement, bien au contraire. Pour résoudre ce problème, il est nécessaire de repenser les normes d’innovation, ce qui ne se fera pas simplement par des investissements accrus dans les grandes entreprises ou dans l’innovation de pointe. « Si l’on ne peut pas compter sur un petit nombre d’entreprises pour créer la prospérité pour tous, il faut alors promouvoir un autre modèle d’innovation », plus inclusif, défendent-ils. 

Bien sûr, il reste difficile de traduire la nécessité d’un pluralisme d’innovation en politique. Dans le domaine technologique, on considère que l’innovation ne se déroule que dans un contexte capitaliste, déconnecté des contextes sociaux, économiques et politiques où les technologies opèrent. Le passage à l’échelle et le rendement financier sont partout les principaux indicateurs de réussite et ne bénéficient qu’à un petit nombre d’initiatives. A l’inverse, les approches sociotechniques plus complexes reçoivent relativement peu de soutien, ce qui signifie qu’elles sont plus susceptibles de rester au stade pilote ou de démonstrateur, ou d’être reclassées comme des initiatives « Tech for Good » à faibles enjeux qui dépendent du financement caritatif. Mis en concurrence avec des investissements technologiques de plusieurs milliards visant à fournir des solutions universelles à grande échelle, l’innovation communautaire peut sembler pittoresque et quelque peu amateur, avec peu de portée ou d’impact ; cependant, cela est simplement dû au cadrage que nous portons sur l’innovation – « une grande partie de la vie réelle, en ligne et hors ligne, se déroule dans le plurivers des relations plutôt que dans des transactions ou des bilans d’entreprises, et les technologies que nous développons et utilisons devraient refléter et améliorer cela ».

Il n’existe pas de solution miracle, de modèle, de pilote ou d’innovation qui puisse résoudre les défis systémiques qui sont devant nous, rappellent les auteurs. Le changement de système nécessite de multiples innovations transformatrices à différents moments et niveaux.

Mais, fondamentalement, soutenir un modèle mixte d’innovation signifie s’éloigner d’une tendance à faire de gros paris sur une seule technologie ou un seul mécanisme réglementaire et s’engager à gérer une variété d’interventions à des vitesses et des rythmes différents, comme le disent l’ethnographe Vanessa Lefton et la designer Alex Fleming du Policy Lab. Pour Hilary Cottam, auteure de Radical Help (Virago, 2018), une société florissante ne peut pas être atteinte en maintenant une vision économique du monde figée et unique, expliquait-elle dans une tribune : « Nous avons besoin d’un code de conception – les valeurs et les paramètres qui permettent aux petites solutions à échelle humaine de se développer dans un cadre national. Il s’agit d’un processus d’élaboration des politiques qui repose sur une vision claire, des réseaux et des relations humaines. Il est à l’opposé du processus actuel d’élaboration des politiques de commandement et de contrôle industriel. Les paramètres définiront de nouvelles formes de mesures et de réglementation, au sein d’une culture dans laquelle nos relations les uns avec les autres sont ce qui compte le plus. Cela nécessite à son tour un nouveau cadre économique : une économie du soin.« 

Les technologies et l’innovation n’existent pas seulement comme des intensificateurs économiques. « Les interventions communautaires sont essentielles pour concevoir et créer des infrastructures qui reflètent notre vie réelle au-delà des exigences de la croissance économique ; pour réaliser le plein potentiel des initiatives existantes et cultiver les conditions nécessaires à un changement plus axé sur la communauté, l’innovation communautaire doit être visible, avec une place à la table des grandes entreprises, avec un investissement proportionnel et un soutien politique ».

Pour y parvenir, Coldicutt et Dowse proposent de rediriger une partie significative de l’investissement et du soutien politique vers ces autres formes d’innovation. « Une bonne croissance nécessite les bonnes conditions pour prendre racine. L’innovation communautaire est un excellent compost, mais elle a besoin de la lumière du soleil des investissements et d’une bonne politique pour s’épanouir et se développer. »

L’IA transforme la façon dont les robots apprennent à se déplacer et à naviguer dans les environnements. Ils acquièrent des compétences plus rapidement que jamais et s’adaptent d’une manière que l’on pensait auparavant impossible. Le Financial Times fait le point sur les progrès de l’IA robotique, celle qui comprend les lois de la physique pour travailler avec nous. Des robots qui tournent les pages d’un livre ou qui mettent des tee-shirts sur un cintre. L’article explique, très graphiquement, que la méthode utilisée pour que l’IA génère des images ou du texte, est désormais utilisée pour produire des actions. « Cela signifie que les robots peuvent apprendre une nouvelle tâche, comme utiliser un marteau ou tourner une vis, puis l’appliquer dans différents contextes ». Le problème pour l’instant reste encore de passer d’une tâche à l’autre, mais pour cela l’espoir consiste à construire des Large Action Models, c’est-à-dire de très grands modèles d’actions et de produire les données pour y parvenir.

De là à avoir des robots domestiques capables d’évoluer dans nos environnements complexes, il y a encore quelques progrès à faire. Mais l’idée d’un robot capable de faire le ménage dans nos intérieurs semble plus près de se réaliser qu’hier.

L’effondrement de l’information a-t-il eu lieu ? En tout cas, la submersion des contenus par l’IA générative qu’annonçaient de nombreux médias au début de la campagne électorale américaine n’a semble-t-il pas eu lieu, ou pas comme on l’a escompté, explique Matteo Wong pour The Atlantic. C’est ce qu’explique un trio de chercheurs de l’université de Purdue, Christina Walker, Daniel Schiff et Kaylyn Jackson Schiff, qui ont collecté les images et vidéos politiques générées par l’IA depuis juin 2023. Les contenus générés par l’IA durant la campagne électorale ont été nombreux, mais ils ont surtout été utilisés sous forme de satire ou de divertissement que comme outils de désinformation. Leur usage a été bien plus transparent qu’attendue. Les images étaient fausses mais ne faisaient pas semblant d’être vraies.

Reste qu’on mesure mal l’impact de ces partages, modèrent les chercheurs. « Ces images et vidéos générées par l’IA sont instantanément lisibles et ciblent explicitement le partage d’émotions plutôt que les informations (…). » Ces images ont peut-être finalement très bien accompagné la disparition des faits, du consensus et de la rationalité. Elles ont d’abord permis de faire primer l’émotion sur la rationalité dans un moment où la vérité était particulièrement malmenée… mais d’abord par les discours politiques eux-mêmes.

MAJ du 21/11/2024 : « L’IA semble avoir moins contribué à façonner la façon dont les gens ont voté et bien plus à éroder leur foi dans la réalité », rapporte le Washington Post. Elle a été plus utilisée pour consolider les croyances partisanes que pour influencer les mentalités, brouillant la réalité. Des chercheurs de l’Institute for Strategic Dialogue ont constaté que les utilisateurs croyaient plus souvent que le contenu authentique était généré par l’IA que l’inverse. Nous sommes bien plus dans une crise de la réalité que dans une crise de désinformation.

Le philosophe Rob Horning rapporte que des chercheurs de Google ont publié un article décrivant un projet de « Machines d’Habermas » – hommage au philosophe et à sa théorie de l’espace public – décrivant des machines permettant de faciliter la délibération démocratique. L’idée consiste à utiliser des IA génératives pour générer des déclarations de groupes à partir d’opinions individuelles, en maximisant l’approbation collective par itération successive. Le but : trouver des terrains d’entente sur des sujets clivants, avec une IA qui fonctionne comme un médiateur. 

Vers des machines pour délibérer à notre place

Dans leur expérimentation, les chercheurs rapportent que les participants ont préféré les déclarations générées par les IA à celle des humains. Pour Horning, cela signifie peut-être que les gens « sont plus susceptibles d’être d’accord avec une position lorsqu’il semble que personne ne la défende vraiment qu’avec une position articulée par une autre personne ». Effectivement, peut-être que le fait qu’elles soient artificielles et désincarnées peut aider, mais peut-être parce que formulées par la puissance des LLM, ces propositions peuvent sembler plus claires et neutres, comme le sont souvent les productions de l’IA générative, donc plus compréhensibles et séduisantes. Les chercheurs mettent en avant l’efficacité et la rapidité de leur solution, par rapport aux délibérations humaines, lentes et inefficaces – mais reconnaissent que les propositions et les synthèses faites par les outils nécessiteraient d’être vérifiées. 404 media rapportait il y a peu le développement d’une IA pour manipuler les réseaux sociaux permettant de cibler les messages selon les discours politiques des publics. Pas sûr effectivement qu’il y ait beaucoup de différence entre les machines d’Habermas de Google et ces outils de manipulation de l’opinion. 

Ces efforts à automatiser la sphère publique rappellent à Horning le livre de Hiroki Azuma, General Will 2.0 (2011) qui défendait justement l’utilisation de la surveillance à grande échelle pour calculer mathématiquement la volonté générale de la population et se passer de délibération. « Nous vivons à une époque où tout le monde est constamment dérangé par des « autres » avec lesquels il est impossible de trouver un compromis », expliquait Azuma, en boomer avant l’heure. Il suffit donc d’abandonner la présomption d’Habermas et d’Arendt selon laquelle la politique nécessite la construction d’un consensus par le biais de discussions… pour évacuer à la fois le compromis et les autres. D’où l’idée d’automatiser la politique en agrégeant les données, les comportements et en les transformant directement en décisions politiques. 

Rob Horning voit dans cette expérimentation un moyen de limiter la conflictualité et de lisser les opinions divergentes. Comme on le constate déjà avec les réseaux sociaux, l’idée est de remplacer une sphère publique par une architecture logicielle, et la communication interpersonnelle par un traitement de l’information déguisé en langage naturel, explique-t-il avec acuité. « Libérer l’homme de l’ordre des hommes (la communication) afin de lui permettre de vivre sur la base de l’ordre des choses (la volonté générale) seule », comme le prophétise Azuma, correspond parfaitement à l’idéologie ultra rationaliste de nombre de projets d’IA qui voient la communication comme un inconvénient et les rencontres interpersonnelles comme autant de désagréments à éviter. « Le fantasme est d’éliminer l’ordre des humains et de le remplacer par un ordre des choses » permettant de produire la gouvernance directement depuis les données. Les intentions doivent être extraites et les LLM – qui n’auraient aucune intentionnalité (ce qui n’est pas si sûr) – serviraient de format ou de langage permettant d’éviter l’intersubjectivité, de transformer et consolider les volontés, plus que de recueillir la volonté de chacun. Pour Horning, le risque est grand de ne considérer la conscience de chacun que comme un épiphénomène au profit de celle de la machine qui à terme pourrait seule produire la conscience de tous. Dans cette vision du monde, les données ne visent qu’à produire le contrôle social, qu’à produire une illusion d’action collective pour des personnes de plus en plus isolées les unes des autres, dépossédées de la conflictualité et de l’action collective. 

Mais les données ne parlent pas pour elles-mêmes, nous disait déjà danah boyd, qui dénonçait déjà le risque de leur politisation. La perspective que dessinent les ingénieurs de Google consiste à court-circuiter le processus démocratique lui-même. Leur proposition vise à réduire la politique en un simple processus d’optimisation et de résolution de problèmes. La médiation par la machine vise clairement à évacuer la conflictualité, au cœur de la politique. Elle permet d’améliorer le contrôle social, au détriment de l’action collective ou de l’engagement, puisque ceux-ci sont de fait évacués par le rejet du conflit. Une politique sans passion ni conviction, où les citoyens eux-mêmes sont finalement évacués. Seule la rétroaction attentionnelle vient forger les communautés politiques, consistant à soumettre ceux qui sont en désaccord aux opinions validées par les autres. La démocratie est réduite à une simple mécanique de décisions, sans plus aucune participation active. Pour les ingénieurs de Google, la délibération politique pourrait devenir une question où chacun prêche ses opinions dans une application et attend qu’un calculateur d’opinion décide de l’état de la sphère publique. Et le téléphone, à son tour, pourrait bombarder les utilisateurs de déclarations optimisées pour modérer et normaliser leurs opinions afin de lisser les dissensions à grande échelle. Bref, une sorte de délibération démocratique sous tutelle algorithmique. Un peu comme si notre avenir politique consistait à produire un Twitter sous LLM qui vous exposerait à ce que vous devez penser, sans même s’interroger sur toutes les défaillances et manipulations des amplifications qui y auraient cours. Une vision de la politique parfaitement glaçante et qui minimise toutes les manipulations possibles, comme nous ne cessons de les minimiser sur la façon dont les réseaux sociaux organisent le débat public. 

Dans le New Yorker, l’historienne Jill Lepore dresse un constat similaire sur la manière dont nos communications sont déjà façonnées par des procédures qui nous échappent. Depuis les années 60, la confiance dans les autorités n’a cessé de s’effondrer, explique-t-elle en se demandant en quoi cette chute de la confiance a été accélérée par les recommandations automatisées qui ont produit à la fois un électorat aliéné, polarisé et méfiant et des élus paralysés. Les campagnes politiques sont désormais entièrement produites depuis des éléments de marketing politique numérique. 

En septembre, le Stanford Digital Economy Lab a publié les Digitalist papers, une collection d’essais d’universitaires et surtout de dirigeants de la Tech qui avancent que l’IA pourrait sauver la démocratie américaine, rien de moins ! Heureusement, d’autres auteurs soutiennent l’exact inverse. Dans son livre Algorithms and the End of Politics (Bristol University Press, 2021), l’économiste Scott Timcke explique que la datafication favorise le néolibéralisme et renforce les inégalités. Dans Théorie politique de l’ère numérique (Cambridge University Press, 2023), le philosophe Mathias Risse explique que la démocratie nécessitera de faire des choix difficiles en matière de technologie. Or, pour l’instant, ces choix sont uniquement ceux d’entreprises. Pour Lepore, nous vivons désormais dans un « État artificiel », c’est-à-dire « une infrastructure de communication numérique utilisée par les stratèges politiques et les entreprises privées pour organiser et automatiser le discours politique ». 

Une société vulnérable à la subversion

La politique se réduit à la manipulation numérique d’algorithmes d’exploration de l’attention, la confiance dans le gouvernement à une architecture numérique appartenant aux entreprises et la citoyenneté à des engagements en ligne soigneusement testés et ciblés. « Au sein de l’État artificiel, presque tous les éléments de la vie démocratique américaine – la société civile, le gouvernement représentatif, la presse libre, la liberté d’expression et la foi dans les élections – sont vulnérables à la subversion », prévient Lepore. Au lieu de prendre des décisions par délibération démocratique, l’État artificiel propose des prédictions par le calcul, la capture de la sphère publique par le commerce basé sur les données et le remplacement des décisions des humains par celles des machines. Le problème, c’est qu’alors que les États démocratiques créent des citoyens, l’État artificiel crée des trolls, formule, cinglante, l’historienne en décrivant la lente montée des techniques de marketing numérique dans la politique comme dans le journalisme. 

À chaque étape de l’émergence de l’État artificiel, les leaders technologiques ont promis que les derniers outils seraient bons pour la démocratie… mais ce n’est pas ce qui s’est passé, notamment parce qu’aucun de ces outils ne sont démocratiques. Au contraire, le principal pouvoir de ces outils, de Facebook à X, est d’abord d’offrir aux entreprises un contrôle sans précédent de la parole, leur permettant de moduler tout ce à quoi l’usager accède. Dans l’État artificiel, l’essentiel des discours politiques sont le fait de bots. Et X semble notamment en avoir plus que jamais, malgré la promesse de Musk d’en débarrasser la plateforme. « L’État artificiel est l’élevage industriel de la vie publique, le tri et la segmentation, l’isolement et l’aliénation, la destruction de la communauté humaine. » Dans sa Théorie politique de l’ère numérique, Risse décrit et dénonce une démocratie qui fonctionnerait à l’échelle de la machine : les juges seraient remplacés par des algorithmes sophistiqués, les législateurs par des « systèmes de choix collectifs pilotés par l’IA ». Autant de perspectives qui répandent une forme de grande utopie démocratique de l’IA portée par des technoprophètes, complètement déconnectée des réalités démocratiques. Les Digitalist Papers reproduisent la même utopie, en prônant une démocratie des machines plutôt que le financement de l’éducation publique ou des instances de représentations. Dans les Digitalists Papers, seul le juriste Lawrence Lessig semble émettre une mise en garde, en annonçant que l’IA risque surtout d’aggraver un système politique déjà défaillant. 
La grande difficulté devant nous va consister à démanteler ces croyances conclut Lepore. D’autant que, comme le montre plusieurs années de problèmes politiques liés au numérique, le risque n’est pas que nous soyons submergés par le faux et la désinformation, mais que nous soyons rendus toujours plus impuissants. « L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », disait déjà Ethan Zuckerman. Dans une vie civique artificielle, la politique devient la seule affaire de ceux qui produisent l’artifice.

« La régulation est le prolongement de la démocratie et un moyen d’en assurer la défense », rappelle Jean Cattan, secrétaire général du Conseil national du numérique. « L’approfondissement de la portabilité des données, des contacts, graphes sociaux, historiques, préférences, etc. devrait être la priorité de la Commission européenne dans la mise en œuvre du règlement sur les marchés numériques à l’heure de la bascule des réseaux sociaux dominants dans un environnement politique potentiellement hors de contrôle. En soutien et en parallèle à l’élaboration de ce cadre, encourageons le déploiement des outils de portabilité. Certains existent, d’autres doivent encore être développés. » Et Cattan d’inviter à déployer des alternatives aux Big Tech libres et ouvertes, à repenser le panorama médiatique et à miser sur la proximité.

Très intéressant article de recherche sur l’usage de variables de substitution pour le ciblage publicitaire politique. Les chercheurs rappellent que les plateformes ont déployé ces dernières années des politiques d’atténuation pour limiter l’accès aux attributs de ciblage jugés problématiques, tels que l’orientation politique, la religion ou l’origine ethnique. Mais les annonceurs les ont largement contourné par le recours à des substituts, comme le fait d’apprécier certaines personnalités ou certains sports (le tir, la chasse…), des marques de voitures ou d’alcool – voir également l’analyse des catégories utilisées par les annonceurs qu’avait détaillé The Markup et dont nous parlions en analysant l’ouvrage de Tim Hwang. Les chercheurs proposent de mieux mesurer les biais de ciblage en observant la popularité des critères de ciblage utilisées par les annonceurs. Ils démontrent que les politiques mises en place par les plateformes sont inefficaces et constatent que les proxies utilisés par les annonceurs, eux, sont efficaces pour déterminer l’affiliation politique ou l’origine ethnique. Pour les chercheurs, l’étude montre qu’il est nécessaire de restreindre encore le ciblage publicitaire à des paramètrages larges et « sûrs » et invitent les plateformes à mettre en place des alertes de ciblage problématiques à l’attention des utilisateurs et des annonceurs. Une autre piste consisterait à réduire la visibilité des interactions des utilisateurs avec les contenus payants afin qu’il ne soit pas visibles aux autres utilisateurs. L’enquête est en tout cas assez éclairante sur les enjeux de granularité qu’offre la publicité numérique.

« Seuls 4% des algorithmes répertoriés dans l’inventaire ont fait l’objet d’une évaluation interne diffusée publiquement. Il est également presque impossible de savoir combien ces systèmes ont coûté (3 projets seulement sur 72 ont diffusé un budget), sur quelles données ils ont été entrainés, ou pourquoi un algorithme a été choisi plutôt qu’un autre ». L’Observatoire (citoyen) des algorithmes publics est en ligne !

Les risques algorithmiques sont invisibles, notamment parce que « les citoyens contestent davantage les résultats des décisions dont ils sont l’objet que le processus qui y conduit », rappelle le Défenseur des droits dans un rapport très juridique sur algorithmes, IA et services publics qui défend le respect des droits des usagers. Le rapport constate « l’algorithmisation de l’administration » et tente de dresser un bilan des garanties offertes aux usagers, notamment en observant la maîtrise de l’intervention humaine dans la décision et dans son atténuation. Le Défenseur des droits rappelle que faire valider une décision d’un système sans vérification, ne peut pas être considérée comme une intervention. Et le Défenseur de constater que l’exclusion par le calcul automatique de dossiers de candidats dans Parcoursup ou dans Affelnet est à ce sens problématique (tout comme le sont également les corrections auxquelles procède l’algorithme central qui redistribue les dossiers pour prendre en compte les quotas hors Académie et de boursiers, sans que les Commissions d’examen aient leurs mots à dire, pourrait-on faire remarquer). 

Sur la question de la transparence des décisions, le Défenseur des droits rappelle qu’elle est un élément clef et un prérequis pour assurer la loyauté des traitements et qu’elle est un enjeu d’intelligibilité de l’action administrative. Le rapport invite les autorités à mettre en place des sanctions en cas de non publication des règles de traitements et à produire des modèles de demande d’information pour les usagers.  

Les publications syndicales sur l’IA sont nombreuses. Souvent, elles sont assez généralistes… et peu spécifiques. C’est-à-dire qu’elles interrogent la place des technologies dans les transformations à venir, font des recommandations pour améliorer les modalités de gouvernance, mais ne regardent pas toujours ses déploiements concrets, préférant poser un cadre général pour en comprendre les effets, comme le montrait, parmi les plus récents, le Plaidoyer pour un dialogue social technologique de FO, les réflexions de la CGT sur le sujet ou celles de la CFE-CGC (voir également le manifeste commun de plusieurs organisations syndicales qui défend un dialogue social technologique ainsi que le tout récent site dédié DIAL-IA).

C’est un peu l’inverse que propose Solidaires Finances Publiques dans le court livre que le syndicat publie aux éditions Syllepse, L’IA aux impôts. Les syndicalistes y évoquent d’abord ce que le déploiement de l’intelligence artificielle change pour les agents et les usagers à la Direction générale des finances publiques (DGFIP), l’une des administrations françaises pionnières dans le développement des outils numériques et de l’IA. 

L’opacité comme principe, la désorganisation comme résultat

L’IA y est déployée depuis 2014 notamment pour évaluer les risques et les schémas de fraude en modélisant les fraudes passées. Solidaires rappelle d’ailleurs les limites de ces schémas, qui peinent à détecter les fraudes atypiques et ses nouvelles modalités. Mais l’IA à la DGFIP, c’est d’abord de très nombreux projets que le syndicat lui-même ne parvient pas à recenser. 

Ce sont d’abord des outils pour détecter la fraude des entreprises et des particuliers,  notamment en repérant des anomalies ou des incohérences déclaratives depuis les déclarations de revenus, les comptes bancaires, les données patrimoniales et les informations provenant d’autres administrations, via le projet CFVR (« Ciblage de la fraude et valorisation des requêtes »). C’est également le projet Signaux faibles, pour détecter et identifier les entreprises en difficulté qui produit un score de risque depuis des données financières économiques et sociales des entreprises provenant de plusieurs services publics, afin d’évaluer leur rentabilité, leur endettement, leur niveau d’emploi, leurs difficultés à régler leurs cotisations sociales. C’est aussi un projet pour prédire les difficultés financières des collectivités locales à partir d’indicateurs comme l’endettement des communes. Un autre projet encore vise à estimer la valeur vénale et locative des biens immobiliers exploitant les données de transaction immobilières pour produire de meilleures estimations. Le projet Foncier innovant, lui, vise à détecter depuis des images aériennes, les piscines et bâtiments non déclarés par les contribuables (voir la très bonne synthèse sur ce programme réalisé par le projet Shaping AI). Le projet TAAP (« Traitement d’analyse auto prédictive ») vise à contrôler les dépenses à risques que l’Etat doit payer à ses fournisseurs afin d’accélérer ses règlements. Enfin, on trouve là aussi un voire des projets de chatbot pour répondre aux demandes simples des usagers sur impots.gouv.fr… (l’administration fiscale reçoit chaque année 12 millions de demandes par mail des contribuables, cependant une première expérimentation de réponses automatisées sur les biens immobiliers a produit 70% de réponses erronées ou fausses). 

La liste n’est pourtant pas exhaustive. De nombreux autres projets sont en phase d’expérimentations, même si leur documentation fait bien souvent défaut, à l’image de l’utilisation des réseaux sociaux pour lutter contre la fraude (que beaucoup affublent du doux nom de Big Brother Bercy), dont le bilan est très limité, mais qui a pourtant été accéléré, comme l’évoquait Le Monde. Lors d’une récente cartographie des systèmes d’intelligence artificielle en cours de déploiement au ministère des finances, les premiers échanges auraient révélé que l’administration avait du mal à recenser tous les projets. 

Même sur les principaux projets qu’on vient d’énumérer, l’information disponible est très lacunaire, non seulement au grand public mais également aux agents eux-mêmes. L’IA publique se déploie d’abord et avant tout dans la plus grande opacité. 

Pour Solidaires, cette opacité est entretenue. L’omerta a une composante politique, nous expliquent les représentants du personnel. Elle permet de désorganiser les luttes des personnels. Les nouveaux agents, qu’ils soient contractuels ou statutaires, sont privés de la connaissance de leurs missions, ils ont moins de compréhension de la chaîne de travail, ils ne savent pas pourquoi ils font ce qu’on leur dit de faire. « Le travail automatique empêche la conscientisation du service public, comme du travail. Il place les agents dans une routine qui les noie sous des canaux informatiques de dossier à traiter », nous expliquent-ils. L’IA permet de faire le job, sans avoir de connaissance métier. Il suffit de traiter les listes d’erreurs, de valider des informations. « Le risque, c’est de ne plus avoir d’agents qualifiés, mais interchangeables, d’un service l’autre ». Mis en difficultés par les objectifs de productivité, par des formations très courtes quand elles ne sont pas inexistantes, ils ne peuvent comprendre ni résister au travail prescrit. 

L’IA : des projets venus d’en haut 

Le développement de l’IA à la DGFIP « part rarement d’un besoin « terrain » », constatent les syndicalistes, c’est-à-dire que les agents sont rarement associés à l’expression des besoins comme à la réalisation des projets. Ceux-ci sont surtout portés par une commande politique et reposent quasi systématiquement sur des prestataires externes. Pour lancer ces projets, la DGFIP mobilise le Fonds pour la transformation de l’action publique (FTAP), lancé en 2017, qui est le catalyseur du financement des projets d’IA dans l’administration. Pour y prétendre, les projets doivent toujours justifier d’économies prévisionnelles, c’est-à-dire prédire les suppressions de postes que la numérisation doit produire. Dans l’administration publique, l’IA est donc clairement un outil pour supprimer des emplois, constate le syndicat. L’État est devenu un simple prestataire de services publics qui doit produire des services plus efficaces, c’est-à-dire rentables et moins chers. Le numérique est le moteur de cette réduction de coût, ce qui explique qu’il soit devenu omniprésent dans l’administration, transformant à la fois les missions des agents et la relation de l’usager à l’administration. Il s’impose comme un « enjeu de croissance », c’est-à-dire le moyen de réaliser des gains de productivité. 

Intensification et déqualification

Pour Solidaires, ces transformations modifient les missions des personnels, transforment l’organisation comme les conditions de travail des personnels, changent « la façon de servir le public ». Le déploiement de l’IA dans le secteur public n’est pas capacitante. « L’introduction de l’IA émane de choix centralisés » de la seule direction, sans aucune concertation avec les personnels ou ses représentants. Les personnels (comme les publics d’ailleurs) ne reçoivent pas d’information en amont. La formation est rare. Et la transformation des métiers que produit l’intégration numérique consiste surtout en une intensification et une déqualification, en adéquation avec ce que répètent les sociologues du numérique. Ainsi par exemple, les agents du contrôle des dépenses de l’État sont désormais assignés à leurs écrans qui leur assènent les cadences. Les nouvelles dépenses à contrôler passent au rouge si elles ne sont pas vérifiées dans les 5 jours ! Les agents procèdent de moins en moins à leurs propres enquêtes, mais doivent valider les instructions des machines. Ainsi, les agents valident les dépenses, sans plus contrôler les « conditions de passation de marché public ». Même constat au contrôle fiscal, rapportent les représentants du personnel : les agents doivent accomplir les procédures répétitives et peu intéressantes que leurs soumettent les machines. Les personnels sont dessaisis de la connaissance du tissu fiscal local. Ils ne peuvent même plus repérer de nouveaux types de fraudes. « On détecte en masse des fraudes simples, mais on délaisse les investigations sur la fraude complexe ». Les erreurs demandent des vérifications chronophages, puisque nul ne sait plus où elles ont lieu. Le risque, prévient Solidaires, c’est de construire un « service public artificiel », ou la modernisation conduit à la perte de compétences et à la dégradation du service. Où l’administration est réduite à une machine statistique. Le risque, comme s’en prévenait le Conseil d’Etat, c’est que la capacité à détecter les erreurs soit anesthésiée. 

Cette déqualification ne touche pas que les agents, elle touche aussi les administrations dans leur capacité même à mener les projets. Les investissements sont transférés au privé, à l’image du Foncier innovant, confié à Capgemini et Google. Les projets d’IA sont largement externalisés et les administrations perdent leurs capacités de maîtrise, comme le notaient très bien les journalistes Matthieu Aron et Caroline Michel-Aguirre dans leur livre, Les infiltrés. Certains projets informatiques ont un taux d’externalisation supérieur à 80% explique Solidaires – quand la Dinum estime qu’un taux supérieur à 70% constitue déjà un risque de défaillance majeur.  

Enfin, la numérisation éloigne les administrés de l’administration, comme le pointait la sociologue Clara Deville. Les agents estiment que les risques d’inexactitudes augmentent avec le remplissage automatique des déclarations de revenus. Avant, quand les agents recevaient les déclarations remplies par les usagers, ils pouvaient parfois détecter des erreurs manifestes, par exemple le fait de mettre des enfants mineurs en occupant de propriétés générant une taxe d’habitation à leur destination. Désormais, les données ne sont plus vérifiées. Les contribuables ne sont plus en obligation de reremplir leur déclaration s’il n’y a pas eu de changement de revenus ou de situation. Si le contribuable ne renvoie rien, on reprend les éléments fournis automatiquement. Le risque c’est de ne plus voir les défaillances de déclaration ou les difficultés que peuvent avoir certains publics, sans revenir vers eux. L’automatisation peut devenir un piège pour certains usagers.

Ce que produit l’automatisation des contrôles

Mais surtout, répètent les militants de Solidaires, les personnels sont confrontés à une opacité totale des projets. L’absence d’information sur les projets est d’abord le signe d’un dialogue social inexistant, particulièrement problématique. Mais l’opacité à d’autres conséquences, notamment une déqualification des agents. Les dépenses à contrôler sont désormais sélectionnées par la machine, mais les agents ignorent sur quels critères. « Pourquoi certaines dépenses insignifiantes qui n’étaient jamais contrôlées auparavant, le sont à présent, alors que d’autres sont validées en masse quand elles étaient scrupuleusement regardées avant l’IA. » 

« Le TAAP a pour but d’améliorer les délais de paiement de l’Etat, un objectif louable. Il vise à alléger la sélection des dépenses à contrôler », nous expliquent en entretien les responsables de Solidaires Finances Publiques. Le problème, c’est que le critère n’est plus l’importance, mais le risque. Alors que les agents avaient toute latitude pour contrôler les dépenses qu’ils jugeaient problématiques ou prioritaires, le système leur impose désormais de regarder certaines dépenses plutôt que d’autres. C’est ainsi que des agents se sont vus par exemple devoir contrôler les dépenses d’essence des ambassades qui étaient jusqu’à présent des dépenses à faibles enjeux. La détermination des contrôles par les algorithmes est désormais organisée par en haut. Les data scientists en centrale fournissent aux agents des « listes Data Mining », c’est-à-dire des fichiers avec des listes d’entreprises ou des contribuables à contrôler et vérifier selon des axes de recherche, par exemple des listes d’entreprises soupçonnées de minorer leur TVA ou des listes de particuliers soupçonnés de faire une déclaration de valeur immobilière qui n’est pas au niveau du marché… Le risque, c’est qu’on pourrait dévoyer ces listes pour contrôler certaines catégories de populations ou d’entreprises, préviennent les syndicalistes, qui mettent en garde contre l’absence de garde-fous que produit cette centralisation du contrôle, qui pourrait demain devenir plus politique qu’elle n’est. 

Les listes Data Mining sont générées par les data scientist du service central depuis des croisements de données. Ce sont des listes d’entreprises ou de particuliers à regarder. Ces listes doivent d’abord être apurées par les agents… Quand ils reçoivent des listes d’entreprises qui feraient trop de provisions par exemple (ce qui qui pourrait être un moyen de faire baisser leurs bénéfices), ils doivent les trier, par exemple sortir les compagnies d’assurances, qui, par nature, sont des entreprises qui font plus de provisions que d’autres. Dans ces listes, les anomalies détectées ne sont pas toutes compréhensibles aux agents chargés du contrôle et parfois le critère de recherche détecté par l’IA ne donne rien. Mais si l’agent trouve un autre axe de recherche de fraude, le dossier est statistiquement compté comme relevant d’une réussite du data mining. Ce qui a pour but d’augmenter les résultats que produit la recherche de fraude automatisée, alors qu’elle demeure bien souvent le résultat d’un travail spécifique des agents plutôt que le produit d’une liste fournie par les machines. 

Le contrôle fiscal automatisé représente aujourd’hui 50% du contrôle, mais les résultats notifiés (et non pas recouvrés) eux n’ont pas beaucoup progressé depuis l’expansion de l’automatisation. Ils stagnent à 13-14%, c’est-à-dire environ 2 milliards d’euros, quand le contrôle fiscal atteint environ 13 milliards. Réaliser 50% de contrôle automatisé est devenu un objectif, nous expliquent les syndicalistes. Si un service n’arrive pas à l’atteindre, les agents doivent prioriser le traitement des listes Data mining plutôt que de réaliser des contrôles d’initiatives. La vérification de ces listes produit surtout un travail fastidieux et chronophage, que les agents jugent souvent bien peu intéressant et qui ne produit pas beaucoup de résultats.  

Le grand problème, estime encore Solidaires, c’est que le contrôle automatisé n’est pas très efficace sur la fraude complexe. A la direction de l’international qui s’occupe des fraudes les plus difficiles, il y a très peu d’utilisation de l’IA par exemple. Pour parvenir à mieux détecter les fraudes les plus évoluées, il faudrait que les agents de terrain qui en sont souvent les meilleurs observateurs, soient mieux associés aux orientations du contrôle centralisé des data-scientists. Ce n’est pas le cas. Alors que les outils pourraient venir aider les agents à faire leur travail, trop souvent, ils proposent surtout de le faire à leur place.

La DGFIP soutient qu’elle n’aurait pas mis en place de score de risque sur le contrôle fiscal… mais « certains agents rapportent que le traitement de listes Data mining fait ressortir régulièrement certains types de contribuables ». On peut malgré tout douter de cette absence de scoring, puisque le fait de lister des contribuables ou des entreprises selon des critères consiste bien à produire des listes classées selon un score. 

Les personnels de la DGFIP sont inquiets, rapporte Solidaires. Pour eux, les outils d’IA ne sont pas aussi fiables qu’annoncés. Les contrôles engagés suite à des problèmes détectés « automatiquement » ne sont pas si automatiques : il faut des humains pour les vérifier et les traiter. Bien souvent, c’est l’enrichissement de ces dossiers par les services qui va permettre de donner lieu à une notification ou à un recouvrement. Enfin, le taux de recouvrement lié à l’automatisation est bien faible. L’IA peut s’avérer probante pour des fraudes ou des erreurs assez simples, mais ne sait pas retracer les fraudes élaborées. 

Dans la surveillance des finances communales, les indicateurs remplacent les relations avec les personnels de mairie. Solidaires dénonce une industrialisation des procédés et une centralisation massive des procédures. L’IA change la nature du travail et génère des tâches plus répétitives. La DGFiP a perdu plus de 30 000 emplois depuis sa création, dénonce le syndicat. L’IA amplifie les dysfonctionnements à l’œuvre et prolonge la dégradation des conditions de travail. Quant au rapport coût/bénéfice des innovations à base d’IA, le syndicat pose la question d’une innovation pour elle-même. Dans le cadre du projet Foncier Innovant, la mise en oeuvre à coûté 33 millions. La maintenance s’élève à quelques 2 millions par an… Alors que le projet aurait rapporté 40 millions de recettes fiscales. Le rapport coût bénéfice est bien souvent insuffisamment documenté. 

Face à l’IA, réinventer les luttes

Pour Solidaires, ces constats invitent à réinventer le syndicalisme. Le syndicat estime qu’il est difficile de discuter des techniques mobilisées, des choix opérés. Solidaires constate que l’administration « s’exonère » de la communication minimale qu’elle devrait avoir sur les projets qu’elle déploie : coûts, bilans des expérimentations, communication sur les marchés publics passés, points d’étapes, documentation, rapports d’impacts… Pour Solidaires, l’omerta a bien une composante politique. Faire valoir le dialogue social technologique est une lutte constante, rapporte Solidaires. Trouver de l’information sur les projets en cours nécessite de mobiliser bien des méthodes, comme de surveiller le FTAP, les profils Linkedin des responsables des administrations, leurs interventions… mais également à mobiliser la CADA (commission d’accès aux documents administratifs) pour obtenir des informations que les représentants des personnels ne parviennent pas à obtenir autrement. 

Ce patient travail de documentation passe aussi par le travail avec d’autres organisations syndicales et militantes, pour comprendre à quoi elles sont confrontées. Pour Solidaires, l’omerta volontaire de l’administration sur ses projets organise « l’obsolescence programmée du dialogue social » qui semble avoir pour but d’exclure les organisations syndicales du débat pour mieux externaliser et dégrader les services publics. 

Pourtant, les personnels de terrains sont les mieux à même de juger de l’efficacité des dispositifs algorithmiques, insiste Solidaires. La difficulté à nouveau consiste à obtenir l’information et à mobiliser les personnels. Et Solidaires de s’inquiéter par exemple de l’expérimentation Sicardi, un outil RH qui vise à proposer une liste de candidats pour des postes à pourvoir, automatiquement, au risque de rendre fonctionnel des critères discriminatoires. Solidaires observe comme nombres d’autres organisations les dysfonctionnements à l’œuvre dans l’administration publique et au-delà. « Aujourd’hui, Solidaires Finances Publiques n’a aucun moyen pour confirmer ou infirmer que les algorithmes auto-apprenants utilisés dans le contrôle fiscal sont vierges de tout biais. À notre connaissance, aucun mécanisme n’a été institué en amont ou en aval pour vérifier que les listes de data mining ne comportaient aucun biais ». 

Avec le déploiement de l’IA, on introduit un principe de rentabilité du contrôle fiscal, estiment les représentants du personnel. Ce souci de rentabilité du contrôle est dangereux, car il remet en cause l’égalité de tous devant l’impôt, qui est le principal gage de son acceptation. 

Solidaires conclut en rappelant que le syndicat n’est pas contre le progrès. Nul ne souhaite revenir au papier carbone. Reste que la modernisation est toujours problématique car elle vient toujours avec des objectifs de réduction massive des moyens humains. Dans l’administration publique, l’IA est d’abord un prétexte, non pour améliorer les missions et accompagner les agents, mais pour réduire les personnels. Le risque est que cela ne soit pas un moyen mais un but. Faire que l’essentiel du contrôle fiscal, demain, soit automatisé. 

« L’apparente complexité de ces outils ne saurait les faire échapper au débat démocratique ». En tout cas, ce petit livre montre, à l’image du travail réalisé par Changer de Cap auprès des usagers de la CAF, plus que jamais, l’importance de faire remonter les difficultés que les personnes rencontrent avec ces systèmes. 

Bien souvent, quand on mobilise la transformation numérique, celle-ci ne se contente pas d’être une transformation technique, elle est aussi organisationnelle, managériale. A lire le petit livre de Solidaires Finances Publiques, on a l’impression de voir se déployer une innovation à l’ancienne, top down, peu impliquante, qui ne mobilise pas les savoir-faire internes, mais au contraire, les dévitalise. Les syndicalistes aussi ne comprennent pas pourquoi le terrain n’est pas mieux mobilisé pour concevoir ces outils. Certes, la fonction publique est structurée par des hiérarchies fortes. Reste que les transformations en cours ne considèrent pas l’expertise et les connaissances des agents. Les décideurs publics semblent répondre à des commandes politiques, sans toujours connaître les administrations qu’ils pilotent. Dans le discours officiel, ils disent qu’il faut associer les personnels, les former. Dans un sondage réalisé auprès des personnels, le syndicat a constaté que 85% des agents qui utilisent l’IA au quotidien n’ont pas reçu de formation.

Le sujet de l’IA vient d’en haut plutôt que d’être pensé avec les équipes, pour les aider à faire leur métier. Ces exemples nous rappellent que le déploiement de l’IA dans les organisations n’est pas qu’un enjeu de calcul, c’est d’abord un enjeu social et de collaboration, qui risque d’écarter les personnels et les citoyens des décisions et des orientations prises.