L’IA n’est pas qu’un outil, elle est un outil pour détruire les institutions démocratiques, argumentent les deux professeurs de droit Woodrow Hartzog et Jessica Silbey dans une riche démonstration. Comme le synthétise le journaliste Gerald Holubowicz pour Synth Media, le déploiement de l’IA atrophie l’expertise des institutions. « Quand l’IA se trompe, les institutions paient le coût de la correction et quand elle « réussit », elles s’appauvrissent en expertise ». Elle favorise le « court-circuit décisionnel » en automatisant des choix fondamentalement moraux, aplatit les hiérarchies institutionnelles et rend invisibles les règles qui donnent leur sens aux institutions. « Elle est par ailleurs incapable de prendre des risques intellectuels ni de faire montre d’une forme de désobéissance créatrice. » Enfin, elle favorise l’isolement. Et en érodant les liens interpersonnels, elle fait disparaître la friction, qui est la condition même de l’adaptabilité institutionnelle. Pour Hartzog et Silbey, la destruction des institutions a déjà commencé, notamment avec le Doge et le développement de systèmes d’IA et algorithmiques dans les administrations américaines. Des déploiements, « sans cadre légal clair, où l’expertise humaine a été marginalisée et les rôles institutionnels de résistance, supprimés ».« Ce que Hartzog et Silbey laissent entrevoir en creux, c’est le scénario d’une oligarchie technologique progressivement substituée à la représentation démocratique ».

Pour les chercheurs, l’IA fragilise l’Etat de droit en renforçant l’opacité des décisions. La société civile, et la démocratie elle-même, reposent sur la transparence, la délibération et le jugement humain. L’IA corrode ces trois éléments. En ce sens, l’IA n’est pas qu’un outil, elle est une force institutionnelle qui sape les institutions en restructurant les hiérarchies décisionnelles, en dégradant les capacités d’expertise et en modifiant les relations sociales des acteurs. Parce que les institutions dépendent de ces éléments, l’IA ne se contente pas de les fragiliser ; elle les dissout. Les juristes affirment que, sans garde-fous pour contraindre l’IA à servir les institutions plutôt qu’à les remplacer, nous serons confrontés à un choix radical : soit les institutions survivent, soit la conception actuelle de l’IA disparaît.

Le New York Times a testé plusieurs IA pour remplir des déclarations de revenus face à huit situations fiscales fictives, conçues dans le cadre des supports de formation de TaxSlayer, un service de déclaration d’impôts. Tous les modèles se sont trompés, même en les nourrissant de tous les documents nécessaires…

« Internet nous incite désormais à la surconsommation comme comportement par défaut : regarder des saisons entières de séries télévisées d’affilée, suivre tous les matchs de football simultanément sur quatre écrans. (…) Ce bombardement total est en partie une capitulation face à Internet, sa logique et ses algorithmes – une sorte de mort attentionnelle où l’individu n’est plus submergé : il a capitulé. » Dans notre tentative de garder l’équilibre, nous perdons pied. Nous ne faisons plus défiler l’information, elle défile devant nous, comme le propose le World Monitor, nous rendant toujours plus impuissants et malheureux. Charlie Warzel

Les algorithmes façonnent profondément l’expérience utilisateur sur les plateformes numériques. La recherche sur la compréhension des algorithmes et de leurs effets par les individus se développe rapidement, mais manque d’un cadre cohérent, estiment les chercheurs Emilija Gagrčin, Teresa K. Naab, Maria F. Grub dans un article pour la revue New Media & Society. 

Dans une analyse de la littérature sur la culture algorithmique (algorithmic litteracy), les chercheurs estiment que celle-ci s’acquiert par cycles d’apprentissages expérientiels. Ils proposent un cadre d’analyse pour mieux la saisir en montrant leur dimension cognitive (avons-nous conscience du filtrage réalisé, des données d’entrées, de leur objectifs et de de leur impacts), affective (selon qu’on en apprécie les résultats, qu’on les appréhende, ou qu’on s’y résigne), comportementale (les façons dont on se comporte avec les systèmes, qu’on s’y alligne, qu’on s’y soumette, qu’on tente de les subvertir ou d’y résister…). Mais ce sont là autant de pratiques dont on a du mal à mesurer l’efficacité, et qui relèvent souvent de pratiques plus personnelles que collectives. 

Les chercheurs posent la question de savoir ce que produit la littératie algorithmique sur les usagers, par exemple si celle-ci produit une meilleure visibilité, un meilleur contrôle des recommandations ou des formes nouvelles de mobilisations politiques. « L’adoption inégale de l’apprentissage algorithmique risque d’exacerber les inégalités existantes au sein des différentes couches de la population ». Ils soulignent en conclusion, que la compréhension des algorithmes est profondément liée à « l’apprentissage expérientiel », un processus par lequel la connaissance est créée par la transformation de l’expérience.  

Reste à savoir si à mesure que les systèmes de recommandations se complexifient, cet apprentissage expérientiel, sera encore possible ? 

Face à l’AIification des recommandations, il est probable que notre compréhension des paramètres (ou le fait de croire qu’on puisse agir sur eux) se dilue. Comme nous le disions en évoquant le passage à l’IA des systèmes de recommandation, « les utilisateurs voudraient comprendre les règles qui semblent devenir de plus en plus obscures, et les laissent avec de moins en moins de pouvoir pour s’y adapter ». Bref, notre compréhension expérientielle des algorithmes risque d’être de plus en plus difficile à mesure que leurs fonctionnement se complexifient.

Via Algorithm Watch.

Paul Bouchaud et Pedro Ramaciotti, chercheurs au CNRS et à Sciences Po rappellent dans une stimulante tribune pour Tech Policy Press, que certaines données personnelles sensibles sont protégées par le RGPD, comme les opinions politiques, les convictions religieuses, l’orientation sexuelle, l’origine ethnique, les données biométriques (sauf exceptions limitées). Le problème, désormais, c’est que les systèmes d’IA savent parfaitement déduire ces caractéristiques pour fonctionner… tant et si bien qu’il devient difficile de séparer le profilage politique délibéré et involontaire, estiment-ils. Les systèmes d’IA, parce qu’ils ont accès à de riches traces comportementales, peuvent reconstituer très précisément des informations protégées. 

Dans ce continuum de la réidentification ciblée des utilisateurs, on trouve par exemple le système publicitaire de X. En juin 2025, AI Forensics a montré que X permettait aux annonceurs de cibler – ou d’exclure – les utilisateurs en fonction de caractéristiques protégées. « Par exemple, TotalEnergies (l’un des principaux fournisseurs d’énergie français) excluait de son ciblage publicitaire sur la plateforme les utilisateurs intéressés par les personnalités politiques écologistes et les produits casher ; Dell excluait les utilisateurs interagissant avec du contenu étiqueté « #lesbienne ». La Commission européenne a elle-même exclu les affiliations politiques de ses publicités ciblées, lesquelles identifiaient les utilisateurs par des étiquettes telles que « fasciste » et « communiste » fournies par X. En classant délibérément les utilisateurs dans des catégories correspondant directement à leurs opinions politiques, leur orientation sexuelle et leurs convictions religieuses (sous forme d’étiquettes mises à la disposition des annonceurs), ce système semble enfreindre à la fois le RGPD et le DSA qui interdisent explicitement le ciblage publicitaire fondé sur des données sensibles. Neuf ONG ont depuis déposé plainte auprès des coordinateurs nationaux des services numériques. Mais, il s’agit là du cas le plus flagrant de profilage actif – et le plus simple à corriger : supprimer purement et simplement les étiquettes de catégories sensibles du système publicitaire.»

Mais le profilage n’est pas toujours aussi direct soulignent les chercheurs. Par exemple, le système de modération participative de X, les Notes de communauté, fonctionne depuis un algorithme qui doit déduire la position idéologique des utilisateurs, non pas à partir de ses déclarations, mais automatiquement à partir de ses évaluations des notes des autres. Ce spectre politique, qui correspond aux échelles des sondages, n’a pas été codé, il émerge des données comme une dimension permettant de prédire le mieux quels utilisateurs sont d’accord avec quelles notes, expliquent-ils dans leur article de recherche. « Le système déduit l’opinion politique du comportement non pas comme un effet secondaire, mais comme le mécanisme spécifié par les créateurs et nécessaire à son fonctionnement ». Meta, Youtube, TikTok et nombre d’autres plateformes ont déployé leurs propres systèmes de modération communautaire dans le même but : créer un consensus par delà les clivages politiques, ce qui nécessite donc de déterminer la position politique de chaque utilisateur. « Ce qui a commencé comme une expérience sur une seule plateforme devient une infrastructure industrielle, et avec elle, l’inférence systématique des opinions politiques à grande échelle ». 

Quels que soient les avantages pour la modération de contenu participative – qui a des limites importantes, comme le montrent les chercheurs (voir également dans notre veille) -, « ces systèmes sont fondamentalement incompatibles avec les lois sur la protection des données, car ils calculent les positions idéologiques de millions d’utilisateurs sans consentement explicite ». La conformité exigerait néanmoins des mesures claires : soit obtenir le consentement des participants, soit abandonner purement et simplement ces systèmes. 

Mais la tension peut être encore plus profonde, comme dans le cas des algorithmes qui organisent les fils d’actu des réseaux sociaux ou ceux qui produisent des suggestions de personnes à suivre. Ces systèmes transforment les utilisateurs et les contenus en profils numériques qui capturent les similarités et la pertinence, déterminant ainsi ce que chaque personne voit. En analysant le code de X conjointement aux données collectées auprès des utilisateurs, les deux chercheurs ont reconstitué le processus et montrent qu’il y a un calcul de « la vision du monde » qui estime les positions idéologiques gauche-droite des utilisateurs. Cette dimension politique coexiste avec d’autres dimension, comme l’âge, le sexe ou les centres d’intérêts (l’actualité ou le sport par exemple). Si le système ne semble pas stocker l’information (« cet utilisateur est conservateur ») et si le profilage politique n’est pas un objectif du système (contrairement à Community Notes) : « l’algorithme apprend plutôt des habitudes d’engagement, des réseaux d’abonnés et des comportements de réponse corrélés à l’orientation politique, et exploite ces habitudes pour déterminer des recommandations personnalisées. Il s’agit d’un profilage passif mais systématique : les opinions politiques structurent si profondément les comportements en ligne que la plupart des modèles actuels performants les détectent. » 

« Ne pas réglementer cette forme de profilage revient à autoriser les plateformes à utiliser sciemment des dimensions politiques – pour des centaines de millions d’utilisateurs – dans le calcul des recommandations de contacts, de publicités et de contenus. » 

Et le problème devient encore plus profond avec l’IA conversationnelle. Les modèles produisent des profils sociodémographiques déduits d’indices conversationnels explicites (voir notre article, « Qui est l’utilisateur des LLM ? »). « Révéler son nom incite ces systèmes à inférer implicitement votre origine ethnique, tandis que divulguer les sports que vous pratiquez incite le modèle à inférer votre genre ». Dans un autre article de recherche, Paul Bouchaud et Pedro Ramaciotti montrent que les inférences cachées ont des conséquences concrètes et influencent les recommandations que vous recevez concernant votre évolution de carrière, les modalités de voyage que vous comptez faire ou autre (voir également « Inférences, comment les outils nous voient-ils ? »). Cette personnalisation passive, qui émerge grâce à de fortes corrélations statistiques dans les données d’entraînement, peut être poussée plus loin encore, notamment quand les systèmes d’IA sollicitent activement les usagers à fournir des informations sensibles pour fonctionner, comme lorsque les chatbots compagnons demandent explicitement l’orientation sexuelle des utilisateurs pour échanger avec eux. Or, le RGPD ne fait pas de distinction entre les données sensibles « collectées directement » et celles « déduites algorithmiquement » : il interdit le « traitement de données à caractère personnel révélant des attributs sensibles ». Et la Cour de justice de l’Union européenne a confirmé que cela concernait toute donnée « susceptible de révéler indirectement des informations sensibles […] récoltée à la suite d’une opération intellectuelle impliquant une déduction ou un recoupement ». Pour les chercheurs, chaque traitement de ce continuum enfreint le RGPD. 

SI les cas de profilage actif pourraient être en principe corrigés, les cas de profilage plus passifs posent un problème plus profond. 

Les systèmes de recommandation (de X, spécifient les chercheurs… mais on comprend que leurs constats peuvent être élargis à l’ensemble des systèmes de recommandation, d’autant plus qu’ils s’IAifisent profondément) « intègrent l’idéologie politique non pas parce que les ingénieurs l’ont spécifiée, mais parce que l’opinion politique structure si fondamentalement le comportement en ligne que tout modèle optimisé pour l’engagement la captera ». Pour Paul Bouchaud et Pedro Ramaciotti, soit le profilage passif n’est pas considéré comme relevant du RGPD, soit il l’est… et une vaste gamme de systèmes d’IA devient non conforme. 

Les deux chercheurs esquissent cependant une solution : « rendre l’IA insensible aux catégories sensibles ». Après avoir identifié la position idéologique des utilisateurs dans l’algorithme de recommandation de contacts à suivre de X, ils l’ont supprimé. Ils ont constaté que cela a accru la diversité politique des recommandations de contacts sans en dégrader la pertinence. 

Mais, cette solution est certainement limitée. La suppression de données ou de prise en compte de données ne fait pas disparaître les proxies que l’IA pourrait utiliser pour les reconstruire plus profondément. Ces systèmes sont capables d’inférer le genre par exemple sans avoir accès à des informations sur le genre des utilisateurs, mais peuvent le déduire d’innombrables manières. Peut-on vraiment rendre l’IA insensible aux catégories sensibles et être certain qu’elle ne les recompose via d’autres données ? Je serai un peu moins confiant qu’eux pour ma part.

Hubert Guillaud

Dans la revue Big Data & Society, deux chercheurs finlandais, Antti Rannisto et Marta Choroszewicz, ont suivi le déploiement d’un outil d’aide à la décision à base d’IA générative dans une administration publique. Ils montrent comment l’équipe construit un discours et un cadre de légitimation et de justification de son déploiement à mesure que l’outil est développé, visant à préserver l’outil des critiques (notamment pour ses problèmes d’exactitude, de précision et de cohérence) et le rendant peu à peu irrésistible pour les acteurs influents de l’organisation. 

L’outil étudié visait à aider les agents chargés des réclamations à identifier les directives pertinentes et actualisées nécessaires à la prise de décision concernant les réclamations des usagers. Les réponses de l’outil étaient accompagnées de liens vers les sections pertinentes la base de documents de l’administration, permettant ainsi aux agents de valider une réponse ou de rechercher des informations complémentaires. Techniquement, l’outil reposait sur une base de données documentaires, un moteur de recherche et un LLM pour la génération des réponses.

Les deux chercheurs montrent que les innovateurs, l’équipe en charge du déploiement et de la configuration de l’outil, accomplissent surtout un travail politique pour influencer et convaincre les comportements des agents. Derrière le déploiement technique se met en place d’abord un régime de justification qui vise à protéger le déploiement des contestations. Les justifications émergent et évoluent à mesure que l’outil évolue, rapportent les chercheurs, mais ont une fonction spécifique : « détourner l’attention des promesses non tenues de l’outil », protéger les lacunes de l’outil et permettre au déploiement de se poursuivre. 

Ainsi le déploiement commence par se justifier sur sa promesse d’efficacité, sur la pertinence, le désir et la volonté d’innover. Les phases d’expérimentations sont renforcées par une communication dédiée, alors que les tests montrent rapidement les défaillances et limites de l’outil proposé. 

Les tests suivants ont alors visé à améliorer la performance de l’outil, mais sans y parvenir, recentrant l’implication active à la seule équipe chargée de l’innovation. A mesure que l’outil se déploie et déçoit, les cadres de justification se déplacent : on passe des espoirs d’efficacité, à la valorisation du processus d’innovation, puis à la valorisation de l’état d’esprit de l’innovation, comme si à mesure que le déploiement déçoit on n’en retenait plus que le mouvement. La promotion du test rapide, de l’apprentissage continu a été particulièrement mobilisée pour poursuivre les développements. Les développeurs ont par exemple promu régulièrement l’amélioration des réponses correctes de l’outil (passant de 70%, à 75% puis à 80%…) sans répondre aux critiques qui questionnaient cette précision pour savoir si elle était suffisante pour être intégrée dans les flux de travail des agents ou pour déterminer la pertinence et la réalité de cet indicateur. A mesure que l’outil se déployait sans répondre aux attentes, ses promoteurs ont développé un argumentaire renvoyant les erreurs à « l’incapacité des agents à interagir efficacement avec l’outil en prétextant qu’ils ne parvenaient pas suffisamment à mettre à jour leurs méthodes de travail ». 

Une autre justification s’est également développée avec le temps, présentant le développement de l’outil comme pionnier pour utiliser l’IA générative au service du bien commun, creusant une fracture entre l’innovation et le travail de terrain. Un peu comme si le processus d’innovation se justifiait d’autant plus que les retours critiques s’enkystaient et que l’innovation faiblissait en rythme et ce alors que de plus en plus d’agents souhaitent le tester pour se rendre compte de son efficacité ou de son inefficacité. Ce que décrivent les chercheurs dans le déploiement de l’outil, c’est que ses justifications se déploient sans lien direct avec ses résultats. 

« Un an après le lancement du processus d’innovation de l’outil d’IA, son fonctionnement restait incohérent et imprécis, et ses opérations demeuraient largement opaques – ambiguës, incertaines et incontrôlables – même pour les innovateurs techniques les plus chevronnés ». Pourtant, ceux-ci sont restés farouchement déterminés à poursuivre le développement de l’outil en vue de sa mise en production et de son déploiement à grande échelle, car les promesses inscrites maintenaient une forte dynamique en faveur du projet. En fait, lorsque les tests ont révélé l’inaccessibilité de l’objectif initial (c’est-à-dire avoir un outil très fiable pour que les agents puissent répondre aux usagers), les innovateurs en charge du déploiement ont proposé de nouvelles pistes de développement et d’expérimentation, au lieu de considérer les résultats comme un motif d’abandon. Le sentiment d’être sur une courbe d’apprentissage et d’amélioration a également découragé les critiques ouvertes de l’outil lui-même et a recentré l’attention sur les facteurs organisationnels et liés aux utilisateurs susceptibles d’affecter ses performances. « Le fait que l’outil n’ait pas tenu ses promesses a été normalisé et présenté comme une étape normale du processus. » 

La critique de l’intégration d’un LLM, qui semblait la principale raison pour laquelle l’outil ne tenait pas ses promesses, par rapport à l’amélioration de la base de données de réponses et de connaissances, a été largement ignorée par les responsables et les personnes chargées du projet. La visibilité du processus d’innovation, vantant l’agilité, l’expérimentation, l’itération… a supplanté les limites de l’outil, qui sont pourtant apparues assez tôt. 

Antti Rannisto et Marta Choroszewicz estiment en conclusion que le battage médiatique sur l’IA générative a intensifié les efforts d’innovation et suscité un optimisme débridé, conduisant à prolonger le projet pour son caractère exemplaire promettant d’optimiser l’administration publique. 

Pour eux, cela montre surtout que l’innovation est un processus hautement politisé. L’évolution des justifications ont maintenu le processus en mouvement, malgré l’absence de résultats pertinents. L’échec démontre « l’aspect constructiviste du technosolutionnisme, c’est-à-dire un processus où les problèmes sont redéfinis pour s’adapter à une solution technologique préexistante, faisant peser la charge de l’adaptation sur les utilisateurs et les organisations plutôt que de remettre en question l’outil lui-même.»

Plutôt que de considérer les défaillances répétées comme des motifs d’arrêt des travaux ou de réexamen des choix technologiques pris, l’évolution des cadres de justification a empêché que les défaillances remettent en cause la valeur perçue de l’outil et ont même parfois transformé les échecs techniques en signes de progrès. 

Trop souvent, les échecs sont perçus comme des étapes normales d’un « processus d’apprentissage », ce qui a tendance à rendre les échecs moins visibles et plus difficiles à corriger… Et c’est certainement encore plus net dans le domaine de l’innovation en IA générative, comparativement aux systèmes d’IA plus déterministes, où les architectures système sont plus transparentes et les indicateurs de performance mieux définis en amont. Pour les chercheurs, les résultats de cette enquête expliquent comment les promesses technologiques ont fait de l’outil un objet imaginaire irrésistible et ont maintenu le processus d’innovation en mouvement malgré ses défaillances.

Cette étude est riche d’enseignement, tant elle semble décrire derrière son cas particulier les échecs d’innombrables projets d’intégration de l’AI dans l’administration publique ou dans les organisations privées. Elle permet de mieux saisir les raisons des échecs de nombre de déploiements de l’IA générative que pointait par l’exemple, une étude du MIT, en montrant « 95% des projets pilotes d’IA générative dans les entreprises échouent ». Promesses inadaptées, déceptions des déploiements, justification par et pour l’innovation… permettent de comprendre que les projets mal partis n’arrivent bien souvent nulle part. 

On pourrait tirer bien d’autres leçons de cet exemple. Notamment sur l’importance de prendre en compte les critiques, plutôt que de les silencier.