La neurologue irlandaise, Suzanne O’Sullivan, qui vient de publier The Age of Diagnosis: Sickness, Health and Why Medicine Has Gone Too Far (Penguin Random House, 2025) estime que nous sommes entrés dans l’ère du diagnostique, c’est-à-dire que l’essor technologique nous permet désormais d’améliorer les diagnostics. Mais, tempère-t-elle, cet essor « ne semble pas s’être accompagné d’une amélioration de notre santé ». Si nous détectons et traitons davantage de cancers à des stades plus précoces, ce qui sauve la vie de certaines personnes, en revanche, d’autres reçoivent des traitements inutiles, et il se pourrait que la proportion des personnes surtraitées soit plus forte que la réduction de la mortalité. En fait, des études à grande échelle montrent que l’amélioration du dépistage ne conduit pas à une amélioration des taux de survie, rappelle le Times. Pour la spécialiste qui dénonce cette dérive diagnostique, « nous sommes victimes d’une médecine excessive ». Pour elle, l’augmentation des diagnostiques de neurodivergence notamment (Troubles de l’activité et autisme) a surtout tendance à pathologiser inutilement certaines personnes. Nous ne devenons pas forcément plus malades, nous attribuons davantage à la maladie, regrette-t-elle. « Les explications médicales sont devenues un pansement ».

Le diagnostic apporte des réponses tant aux patients qu’aux médecins, mais ne soigne pas toujours. Diagnostiquer des patients alors qu’il n’existe pas de traitements efficaces peut aggraver leurs symptômes, explique-t-elle dans une interview à Wired. Entre 1998 et 2018, les diagnostics d’autisme ont augmenté de 787 % rien qu’au Royaume-Uni ; le taux de surdiagnostic de la maladie de Lyme est estimé à 85 %, y compris dans les pays où il est impossible de contracter la maladie. Le diagnostic de l’autisme est passé d’une personne sur 2 500 à un enfant sur 36 au Royaume-Uni et un sur 20 en Irlande du Nord. Nous sommes passés d’un sous-diagnostic à un sur-diagnostic, estime O’Sullivan. Or, ce sur-diagnostic n’améliore pas la santé des patients. « L’échec de cette approche est dû au fait que, lorsqu’on arrive aux stades les plus légers des troubles du comportement ou de l’apprentissage, il faut trouver un équilibre entre les avantages du diagnostic et l’aide disponible, et les inconvénients du diagnostic, qui consistent à annoncer à l’enfant qu’il a un cerveau anormal. Quel est l’impact sur la confiance en soi de l’enfant ? Comment est-ce stigmatisé ? Comment cela influence-t-il la construction de son identité ? Nous avons pensé qu’il serait utile de le dire aux enfants, mais les statistiques et les résultats suggèrent que ce n’est pas le cas. » De même, nous sur-diagnostiquons désormais différents types de cancer, tant et si bien que de plus en plus de personnes reçoivent des traitements alors qu’elles n’en ont pas besoin. Le problème c’est que nous devons veiller à ce que le surdiagnostic reste à un niveau bas. Nous multiplions les tests plutôt que de perfectionner ceux que nous avons.

Ce n’est pas tant qu’il ne faut pas dépister, estime la neurologue, mais que les décisions doivent être prises parfois plus lentement qu’elles ne sont. Pour The Guardian, le surdiagnostic nous fait croire que notre société va mal ou que la vie moderne nous rend malade (ce qui n’est pas nécessairement faux). La réalité est que nos outils de diagnostics sont devenus plus précis, mais les variations de santé physique et mentale sont inutilement médicalisées et pathologisées. Pour le dire autrement, nous n’avons pas beaucoup de méthodes pour limiter les faux positifs en médecine, comme ailleurs.

Les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout. Ils touchent tous les types d’activités humaines et notamment la distribution de services publics à des millions de citoyens européens mais également nombre de services privés essentiels, comme la banque, la fixation des prix ou l’assurance. Partout, les systèmes contrôlent l’accès à nos droits et à nos possibilités d’action. 

En 2020 déjà, la grande association européenne de défense des droits numériques, Algorithm Watch, expliquait dans un rapport que ces systèmes se généralisaient dans la plus grande opacité. Alors que le calcul est partout, l’association soulignait que si ces déploiements pouvaient être utiles, très peu de cas montraient de « manière convaincante un impact positif ». La plupart des systèmes de décision automatisés mettent les gens en danger plus qu’ils ne les protègent, disait déjà l’association.

Dans son inventaire des algorithmes publics, l’Observatoire des algorithmes publics montre, très concrètement, combien le déploiement des systèmes de prise de décision automatisée reste opaque, malgré les obligations de transparence qui incombent aux systèmes.

Avec son initiative France Contrôle, la Quadrature du Net, accompagnée de collectifs de lutte contre la précarité, documente elle aussi le déploiement des algorithmes de contrôle social et leurs défaillances. Dès 2018, les travaux pionniers de la politiste Virginia Eubanks, nous ont appris que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires.

Malgré la Loi pour une République numérique (2016), la transparence de ces calculs, seule à même de dévoiler et corriger leurs défaillances, ne progresse pas. On peut donc se demander, assez légitimement, ce qu’il y a cacher. 

A mesure que ces systèmes se déploient, ce sont donc les enquêtes des syndicats, des militants, des chercheurs, des journalistes qui documentent les défaillances des décisions automatisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont rendues partout difficiles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des systèmes de décision automatisée sans y accéder. 

S’il est difficile de faire un constat global sur les défaillances spécifiques de tous les systèmes automatisés, qu’ils s’appliquent à la santé, l’éducation, le social ou l’économie, on peut néanmoins noter 3 problèmes récurrents. 

Les erreurs ne sont pas un problème pour les structures qui calculent. Pour le dire techniquement, la plupart des acteurs qui produisent des systèmes de décision automatisée produisent des faux positifs importants, c’est-à-dire catégorisent des personnes indûment. Dans les systèmes bancaires par exemple, comme l’a montré une belle enquête de l’AFP et d’Algorithm Watch, certaines activités déclenchent des alertes et conduisent à qualifier les profils des clients comme problématiques voire à suspendre les possibilités bancaires d’individus ou d’organisations, sans qu’elles n’aient à rendre de compte sur ces suspensions.

Au contraire, parce qu’elles sont invitées à la vigilance face aux activités de fraude, de blanchiment d’argent ou le financement du terrorisme, elles sont encouragées à produire des faux positifs pour montrer qu’elles agissent, tout comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle.

Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamnées pour ce délit. 

Le problème, c’est que les organismes de calculs n’ont pas d’intérêt à corriger ces faux positifs pour les atténuer. Alors que, si ces erreurs ne sont pas un problème pour les structures qui les produisent, elles le sont pour les individus qui voient leurs comptes clôturés, sans raison et avec peu de possibilités de recours. Il est nécessaire pourtant que les taux de risques détectés restent proportionnels aux taux effectifs de condamnation, afin que les niveaux de réduction des risques ne soient pas portés par les individus.

Le même phénomène est à l’œuvre quand la CAF reconnaît que son algorithme de contrôle de fraude produit bien plus de contrôle sur certaines catégories sociales de la population, comme le montrait l’enquête du Monde et de Lighthouse reports et les travaux de l’association Changer de Cap. Mais, pour les banques, comme pour la CAF, ce surciblage, ce surdiagnostic, n’a pas d’incidence directe, au contraire…

Pour les organismes publics le taux de détection automatisée est un objectif à atteindre explique le syndicat Solidaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objectif est défaillant pour les personnes ciblées. D’où l’importance de mettre en place un ratio d’impact sur les différents groupes démographiques et des taux de faux positifs pour limiter leur explosion. La justesse des calculs doit être améliorée.

Pour cela, il est nécessaire de mieux contrôler le taux de détection des outils et de trouver les modalités pour que ces taux ne soient pas disproportionnés. Sans cela, on le comprend, la maltraitance institutionnelle que dénonce ATD Quart Monde est en roue libre dans les systèmes, quels qu’ils soient.

Dans les difficultés, les recours sont rendus plus compliqués. Quand ces systèmes mé-calculent les gens, quand ils signalent leurs profils comme problématiques ou quand les dossiers sont mis en traitement, les possibilités de recours sont bien souvent automatiquement réduites. Le fait d’être soupçonné de problème bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente.

A la CAF, quand l’accusation de fraude est déclenchée, la procédure de recours pour les bénéficiaires devient plus complexe. Dans la plateforme dématérialisée pour les demandes de titres de séjour dont le Défenseur des droits pointait les lacunes dans un récent rapport, les usagers ne peuvent pas signaler un changement de lieu de résidence quand une demande est en cours.

Or, c’est justement quand les usagers sont confrontés à des difficultés, que la discussion devrait être rendue plus fluide, plus accessible. En réalité, c’est bien souvent l’inverse que l’on constate. Outre les explications lacunaires des services, les possibilités de recours sont réduites quand elles devraient être augmentées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir. 

Enfin, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement. Les boucles d’empêchements se multiplient sans issue. Les alertes et les faux positifs se répandent. L’automatisation des droits conduit à des évictions en cascade dans des systèmes où les organismes se renvoient les responsabilités sans être toujours capables d’agir sur les systèmes de calcul. Ces difficultés nécessitent de mieux faire valoir les droits d’opposition des calculés. La prise en compte d’innombrables données pour produire des calculs toujours plus granulaires, pour atténuer les risques, produit surtout des faux positifs et une complexité de plus en plus problématique pour les usagers. 

Nous avons besoin de diminuer les données utilisées pour les calculs du social, explique le chercheur Arvind Narayanan, notamment parce que cette complexité, au prétexte de mieux calculer le social, bien souvent, n’améliore pas les calculs, mais renforce leur opacité et les rend moins contestables. Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. 

Renforcer le contrôle des systèmes, notamment mesurer leur ratio d’impact et les taux de faux positifs. Améliorer les droits de recours des usagers, notamment quand ces systèmes les ciblent et les désignent. Et surtout, améliorer la participation des publics aux calculs, comme nous y invitent le récent rapport du Défenseur des droits sur la dématérialisation et les algorithmes publics. 

A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées.

On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. 

Hubert Guillaud

Cet édito a été publié originellement sous forme de tribune pour le Club de Mediapart, le 4 avril 2025 à l’occasion de la publication du livre, Les algorithmes contre la société aux éditions La Fabrique.

« Le potentiel révolutionnaire de l’IA est d’aider les experts à appliquer leur expertise plus efficacement et plus rapidement. Mais pour que cela fonctionne, il faut des experts. Or, l’apprentissage est un processus de développement humain désordonné et non linéaire, qui résiste à l’efficacité. L’IA ne peut donc pas le remplacer », explique la sociologue Tressie McMillan Cottom dans une tribune au New York Times. « L’IA recherche des travailleurs qui prennent des décisions fondées sur leur expertise, sans institution qui crée et certifie cette expertise. Elle propose une expertise sans experts ». Pas sûr donc que cela fonctionne.

Mais, si ce fantasme – qui a traversé toutes les technologies éducatives depuis longtemps – fascine, c’est parce qu’il promet de contrôler l’apprentissage sans en payer le coût. Plus que de réduire les tâches fastidieuses, l’IA justifie les réductions d’effectifs « en demandant à ceux qui restent de faire plus avec moins ». La meilleure efficacité de l’IA, c’est de démoraliser les travailleurs, conclut la sociologue.

Les acteurs de l’IA générative intègrent de plus en plus les plateformes de contenus, à l’image de xAI de Musk qui vient de racheter X/Twitter, rappelle Ameneh Dehshiri pour Tech Policy Press. « Les entreprises technologiques ne se contentent plus de construire des modèles, elles acquièrent les infrastructures et les écosystèmes qui les alimentent ». Nous sommes désormais confrontés à des écosystèmes de plus en plus intégrés et concentrés…

« L’écriture est l’activité la plus essentielle d’un scientifique, car sans écriture, il n’y a pas de réflexion ». Dennis Hazelett

Pour TechPolicy Press, le consultant Jonathan van Geuns se moque de l’illusion de la participation dont s’est paré le Sommet pour l’action sur l’IA parisien. « La gouvernance de l’IA aujourd’hui n’est qu’une vaste mise en scène, un théâtre parisien où les acteurs – dirigeants d’entreprises, politiques et technocrates – déclament d’une voix posée leur discours sur la responsabilité, créant l’illusion d’une décision collective ». En réalité, les mécanismes de gouvernance restent imperméables aux voix qu’ils prétendent intégrer. Entreprises, ONG et gouvernements ont bien compris l’efficacité d’un engagement de façade. Les comités d’éthique sur l’IA, les tables rondes des parties prenantes, les forums publics ne sont pas les fondements d’une démocratie mais son simulacre. Simulacre d’inclusion où la contestation est réduite à son expression la plus polie. Ces dispositifs « créent l’illusion d’un contrôle démocratique tout en permettant à ceux qui les mettent en œuvre, de garder la mainmise sur les résultats ». Ce n’est pas de la gouvernance, seulement un décor.

Pour que les audits et les évaluations modifient réellement les rapports de force, ils doivent d’abord s’extraire du carcan d’opacité qui les enserre. « Actuellement, ces processus servent davantage à absorber qu’à transformer : ils recueillent les critiques, les diluent en rapports inoffensifs, puis les présentent comme preuve qu’une action a été menée. Ils fonctionnent comme des vitrines de l’engagement, invitant le public à admirer les mécanismes complexes de la gouvernance de l’IA tout en préservant les structures de pouvoir existantes de toute remise en cause ».

Le problème n’est pas tant que la participation manque de force, mais que l’écosystème a été conçu pour la neutraliser, sollicitant des critiques tout en gardant le monopole de leur interprétation. « On finance des conseils consultatifs tout en se réservant le droit d’ignorer leurs recommandations. On réunit des comités d’éthique pour les dissoudre dès que ce qu’ils veulent examiner devient gênant. Ce n’est pas un échec de la participation, c’est son détournement. Les structures qui devraient être mises en place pour contester le pouvoir servent finalement de rempart contre sa contestation ».

Cette situation est d’autant plus problématique que nous manquons d’outils structurés pour évaluer si la participation à la gouvernance de l’IA est véritablement significative. On compte le nombre de « parties prenantes » consultées sans mesurer l’impact réel de leurs contributions. On comptabilise les forums organisés sans examiner s’ils ont abouti à des changements concrets. Cette focalisation sur la forme plutôt que sur le fond permet au « participation-washing » de prospérer. Un constat très proche de celui que dressaient Manon Loisel et Nicolas Rio dans leur livre, Pour en finir avec la démocratie participative (Textuel, 2024).

Pour Jonathan van Geuns, la participation doit se doter d’un cadre plus rigoureux pour favoriser l’inclusivité, la redistribution du pouvoir, la construction de la confiance, l’impact et la pérennité. Les indicateurs doivent évoluer du procédural vers le structurel. La vraie question n’est pas de savoir si différentes parties prenantes ont été invitées à s’exprimer, « mais de savoir si leur participation a redistribué le pouvoir, modifié les processus décisionnels et engendré des changements concrets ! »

La participation ne peut se réduire à un exercice consultatif où les communautés concernées peuvent exprimer leurs inquiétudes sans avoir le pouvoir d’agir, comme nous le constations dans notre article sur l’absence de tournant participatif de l’IA. Pour van Geuns, « la participation doit être ancrée structurellement, non comme une fonction consultative mais comme une fonction souveraine », comme l’exprimait Thomas Perroud dans son livre, Services publics et communs (Le Bord de l’eau, 2023). Cela pourrait se traduire par des conseils de surveillance publique ayant un droit de veto sur les applications, des organismes de régulation où les représentants disposent d’un réel pouvoir décisionnel, et des mécanismes permettant aux groupes affectés de contester directement les décisions basées sur l’IA ou d’exiger le retrait des systèmes perpétuant des injustices.

« L’audit des systèmes d’IA ne suffit pas ; nous devons pouvoir les démanteler. Les cadres de supervision de l’IA doivent inclure des mécanismes de refus, pas uniquement de contrôle. Quand un audit révèle qu’un algorithme est structurellement discriminatoire, il doit avoir la force juridique de le désactiver. Quand un système nuit de façon disproportionnée aux travailleurs, locataires, réfugiés ou citoyens, ces communautés ne doivent pas seulement être consultées mais avoir le pouvoir d’en stopper le déploiement. La participation ne doit pas se contenter de documenter les préjudices ; elle doit les interrompre. »

En fait, estime le consultant, « la gouvernance de l’IA n’est plus simplement un terrain de contestation mais un exemple flagrant de capture par les entreprises. Les géants de la tech agissent comme des législateurs privés, élaborant les cadres éthiques qui régissent leur propre conduite. Ils prônent l’ouverture tout en protégeant jalousement leurs algorithmes, parlent d’équité tout en brevetant des biais, évoquent la sécurité tout en exportant des technologies de surveillance vers des régimes autoritaires. Dans ce contexte, tout cadre qui n’aborde pas le déséquilibre fondamental des pouvoirs dans le développement et le déploiement de l’IA n’est pas seulement inefficace ; il est complice ». Les audits et évaluations participatifs doivent donc être juridiquement contraignants et viser non seulement à diversifier les contributions mais à redistribuer le contrôle et rééquilibrer les pouvoirs.

« La gouvernance doit être continue, adaptative et structurellement résistante à l’inertie et au désintérêt, en garantissant que les communautés restent impliquées dans les décisions tout au long du cycle de vie d’un système d’IA. Cela implique également la mise en place de financements pérennes et de mandats légaux pour les structures participatives ».

« La crise de la gouvernance de l’IA ne se limite pas à des systèmes d’IA défectueux. Elle révèle la mainmise des entreprises sur les processus de gouvernance. L’enjeu n’est pas simplement d’accroître la participation, mais de s’assurer qu’elle conduise à une véritable redistribution du pouvoir. Sans cadres d’évaluation solides, mécanismes d’application clairs et remise en question fondamentale de ceux qui définissent les priorités de la gouvernance de l’IA, la participation restera une vitrine vide, conçue pour afficher une transparence et une responsabilité de façade tout en préservant les structures mêmes qui perpétuent les inégalités ».

Les législateurs californiens viennent de proposer pas moins de 5 projets de loi contre la tarification algorithmique, rapporte The Markup… alors que celle-ci envahit tous les secteurs de l’économie numérique (voir notre dossier : Du marketing à l’économie numérique, une boucle de prédation). Et ce alors que les témoignages sur les problèmes que posent la personnalisation des tarifs ne cessent de remonter, par exemple avec des tarifs de réservation d’hôtel qui augmentent selon le lieu d’où vous vous connectez, ou encore des tarifs pour des services de chauffeurs plus élevés pour certains clients que pour d’autres. C’est ce que montre la récente étude du chercheur Justin Kloczko pour Consumer Watchdog, une association de défense des consommateurs américains. Kloczko rappelle que si en magasin les prix étaient différents pour chacun, il y aurait des émeutes, or, sur Amazon, le prix moyen d’un produit change environ toutes les 10 minutes. Et le chercheur de défendre “un droit à des prix standardisés et des garanties contre la tarification de surveillance”. L’association de consommateurs estime que les entreprises devraient indiquer sur leurs sites si des informations personnelles sont utilisées pour déterminer les prix et lesquelles. Certaines données devraient être interdites d’utilisation, notamment la géolocalisation, l’historique d’achat et bien sûr les données personnelles… 

Selon The Markup, les projets de loi sur l’IA proposés par les législateurs californiens se concentrent sur des questions de consommation courante et notamment les prix abusifs, estime Vinhcent Le qui a longtemps été à l’Agence de protection de la vie privée des consommateurs et qui vient de rejoindre l’ONG Tech Equity. Les projets de loi visent par exemple à interdire l’utilisation d’algorithmes personnalisant les prix en fonction de caractéristiques perçues ou de données personnelles ou de les utiliser pour fixer le montant des biens locatifs, ou encore des interdictions pour modifier les prix des produits en ligne par rapport à ceux vendus en magasin.

Maytal Eyal est psychologue et écrivaine. Dans une tribune pour Time Magazine, elle constate que l’IA générative est en train de concurrencer son travail. De nombreuses personnes utilisent déjà les chatbots pour discuter de leurs problèmes et de leurs difficultés. Peut-être que l’IA peut contribuer à rendre la thérapie plus facilement accessible à tous, d’autant que les mauvais thérapeutes sont nombreux et que l’accès aux soins est difficile et coûteux, s’interroge-t-elle. Aux Etats-Unis, la moitié des adultes souffrant de problèmes de santé mentale ne reçoivent pas le traitement dont ils ont besoin. 

En convainquant les gens que nos difficultés émotionnelles – de la tristesse au chagrin en passant par les conflits familiaux – nécessitaient une exploration professionnelle, Freud a contribué à déplacer la guérison émotionnelle de la sphère communautaire et spirituelle qui l’ont longtemps pris en charge, vers l’intimité du cabinet du thérapeute, rappelle-t-elle. “Ce qui était autrefois considéré comme des manquements moraux honteux est devenu un problème humain courant, qui pouvait être compris scientifiquement avec l’aide d’un professionnel. Mais il a également transformé la guérison en une entreprise plus solitaire, coupée des réseaux communautaires qui ont longtemps été au cœur du soutien humain”. 

Dans un avenir proche, la thérapie par IA pourrait pousser le modèle individualisé de Freud à son extrême au risque que nos problèmes psychiques soient adressés sans plus aucun contact humain.

A première vue, ce pourrait être une bonne chose. Ces thérapeutes seront moins cher et disponibles 24h/24. Les patients ressentiraient moins la peur du jugement avec des chatbots qu’avec des humains, moins de frictions donc.

Mais, c’est oublier que la friction est bien souvent au cœur de la thérapie : “C’est dans le malaise que le vrai travail commence”. Alors que les compagnons IA deviennent source de soutien émotionnel par défaut – pas seulement en tant que thérapeutes, mais aussi en tant qu’amis, confidents, complices ou partenaires amoureux, c’est-à-dire désormais ceux avec qui l’on discute et qui sont capables de répondre à nos discussions, qui nous donnent l’impression d’être au plus proche de nous et qui bien souvent nous font croire qu’ils nous connaissent mieux que quiconque – “nous risquons de devenir de plus en plus intolérants aux défis qui accompagnent les relations humaines”. 

“Pourquoi lutter contre la disponibilité limitée d’un ami alors qu’une IA est toujours là ? Pourquoi gérer les critiques d’un partenaire alors qu’une IA a été formée pour offrir une validation parfaite ? Plus nous nous tournons vers ces êtres algorithmiques parfaitement à l’écoute et toujours disponibles, moins nous risquons d’avoir de la patience pour le désordre et la complexité des relations humaines réelles”.

Or, “les défis mêmes qui rendent les relations difficiles sont aussi ce qui leur donne du sens. C’est dans les moments d’inconfort, lorsque nous naviguons dans des malentendus ou que nous réparons les dégâts après un conflit, que l’intimité grandit. Ces expériences, que ce soit avec des thérapeutes, des amis ou des partenaires, nous apprennent à faire confiance et à nous connecter à un niveau plus profond. Si nous cessons de pratiquer ces compétences parce que l’IA offre une alternative plus fluide et plus pratique, nous risquons d’éroder notre capacité à nouer des relations significatives”. 

“L’essor de la thérapie par l’IA ne se résume pas seulement au remplacement des thérapeutes. Il s’agit de quelque chose de bien plus vaste : la façon dont nous, en tant que société, choisissons d’interagir les uns avec les autres. Si nous adoptons l’IA sans friction au détriment de la complexité des relations humaines réelles, nous ne perdrons pas seulement le besoin de thérapeutes, nous perdrons la capacité de tolérer les erreurs et les faiblesses de nos semblables.” Le risque n’est pas que les thérapeutes deviennent obsolètes, le risque c’est que nous le devenions tous. 

L’association des psychologues américains vient justement d’émettre une alerte à l’encontre des chatbots thérapeutes. Programmés pour renforcer, plutôt que de remettre en question la pensée des utilisateurs, ils pourraient inciter des personnes vulnérables à se faire du mal ou à en faire aux autres, rapporte le New York Times. Des adolescents ayant discuté avec des chatbots se présentant comme psychologues sur Character.ai se sont suicidés ou sont devenus violents. En fait, le problème de ces outils, c’est qu’ils œuvrent à nous complaire pour mieux nous manipuler. « Les robots ne remettent pas en question les croyances des utilisateurs même lorsqu’elles deviennent dangereuses pour eux ou pour leur proches, au contraire, ils les encouragent ». Si les entreprises ont introduit des alertes pour rappeler aux utilisateurs qu’ils n’interagissent pas avec de vrais psychologues, ces avertissements ne sont pas suffisants pour briser “l’illusion de la connexion humaine”. L’association a demandé à la Federal Trade Commission d’ouvrir une enquête sur ces chatbots. Du côté des entreprises d’IA, le discours consiste à dire que les outils vont s’améliorer et que compte tenu de la grave pénurie de prestataires de soins de santé mentale, il est nécessaire d’améliorer les outils plutôt que de les contenir. Mais cette réponse en forme de promesse ne dit rien ni des limites intrinsèques de ces machines, ni du contexte de leurs déploiement, ni de la manière dont on les conçoit. 

Comme nous le disions, la qualité des systèmes et de leurs réponses ne suffit pas à les évaluer : “l’état du système de santé, ses défaillances, ses coûts, la disponibilité du personnel… sont autant de facteurs qui vont appuyer sur les choix à recourir et à déployer les outils, mêmes imparfaits”. Et les outils apportent avec eux leur monde, comme l’explique la chercheuse Livia Garofalo. Garofalo a publié une étude pour Data & Society sur la téléthérapie et les soins de santé mentale. Elle revient pour le magazine de l’Association psychanalytique américaine sur les enjeux des transformations du travail à distance qui s’est beaucoup développée depuis la pandémie. Outre les consultations sur Zoom ou Doxy.me, les plateformes comme BetterHelp ou Talkspace redéfinissent les soins de santé mentale à distance. Mais ces plateformes ne font pas que mettre en relation un patient et un thérapeute, elles gèrent aussi les planning, les paiements, les messages, les remboursements… Malgré leur commodité, pour les thérapeutes, ces espaces de travail ressemblent beaucoup à une ubérisation, comme la connaissent les infirmières. Car en fait, ce qui change, ce n’est pas la distance. La chercheuse Hannah Zeavin dans son livre, The Distance Cure (MIT Press, 2021) a d’ailleurs montré que depuis le début de la psychanalyse, des formes de thérapies à distance ont toujours existé, par exemple via l’imposante correspondance épistolaire de Freud avec ses patients. Ce qui change, c’est la prise de pouvoir des plateformes qui organisent la relation, imposent des tarifs et renforcent les inégalités d’accès au soin, en s’adressant d’abord aux thérapeutes débutants, aux femmes, aux professionnels de couleurs, c’est-à-dire aux thérapeutes dont la clientèle est plus difficile à construire. Enfin, là aussi, la plateformisation change la relation, notamment en rendant les professionnels disponibles en continu, interchangeables, et brouille les frontières cliniques et personnelles.

L’illusion qu’ils nous donnent en nous faisant croire qu’on parle à quelqu’un se révèle bien souvent un piège. C’est ce que l’on constate dans un tout autre domaine, celui de l’orientation scolaire. Aux Etats-Unis, raconte The Markup. “Plus les étudiants se tournent vers les chatbots, moins ils ont de chances de développer des relations réelles qui peuvent mener à des emplois et à la réussite.” Comme les conseillers d’orientation scolaires et conseillers pour l’emploi des jeunes sont très peu nombreux, un flot de chatbots d’orientation est venu combler ce déficit humain. Le problème, c’est qu’y avoir recours érode la création de liens sociaux qui aident bien plus les jeunes à trouver une orientation ou un emploi, estime une étude du Christensen Institute.

En août, dans son document détaillant les risques et problèmes de sécurité pour ChatGPT, OpenAI énumérait les problèmes sociétaux que posent ses modèles et pointait que les questions de l’anthropomorphisation et la dépendance émotionnelle étaient en tête de liste des préoccupations auxquelles l’entreprise souhaitait s’attaquer. L’anthorpormophisation, c’est-à-dire le fait que ces boîtes de dialogues nous parlent comme si elles étaient humaines, créent “à la fois une expérience produit convaincante et un potentiel de dépendance et de surdépendance”. En bref, à mesure que la technologie s’améliore, les risques psychosociaux s’aggravent, comme le souligne d’ailleurs l’étude que viennent de publier le MIT et OpenAI. Pour Julia Fisher, auteure de l’étude du Christensen Institute, il faut que ces robots soient conçus pour nous reconnecter aux humains plutôt que de nous en écarter, explique-t-elle dans une tribune pour The74, l’une des grandes associations éducatives américaines.

Elle pointe notamment que les fournisseurs de chatbots d’orientation commencent à prendre la question au sérieux et tentent d’esquisser des solutions pour y répondre. Par exemple en limitant le temps d’interaction ou en faisant que les robots conseillent à ceux qui y ont recours, fréquemment, de voir des amis. Un autre outil demande aux étudiants qui s’inscrivent d’indiquer 5 relations qui seront alertées des progrès des étudiants à l’université pour qu’ils reçoivent un soutien humain réel. Un autre propose de connecter les étudiants à des mentors humains. Un autre encore propose de s’entraîner à demander de l’aide à des humains. Autant d’exemples qui montrent que l’IA peut jouer un rôle pour renforcer les liens humains. “Cependant, les incitations à créer des outils d’IA centrés sur les relations sont faibles. Peu d’écoles demandent ces fonctionnalités sociales ou évaluent les outils pour leurs impacts sociaux”, rappelle Fisher. Ceux qui achètent ces technologies devraient exiger des systèmes qu’ils améliorent les relations humaines plutôt que de les remplacer.

Mais pour cela, encore faudrait-il que ses systèmes soient conçus pour être moins puissants que ses concepteurs ne le pensent. En nous répétant qu’ils ne s’amélioreront qu’avec plus de données, nous oublions de les concevoir pour qu’ils nous aident plutôt qu’ils ne fassent à notre place ou à la place d’autres humains. Il serait temps d’arrêter de croire en leur puissance et de mieux prendre en compte leurs défaillances et plus encore les nôtres. Par exemple, quand un élève leur demande de faire leur dissertation à leur place, ces systèmes seraient bien plus utiles s’ils les aidaient à la faire, à en comprendre les étapes et les raisons, et exigeaient d’eux le travail qu’on leur demande, en les guidant pour le réaliser, plutôt qu’en le faisant à leur place. Mais pour cela, peut-être faudrait-il parvenir à sortir de la course à la puissance… et parvenir à imaginer un autre rapport à ces outils en faisant de manière à ce qu’eux-mêmes, nous proposent un autre rapport à leur puissance.