La revue Terrain (@RevueTerrain, blog, index) publie un hors-série sur le « sublime bureaucratique », coordonné par les ethnologues et sociologues Emmanuel Grimaud (qui vient de faire paraître par ailleurs Dieu point zéro, PUF, 2021), Anthony Stavrianakis et Camille Noûs (@NousCamille, un pseudonyme collectif émanant du groupe RogueESR –@rogueesr – personnalisation d’une communauté académique critique issue du laboratoire délocalisé et interdisciplinaire Cogitamus – @CogitamusLab).

Un hors série qui plonge dans les formulaires et les techniques de production de la rationalité administrative, entre admiration et terreur. Dans ces exercices d’exorcisme (magnifiés de contributions graphiques provenant d’une belle diversité d’artistes pour mieux les subjuguer), les chercheurs soulignent, via nombre d’exemples, envoûtants, combien la technicité ne pourra jamais embrasser le monde. L’ensemble livre de belles épaisseurs sur l’absurdie à laquelle nous participons, que ce soit sur des objets convenus, comme Parcoursup – « Numéritocratie », une synthèse parfaite du sujet par la toujours remarquable Isabelle Bruno – , le Crédit impôt recherche – « L’équation managementale » par Nicolas Bataille qui s’intéresse aux contorsions à produire des justificatifs – , le FMI – « Dessine-moi un FMI » d’Horacio Ortiz qui s’interroge sur la difficulté à saisir une organisation par ses productions… Ou des objets qui le sont bien moins comme la formule du taux de mortalité journalier des usines à poulet en Europe – « La formule de la chimère » de Gil Bartholeyns – qui vient de publier Le hantement du monde (éditions du Dehors, 2021) qui interroge l’origine même de la production de normes. Ou encore l’incroyable article d’Etienne Bourel, « (Dé)rég(u)ler la forêt » qui s’intéresse aux diamètres minimum d’autorisation de coupe d’arbres dans l’exploitation forestière au Gabon. Les formulaires de comités d’éthique pour produire de l’éthique de Christos Panagiotopoulos dans « Déformuler » qui souligne combien la variabilité des protocoles de recherche produit d’inconsistance. Les calculs complexes du taux d’incapacité qui souligne les limites de la reconnaissance du handicap, comme si l’administration était incapable finalement de produire la sensibilité nécessaire à mesurer le sensible – « 50 nuances d’incapacité » par le groupe d’intervention Usher-Socio. Ou encore une plongée glaçante dans le formulaire de calcul du niveau de coma (le « Coma recovery scale revised ») par Sélima Chibout qui nous rappelle que plus la réalité est insaisissable, plus nous produisons des dispositifs inopérants… Ou encore ce puissant retour sur la naissance d’Excel, « La feuille qui calcule le réel » par le Recursion Lab, qui met en abîme le réductionnisme de la mise en cellule du calcul…

Nous sommes cernés par des catégorisations qui segmentent le réel sans jamais parvenir à le réduire, nous explique ce numéro. A mesure que nous recherchons plus d’efficacité, nous démultiplions les procédures certes, mais surtout les confusions… Nous éloignant toujours plus du vivant qu’on voudrait saisir. Cette « descente » dans le cœur des normes, des formulaires, des calculs, des procédures montre assurément que c’est là désormais que la politique se produit. Comme l’expliquent dans leur introduction Emmanuel Grimaud et Anthony Stavrianakis, l’envoutement se referme sur nous. « Nous ne pouvons imaginer d’autre solution » à la rationalité et à la technicité que nous mettons en œuvre, alors qu’elle ne cesse de produire ses propres limites. Nous sommes pris dans le cercle infernal de notre propre désir de règles « claires, édictées, matérialisées, formulées »… « Peut-on contrer la pulsion organisationnelle par autre chose que de l’organisation ? » Passionnant !

Hubert Guillaud

PS : nous ajouterons les liens vers les publications en ligne lorsqu’elles seront disponibles.

Pour les ingénieurs, bien souvent, la question des biais algorithmiques n’est qu’un problème technique à corriger. Le fait qu’une IA ne soit ni neutre, ni loyale, ni équitable n’est finalement qu’une question de modélisation à ajuster, de données à corriger, de calculs à améliorer…

Pour remédier aux discriminations, il suffirait finalement de calculer des mesures correctrices proportionnelles au niveau de discrimination, une discrimination positive en quelque sorte. Ce n’est peut-être pas si simple…

Kate Crawford (@katecrawford) le disait très bien : quelle correction appliquée ? La question est bien plus compliquée qu’une correction relative à des problèmes de physique, comme de corriger les turbulences d’un avion ou le freinage d’une voiture. Modéliser la société n’est pas la même chose que modéliser des problèmes de physique, disait déjà le physicien Pablo Jensen…

Reste que la question de la correction des biais des systèmes fait de plus en plus l’objet d’une attention forte des autorités. Et trouver les préjugés de l’IA est devenue une activité en plein essor pour les startups et les grands noms de la technologie, rapporte le journaliste Cade Metz (@cademetz, qui vient de publier Genius Makers, Penguin, 2021) dans le New York Times.

Le National Institute of Standards and Technology a publié récemment une proposition détaillant la manière dont les entreprises peuvent lutter contre les préjugés de leurs systèmes. Fin 2019, les régulateurs de l’État de New York ont ouvert une enquête contre United Health Group accusé d’avoir utilisé un algorithme dans des hôpitaux qui donnait la priorité aux patients blancs sur les patients noirs (et ce n’est pas le seul exemple des problèmes que l’usage de l’IA en médecine pose, cf. notre article « En médecine, l’IA est en plein essor, mais pas sa crédibilité »). Plus de 100 millions de dollars ont été investis au cours des 6 derniers mois dans des entreprises explorant les questions éthiques liées à l’intelligence artificielle, estime PitchBook, un cabinet de recherche qui suit les activités financières des entreprises. Software Alliance (@BSAnews) a proposé récemment un cadre détaillé (.pdf) pour lutter contre les préjugés de l’IA en pointant le fait que certaines technologies automatisées nécessitaient une surveillance humaine régulière. Les grandes entreprises du numérique travaillent toutes sur ces sujets et déploient des outils dédiés.

Le problème, c’est qu’il n’y a pas de solution simple pour lutter contre les biais. Pour nombre d’entreprises, construire une technologie équitable consiste surtout à ignorer les problèmes de discrimination qu’elle crée (ce qu’on appelle, d’une manière assez paradoxale, « l’équité par inconscience »). L’idée est simple : plus on apporte de données – et notamment des données les plus diverses possibles -, plus l’équité viendra. Pour la Software Alliance cependant, tout comme pour nombre de spécialistes du sujet, cet argument ne tient pas la route. Le problème n’est pas la masse de données, mais bien leur qualité, leur diversité bien sûr, qui n’est pas nécessairement assurée, mais aussi leur validité.

Le problème du problème, c’est que nous ne savons pas à quel point le problème des biais est grave, estime Jack Clark (@jackclarksf), cofondateur d’Anthropic, membre du laboratoire Human-Centered Artificial Intelligence de Stanford (StanfordHAI) et auteur de l’AI Index (@indexingai). C’est-à-dire que si nous constatons que le problème est profond, nous avons du mal à mesurer son impact et ses conséquences.

Des outils pour débiaiser ou des outils pour accélérer et réduire les coûts de la mise en conformité ?

Liz O’Sullivan (@lizjosullivan, blog), conseillère pour Arthur.ai, un système de surveillance de la performance et de détection de biais pour les outils d’IA, membre de l’American Civil Liberties Union et directrice technologique du programme Surveillance Technology Oversight Project, a construit avec Rumman Chowdhury (@ruchowdh), Parity, une technologie qui analyse les données, les technologies et les méthodes utilisées par les entreprises pour créer leurs services et identifier les « zones » à risque. Parity examine les biais, la conformité à la loi et fournit des recommandations dédiées. Mais plus que la responsabilité, Parity travaille sur le risque, une notion bien plus préhensile pour les entreprises. Parity dispose d’une bibliothèque de questions qu’elle adresse aux concepteurs des systèmes selon leurs fonctions et connaissances, des juristes aux scientifiques. Les réponses, souvent en texte libre, sont elles-mêmes analysées par des outils de traitement du langage naturel et traduit en risques, permettant souvent de montrer que les risques des uns ne correspondent pas aux risques des autres. Ensuite, la plateforme recommande un ensemble d’actions pour atténuer les risques, comme de créer un tableau de bord pour surveiller en permanence la précision d’un modèle ou mettre en place des procédures de documentation sur la manière dont il est formé et affiné. Il intègre plusieurs outils de contrôles comme AI Fairness 360 d’IBM ou les Model Cards de Google (voir notre article : « Auditer les algorithmes »). L’enjeu estime Chowdhury consiste à réduire le temps nécessaire à l’audit des systèmes pour le faire plus régulièrement et souvent, soulignant là encore, combien l’automatisation des questions de conformité (et toutes les formes d’évaluations qui les accompagne, à savoir les mesures de qualité, d’impact social et environnemental…), qui nécessitent des évaluations chronophages et coûteuses, doivent être réduites dans le but de produire des économies d’échelles et des gains de productivité. La question de l’automatisation de l’atténuation des biais relève surtout d’une automatisation de l’intégration des formes régulations. Pour Chowdhury pourtant, l’enjeu est de pousser un cran plus loin : il est de faire passer les entreprises du calcul du risque à l’analyse de leurs impacts.

Reste qu’il est finalement troublant que le « débiaisage » de l’IA utilise des technologies d’IA qui peuvent elles-mêmes être biaisées. Si ces outils sont aussi imparfaits que l’IA, ils permettent au moins de souligner certains problèmes, veulent croire les chercheuses. L’enjeu, estime Liz O’Sullivan, c’est surtout de créer du dialogue. Trop souvent le problème vient du fait qu’il demeure ignoré ou que les personnes qui en discutent ont le même point de vue. Ce qui manque, bien souvent, c’est une diversité d’approche de ces questions.

Sur son blog, Liz O’Sullivan revient par exemple sur le besoin d’équité des moteurs de recommandation. Les moteurs de recommandation aident les entreprises à prédire ce qu’elles pensent que vous aimeriez voir. Pour Netflix ou YouTube, cela se traduit par le choix de la vidéo suivante qui vous sera proposé en lecture automatique. Pour Amazon par le choix d’articles à vous suggérer dans un courriel promotionnel. Les systèmes de recommandations doivent donc prendre en compte 2 aspects d’un problème : ce qu’ils recommandent et à qui ils le recommandent.

Pour recommander des contenus, cela nécessite bien souvent d’apprendre d’une combinaison à détecter les articles similaires et les utilisateurs similaires. Les moteurs de recommandation recommandent des articles sur la base de « préjugés inductifs », selon le modèle courant que les utilisateurs qui semblent similaires dans le passé continueront à l’être dans le futur. Le problème de ce biais inductif est multiple. Tout d’abord, il favorise la popularité : quel que soit le contenu que vous recommandez à un utilisateur, tous les chemins de la recommandation mènent à la vidéo la plus populaire du jour. Grosso modo, YouTube va vous recommander la vidéo que tout le monde regarde, comme a pu l’être Gangnam Style à une époque. Le biais inductif implique de ne pas prendre de risque et de montrer ce qui a le plus plu aux autres utilisateurs. À l’inverse, bien sûr, « moins YouTube sait comment les utilisateurs vont interagir avec votre type de contenu, plus il est risqué de le promouvoir », d’où la difficulté à promouvoir des contenus très peu consultés. Bien sûr des correctifs existent. On peut favoriser les contenus récents et émergents et réduire la recommandation vers la vidéo la plus populaire. Si cela permet de favoriser les petits producteurs de contenus, le risque est de donner un avantage disproportionné à des contenus qui ne le méritent pas beaucoup, comme les contenus complotistes ou radicaux. L’IA fait un mauvais travail de prédiction dès qu’elle n’a pas beaucoup de données sur lesquelles s’appuyer. C’est hélas bien souvent le cas.

Un autre parti pris très documenté est la partialité politique, le fait que les moteurs favorisent certains types de contenus politiques ou ne distribuent pas équitablement dans la population les mêmes types de contenus. Le problème ici consiste à mesurer l’impact positif ou négatif d’une recommandation. Une publicité financière peut-être bénéfique si elle recommande le refinancement d’un prêt étudiant (à son avantage) mais nuisible dans le cadre d’un prêt sur salaire par exemple. D’où la nécessité d’évaluations qualitatives, qu’il est pourtant difficile de réaliser à grande échelle sur une multitude d’annonces.

Pour O’Sullivan, il n’y a pas de solution miracle pour atténuer ces biais, mais l’industrie devrait tout de même travailler à mieux le mesurer. Mieux évaluer la discrimination induite d’abord, comme celle produite par les choix et biais des utilisateurs eux-mêmes : « la discrimination involontaire [c’est-à-dire l’équité par inconscience] n’est plus une stratégie viable », met en garde la chercheuse.

En fait, il va peut-être falloir envisager de créer des catégories sur les contenus ou publicités en fonction de leur utilité ou nocivité, explique-t-elle. On peut par exemple distinguer des publicités proposant un enseignement supérieur selon qu’il est dispensé par des universités ou qu’il propose seulement des certifications à but lucratif… Distinguer les contenus selon ce qu’ils proposent serait effectivement une méthode de tri pertinente, mais elle implique des décisions morales et subjectives qui sont bien loin de la neutralité affichée par les plateformes. Pas sûr que grand monde sache ou souhaite de cette solution. Ensuite, il va s’agir de mesurer les recommandations selon les catégories protégées et la qualité de ce qui est recommandé – aux États-Unis, les groupes protégés sont des catégories de personnes qui disposent d’une protection spéciale pour limiter leur discrimination. Pour Liz O’Sullivan, l’atténuation des biais et préjugés est une quête sans fin nécessitant de tester ad nauseam les systèmes. C’est-à-dire « veiller, en tant que praticiens, à apporter une éthique d’amélioration continue à ces enjeux, sans jamais considérer que ce qui a été fait est « suffisamment bon » ».

Retenons pourtant de cette démonstration une précision importante : évaluer la nocivité nécessite de la catégoriser. Une proposition assez iconoclaste dans un monde où le relativisme règne en maître sous prétexte de sa neutralité, ou une publicité en vaut une autre quel que soit le produit proposé, ou l’efficacité d’un calcul est toujours évaluée par rapport aux gains financiers qu’il génère avant tout autre critère.

D’autres outils que Parity existent également pour surveiller les services d’IA, comme le rapporte la Technology Review dans un article sur les « startups de l’éthique ». Celles-ci proposent différents types de produits : des outils d’atténuation des biais à des modalités d’explicabilité des traitements. Fiddler (@fiddlerlabs), dirigé par Krishna Gade (@krishnagade), ancien responsable du News Feed de Facebook où il a développé une première base de son travail qui a donné la fonctionnalité « Pourquoi est-ce que je vois ça ? », travaille principalement sur l’explicabilité. Mais Fiddler permet également de suivre les performances des modèles en fonction de leurs résultats.

Il a même récemment introduit un détecteur de biais, qui produit des alertes si par exemple vous utilisez le code postal pour calculer un prêt immobilier ou des taux de faux positifs par catégories d’utilisateurs. Pour cela, Fiddler a développé des « métriques d’équité », basées sur les catégories légales des groupes protégés que nous évoquions ci-dessus. Par exemple, il calcule un « impact différencié » qui mesure la discrimination indirecte qui affecte de manière disproportionnée les membres d’un groupe protégé par rapport aux autres. Il calcule également la « parité démographique » : c’est-à-dire compare si les différents segments d’une classe protégée reçoivent des résultats à taux égaux. Il calcule « l’égalité des chances », c’est-à-dire évalue si toutes les personnes sont traitées de manière égale ou similaire et ne sont pas désavantagées sur la base de résultats différents. Enfin, il calcule un « avantage de groupe », c’est-à-dire détermine le taux auquel un événement particulier est prédit au sein d’un sous-groupe par rapport au taux auquel il se produit réellement.

Dans un autre billet de blog, le PDG de Fiddler explique sa collaboration avec FinRegLab, une équipe de chercheurs de l’École d’affaires de Stanford qui travaille à un système d’évaluation et d’explicabilité des outils de crédits (et notamment le fameux score Fico qui détermine les possibilités d’emprunt). Les banques et assureurs sont confrontés à plusieurs problématiques avec leurs outils : le manque de transparence quant aux raisons pour lesquelles le modèle a pris une décision, qui impacte tant ces entreprises et leurs clients que les autorités de régulation. Le manque de visibilité sur les performances des modèles en production, le risque de dérives sur les données et leur difficulté à prendre en charge les changements. Par exemple, avec la pandémie, la distribution des demandeurs de prêts s’est radicalement transformée ce qui a rendu l’évaluation du risque bien plus difficile. Les banques doivent également apprendre à gérer les biais qui peuvent se produire à l’encontre des utilisateurs finaux, pour ne pas connaître d’incidents comme celui de l’Apple Card, la carte de crédit d’Apple qui était censée désavantager les femmes par rapport aux hommes (soulignons pourtant qu’une enquête du département des services financiers de l’État de New York n’a trouvé aucune preuve concrète de ces accusations en analysant le système, rapporte Bloomberg). Enfin, dans la finance, le besoin de conformité réglementaire est assez fort… Dans son utilisation par les banques, Fiddler par exemple produit une surveillance permanente des modèles et permet de produire des alertes lorsque les modèles dérivent.

Arthur AI et Weights & Biaises proposent également des plateformes de surveillance. Le premier met l’accent sur l’explicabilité et l’atténuation des biais, tandis que le second suit les expériences d’apprentissage automatique pour améliorer la reproductibilité.

Pour O’Sullivan et Chowdury de Parity, toutes ces solutions plus ou moins concurrentes sont une bonne chose, car il n’y a pas une seule méthode pour créer de la responsabilité. On l’avait déjà constaté avec les innombrables méthodes, matrices et checks-lists existantes qui sont autant de tentatives à trouver des modalités de dialogues pour intégrer des considérations sociales aux systèmes techniques. Pour elles, soulignent-elles, l’enjeu consiste surtout à produire un écosystème qui permette d’interroger les systèmes et de montrer les implications de ces questions pour dépasser les correctifs techniques, les questions de conformité ou la mesure de risque. Comme pour mieux prendre en compte l’impact social des enjeux techniques.

Jusqu’où débiaiser ?

L’un des premiers articles (.pdf) (signé par une cohorte de jeunes chercheurs dont Tolga Boukbasi de l’université de Boston) sur le débiaisage/débruitage de systèmes par d’autres systèmes date de 2016 et portait bien sûr sur une analyse du langage pour détecter les mots genrés et leur appliquer des correctifs (plus précisément, il s’agit de comprendre les « plongements lexicaux », c’est-à-dire les associations implicites entre mots et préjugés). Sur son blog, la data scientist Mitra Mirshafiee, de la communauté de data scientist Analytics Vidhya (@analyticsvidhya, blog) revenait d’ailleurs sur cet article pour nous en expliquer la portée et les limites.

Pour elle, les systèmes d’apprentissage automatique sont en train de s’emparer du monde que nous utilisons quotidiennement et non seulement « ils reproduisent nos anciennes pensées et nos anciens schémas de pensée, mais ils les amplifient en rendant les biais plus répandus encore qu’ils n’étaient ». « Si nous ne prenons pas soin de nos algorithmes, ils continueront à étiqueter les personnes à la peau foncée comme des gorilles, à montrer aux femmes programmeurs informatiques et mathématiciennes des offres d’emploi de nettoyage et de ménage, à penser que tous les musulmans soutiennent le terrorisme, etc. »

En 2013, l’informaticien Tomas Mikolov et son équipe chez Google travaillaient à ce que les algorithmes de recherche répondent mieux aux questions des gens. Ils ont ainsi inventé word2vec, un algorithme non supervisé auto-encodeur. Ainsi, lorsqu’on lui donne une phrase, il produit pour chaque mot de cette phrase une série de nombres représentant les aspects les plus importants de ces mots. Ainsi mesurés, encastrés, on peut calculer des relations entre les mots, trouver des liens cachés. Les informaticiens ont travaillé à trouver des analogies entre les mots pour mieux mesurer leurs différences… par exemple pour calculer si l’analogie entre homme et femme était différente de celle entre femme et fille ou entre homme et fille. En produisant des analogies, ils ont ainsi remarqué que homme était lié à « informaticien »… et demandé si femme était lié à un terme comparable. Mais plutôt que de produire le terme informaticienne, la machine a répondu « femme au foyer ». En fait, ils ont ainsi montré que certains termes étaient genrés dans leur utilisation même : « libraire » s’associe plus au pronom « she » (elle) que « maestro » qui ne qualifie que des « he » (il) ! En observant comment des mots pourtant neutres en terme de genre sont associés à des genres, les chercheurs peuvent alors produire un système pour neutraliser leur connotation cachée. La démonstration de Mitra Mirshafiee est bien sûr un peu complexe, mais elle souligne comment ces calculs permettent de réduire les stéréotypes. Pas totalement pourtant : c’est toute la limite de la correction ! Elle reste limitée et incomplète. Les résultats d’atténuation sont notables, mais pas total… et restent limités à des dictionnaires terminologiques eux-mêmes élémentaires ou critiquables, qui concernent certains types de relations entre certains types de mots… Calculer et rectifier les biais de tous nos lexiques semble bien compliqué et produira peut-être des corrections… Le risque est que ce soit là un travail toujours inachevé !

D’où le fait qu’on parle bien plus de « réduction » ou « d’atténuation » de biais que de suppression… en employant via des techniques de « contraintes d’équité », de « régularisations de préjugés » ou de « débruitage contradictoire ». C’est ce que montre très bien (même si c’est là encore assez technique) les publications de la data scientist Haniyeh Mahmoudian sur les techniques d’atténuation des biais pour Towards Data Science.

L’article de Tolga Boukbasi et ses collègues a certes donné des ailes à l’automatisation du débiaisage… Pourtant, malgré quelques succès – que les techniques des startups qu’on a évoqués ici représentent parfaitement -, le débruitage demeure toujours imparfait. Le journaliste Kyle Wiggers (@Kyle_L_Wiggers) pour Venture Beat soulignait d’ailleurs que si nombre de plateformes utilisent des systèmes de détection de la toxicité du langage (notamment Jigsaw d’Alphabet/Google), ils demeurent souvent bien peu performant. Les chercheurs du Allen Institute ont étudié (.pdf) des techniques pour remédier aux déséquilibres lexicaux (le fait que des mots ou ensembles de mots soient toxiques) et dialectaux (le fait que des variantes linguistiques soient marquées comme toxiques) dans les données. Là encore, si les techniques de filtrage réduisent les biais, ils ne les éliminent jamais. Les modèles de filtrage établis continuent de marquer de manière disproportionnée certains textes comme toxiques. En fait pointent les auteurs, l’atténuation des biais dialectaux ne semble pas modifier la propension d’un modèle à étiqueter les textes d’auteurs noirs comme plus toxiques que ceux d’auteurs blancs ! Pour eux, GPT-3 (qui est pourtant l’un des modèles d’analyse linguistique le plus développé) manque certainement d’entraînement sur des variétés d’anglais afro-américains. Dans le gouffre des données, le risque est qu’il n’y en ait jamais assez sans être assuré que plus de données permettent vraiment de réparer les biais que nous ne cessons de produire.

Pour les chercheurs, le débiaisage ne suffira pas… C’est le constat récurrent que font les chercheurs de ces domaines, que ce soit les travaux de Joy Buolamwini (@jovialjoy) et Timnit Gebru (@timnitGebru) sur la reconnaissance faciale, ceux de Guillaume Chaslot (@gchaslot) et l’association Algotransparency sur les recommandations de YouTube, ceux d’Angèle Christin (@angelechristin) sur la justice prédictive… et tant d’autres, dont nous nous sommes régulièrement fait l’écho…

Même constat des chercheurs du Allen Institute. Au final, ils recommandent de mieux identifier le locuteur pour produire de meilleures corrections. Pour produire une meilleure correction des éléments lexicaux et dialectaux, il faudrait donc mieux étiqueter les textes, notamment en les catégorisant selon l’origine de leurs auteurs ! Mais cette perspective se révèle finalement plus inquiétante que les biais actuels des systèmes… puisqu’elle consiste à étiqueter sans fin les personnes sans saisir la notion culturelle des biais. Si on prolonge l’exemple d’une catégorisation de l’origine des textes, il faudrait catégoriser selon les origines de leurs auteurs… au risque de descendre dans des spécifications encore plus problématiques qu’elles ne sont ! À quelles « variétés » (sic) rattacher les textes de Ta-Nehisi Coates, Toni Morrisson, Richard Wright, James Baldwin… ?

À croire que la surproduction identitaire de l’analyse de données répond et amplifie nos névroses identitaires ! En tout cas, c’est typiquement le risque que pointait Kate Crawford dans son livre, Atlas of AI, celle d’une réduction identitaire qui risque d’encourager une mal-mesure sans fin… C’est-à-dire qu’au prétexte de vouloir corriger des biais en ajouter d’innombrables !

Pas étonnant que certains chercheurs souhaitent donc s’éloigner du concept même de biais. La chercheuse à Data & Society, Kinjal Dave (@kinjaldave7), par exemple, estime que le terme, issu de la psychologie sociale, renvoie à l’imperfection des individus, que ce soient les producteurs de systèmes comme tout un chacun, en invisibilisant le fait que les systèmes produisent non pas des biais, mais renforcent des rapports de pouvoir. Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein) dans leur livre Data Feminism, estiment que parler de biais laisse croire qu’on pourrait les corriger : elles préfèrent donc parler d’oppression. Même constat chez d’autres auteurs dont nous avons parlé comme Sasha Constanza-Chock ou Ruha Benjamin… qui parlent elles plutôt de justice, pour pointer également l’importance des rapports de pouvoir masqués par les traitements.

Ultime défiance face à ces technologies d’atténuation. Le risque que les correctifs proposés se démultiplient dans la plus grande opacité, sans qu’on soit assuré de leur efficacité comme du fait qu’ils aient été utilisés ou utilisés correctement. Qui nous assurera que les correctifs techniques ont bien été produits et appliqués ? La perspective d’une automatisation de l’éthique ne lève donc pas tous les défis du sujet !

Vers une éthique automatique ?

Un épais rapport du Pew Research Center auprès d’experts de l’IA se montre plutôt sombre… sur les perspectives à rendre l’IA éthique. Pour la majorité d’entre eux, la conception éthique de l’IA ne devrait pas être la norme avant une bonne dizaine d’années. L’optimisation des profits et le contrôle social devraient continuer à être au cœur de l’IA. Aux États-Unis, un rapport de l’agence de la responsabilité gouvernementale américaine reconnaissait que les technologies de reconnaissances faciales par exemple étaient déjà largement déployées et utilisées par nombre de services du gouvernement, s’alarmait Rachel Metz pour CNN.

Dans ce contexte plutôt sombre, l’Ada Lovelace Institute britannique (@AdaLovelaceInst) se veut plus positif. Il a organisé fin juin une série d’ateliers et de discussions pour prototyper l’avenir de l’éthique de l’IA. Pour les chercheuses Sarah Chander (@sarahchander), Erinma Ochu (@erinmaochu) et Caroline Ward (@noveltyshoe), l’enjeu, expliquent-elles en interview, n’est pas tant de rendre les systèmes moins problématiques qu’ils ne sont… n’est pas de documenter les dommages qu’ils causent, ou de débiaiser les technologies… mais d’imaginer : « si nous devions démanteler les technologies de surveillance, la domination, l’extraction, qu’y aurait-il à la place ? Qui a le droit d’écrire ce futur ? »

On se souvient, il n’y a pas si longtemps, de l’éviction de Timnit Gebru de Google pour avoir tenté de mettre un peu de responsabilité et d’éthique chez Google, lié à la publication d’un article critique des développements de GPT-3. Le licenciement de Timnit Gebru, pour emblématique qu’il soit, rappelle d’autres tensions, pointe le journaliste Tom Simonite (@tsimonite) dans un remarquable et détaillé article pour Wired sur son parcours et son éviction. Dans l’industrie minière ou chimique, les chercheurs qui étudiaient la toxicité ou la pollution pour le compte des entreprises exploitantes, n’ont jamais été très bien considérés. Pour l’instant, dans le jeune domaine de l’IA, les chercheurs qui étudient ses méfaits occupent encore bien souvent une place centrale dans les entreprises. Il est possible que le bruyant licenciement de Timnit Gebru de Google en signe la fin, explique le journaliste.

En 2016, Google avait publié un premier article de recherche sur l’équité de l’IA, un article qui tentait d’apporter des réponses pour corriger les réponses afin que l’évaluation du risque à ne pas rembourser un prêt offre un traitement égal aux individus, indépendamment de leur sexe, de leur race ou de leur religion. Dans son article, Simonite souligne les hésitations internes de Google à s’aventurer sur ces sujets, ainsi que le fait que le travail de Timnit Gebru et Margaret Mitchell (@mmitchell_ai, qui a également été remerciée) sur les questions de responsabilité avaient du mal à être intégrées à la culture Google.

Après la fronde contre Maven, le contrat controversé passé avec le Pentagone, Google a publié de grands principes pour guider ses travaux sur l’IA. En octobre 2019, Google a lancé BERT, un système d’apprentissage automatique permettant de mieux comprendre les requêtes longues et complexes et leur contexte, en travaillant depuis des volumes de textes plus grands. En mai 2020, OpenAI (@openai) a lancé GPT-3 qui avait ingéré plus de données que Bert et pouvait générer des textes d’une plus grande fluidité (nous somme là assurément dans une course à la puissance : Bert avait avalé quelques 3,3 milliards de mots, quand GPT-3 en digère près de 500 milliards – que les ingénieurs ont récupérées sur le Web, la source la plus facilement disponible à l’échelle nécessaire). Mais les ensembles de données étaient si volumineux que les assainir, ou même savoir ce qu’ils contenaient était une tâche trop ardue. Il s’agissait d’un exemple extrême du problème contre lequel Timnit Gebru avait mis en garde la communauté dans une de ses recherches, à savoir la nécessité de produire, pour chaque ensemble de données, une fiche technique les documentant (qui a visiblement contribué activement à la naissance des Google Model Cards). Alors que Google travaillait à la construction de successeurs encore plus puissants à Bert ou GPT-3, l’équipe chargée de l’éthique de l’IA chez Google a commencé à étudier les inconvénients de ces technologies. En septembre 2020, en interne, des responsables de Google se sont réunis pour discuter de l’IA responsable sans que des représentants de son équipe éthique soient conviés. Au même moment, les chercheurs de l’équipe éthique mettaient un point final à un article critique sur « Les dangers des perroquets stochastiques : les modèles linguistiques peuvent-ils être trop grands ? » qui soulignait les limites des modèles statistiques utilisés et le risque à répéter du « mauvais » langage, c’est-à-dire, des biais, des erreurs et des fautes en les amplifiant. L’article soulignait les difficultés à documenter les biais d’ensembles de données de plus en plus vastes, mais surtout, estime Gebru, critiquait ouvertement une technologie au fort potentiel commercial. Comme l’explique très bien le chercheur Olivier Ertzscheid (@affordanceinfo2) sur son blog où il revenait également sur les enjeux de ces travaux : « le danger est que nous devenions autant de « perroquets stochastiques » à force de mal manipuler des modélisations de la langue trop denses, massives et étendues ».

Depuis l’éviction de son équipe dédiée à l’éthique (qui a entraîné aussi quelques démissions par rebond), si l’on en croit Tom Simonite, le département de recherche de Google est déchiré par la méfiance et les rumeurs. Pour le journaliste, les perspectives de recherche « ouvertes d’esprit » sur la question de l’éthique de l’IA se sont assombries. Pour Luke Stark (@luke_stark), « les grandes entreprises technologiques ont essayé de prendre le dessus sur les régulateurs et les critiques du public en adoptant l’idée de l’éthique de l’IA ». Mais à mesure que la recherche a mûri, elle a soulevé des questions plus importantes. « Les entreprises sont devenues moins aptes à coexister avec la recherche critique interne », estime-t-il.

Depuis le drame, des chercheurs qui ont fondé une revue sur l’éthique de l’IA ont lancé un appel pour que les publications des chercheurs en IA travaillant pour des industries du secteur soient plus transparentes sur leurs travaux. Mais la suspicion sur les travaux menés par les entreprises du secteur pourrait s’installer, un peu comme la recherche industrielle sur la pollution est peu considérée par les spécialistes de l’environnement, notamment pour ses collusions, voire surtout ses dissimulations éhontées… À la dernière conférence annuelle des développeurs de Google, l’entreprise a annoncé que les grands modèles de langage qu’elle développe joueraient à l’avenir un rôle central. Une annonce balayant les critiques. Pour Meredith Whittaker (@mer__edith), directrice de l’AI Now Institute, le message de Google est clair pour ceux qui veulent mener des recherches sur la responsabilité : « nous ne les tolérons pas ». Des menaces inquiétantes, d’autant que les emplois en dehors des grandes industries du secteur sont rares.

Pour Inioluwa Deborah Raji (@rajiinio) de la Fondation Mozilla, l’échec de Google à se réformer rend désormais tout le monde conscient que la responsabilité doit venir de l’extérieur. Timnit Gebru, quant à elle, collecte désormais des fonds pour tenter de lancer un institut de recherche indépendant.

Si Google n’est plus « the place to be », peut-être que la question de l’éthique de l’IA sera récupérée par d’autres ? En ce moment, souligne la journaliste Anna Kramer (@anna_c_kramer) pour Protocol (@protocol), les regards se tournent vers Twitter qui vient de créer Meta.

En 2020, Ariadna Font Llitjos (@quicola), responsable des équipes d’apprentissage automatisé de Twitter – qui relève de Twitter Cortex, qui gère toute l’IA de l’entreprise – estime que la recherche sur l’éthique pourrait transformer l’entreprise. Elle propose donc de construire une équipe dédiée, Meta (pour Machine learning, Ethics, Transparency and Accountability) et convainc Jack Dorsey, le PDG de Twitter de faire de la responsabilité la priorité de Twitter. Rumman Chowdury a quitté Parity pour devenir la responsable de Meta. Kristian Lum (@kldivergence) et Sarah Roberts (@ubiquity75) ont rejoint l’équipe. L’enjeu : travailler depuis les propositions des chercheurs pour réellement agir sur la promesse de Twitter !

Depuis la création de Meta, Twitter a pris des premiers engagements, via son initiative pour un apprentissage automatisé responsable, où l’entreprise s’est engagé à partager publiquement la façon dont elle prendra des décisions sur ses algorithmes (ce que l’entreprise a fait par exemple sur son algorithme de recadrage d’image qui a été supprimé en donnant un plus grand contrôle aux utilisateurs sur la façon dont les images apparaissent avant publication tout en permettant de « réduire la dépendance à l’égard du Machine Learning pour une fonction, qui, nous en convenons, est mieux réalisée par les personnes utilisant nos produits », expliquait Rumman Chowdury). L’enjeu pour l’instant consiste à mieux définir les problèmes que rencontrent les utilisateurs. Pour Chowdury, l’enjeu, au-delà de la transparence publique sur les travaux engagés, est de créer un système de règles et d’évaluations qui soit une sorte de « gouvernement » sur les modèles et permette d’empêcher les préjudices aux utilisateurs de se produire, plutôt que de tenter de les corriger a posteriori. Meta se veut une équipe de création de connaissances plus qu’une force de police des algorithmes, conclut Anna Kramer. On espère que l’équipe saura relever le défi qui l’attend !

Ce que racontent ces histoires, c’est certainement que l’automatisation de l’éthique n’est pas si assurée, en tout cas, elle ne se fera pas sans éthique personnelle, sans engagements des équipes et des responsables des systèmes techniques. L’éthique de l’IA tient assurément d’un dialogue, d’une discussion entre la technologie et la société. Reste à savoir quelle direction ces recherches vont prendre… Entre l’hystérisation des calculs dans des systèmes toujours plus vastes, spéculant en boucle sur eux-mêmes ou leur réduction sous forme d’une première « dénumérisation », comme le propose pragmatiquement Rumman Chowdury pour Twitter, la gamme d’évolution est ouverte. Plus qu’une perspective d’automatisation de l’éthique (qui ne semble pas très éthique), et si l’avenir était plutôt de trouver les moyens pour dire que le recours à l’IA n’est pas – et ne devrait pas être – automatique ! C’est en tout cas là une perspective bien plus stimulante que la première, vous ne trouvez pas ?

Hubert Guillaud

Dans une longue interview pour le magazine belge Agir par la culture (@agirparculture), je tente de poser des pistes pour repolitiser la question numérique…

À l’heure où les réponses légales sont trop mouvantes, où les réponses techniques sont contournables, où les réponses économiques ne concernent pas du tout les déploiements techniques, où les réponses éthiques sont limitées, comment contenir ce que le numérique optimise trop bien ? Comment limiter et contraindre le délire calculatoire qui vient ?

« L’enjeu à venir à nouveau consiste à faire des choix de société sur ce que nous devons numériser, ce que nous devons dénumériser et comment. Mais la réponse à ces questions n’est pas numérique, mais bien politique : comment étendre les protections sociales et environnementales ? Que devons-nous définancer ? Que devons-nous refuser de moderniser ? Où devons-nous désinnover ? Si on regarde le monde numérique à l’aune de sa durabilité, ce monde n’est pas soutenable. Si on le regarde à l’aune de ses enjeux démocratiques ou sociaux, le numérique ne produit pas un monde en commun. Il va donc falloir refermer des possibles que le numérique a ouverts. La surveillance, la fausse efficacité qu’elle promet ne propose que du contrôle, de la répression, des discriminations, de la sécurité au détriment de la liberté, de l’équité, de l’égalité. On ne fait pas société seulement en calculant son efficacité maximale ! »

En espérant que cette contribution livre quelques pistes d’action !

Hubert Guillaud

En 2019, pour le magazine Commune, l’ingénieur et membre de la coalition des travailleurs de la tech (@techworkersco – voir également Collective Action In Tech et @tech_actions) Jimmy Wu (@jimmywu) revenait sur la question de l’optimisation. Qu’est-ce que le numérique optimise ?

Alors que la tech rencontre une contestation inédite, l’éthique de la technologie bénéficie d’un vif regain d’intérêt, explique Wu. Le but : apporter aux professionnels de la technologie une conscience sociale… pour redresser la crédibilité du secteur ! « Pourtant, en positionnant l’éthique comme la boussole morale de la technologie, l’informatique académique nie le fait que ses propres outils intellectuels sont la source du pouvoir dangereux de l’industrie technologique ». Pour Wu, le problème réside dans l’idéologie même de la tech. « Ce n’est pas seulement que l’enseignement de l’ingénierie apprend aux étudiants à penser que tous les problèmes méritent des solutions techniques (ce qui est certainement le cas) ; le programme est surtout construit autour de tout un système de valeurs qui ne connaît que les fonctions d’utilité, les manipulations symboliques et la maximisation des objectifs. »

L’informatique, une idéologie du statu quo ?

Wu raconte avoir assisté au premier cours sur l’éthique des données proposé par Stanford au printemps 2018. Dans un exercice proposé aux élèves, l’enjeu était d’interroger un jeu de données provenant d’un site web qui avait révélé les noms des donateurs à des organisations qui soutenaient le seul mariage hétérosexuel. Les étudiants étaient appelés à faire des propositions pour résoudre le problème. Pour Wu pourtant, le problème n’était pas la question de la granularité des données (c’est-à-dire jouer sur la visibilité du montant des dons par exemple, comme de faire passer l’obligation d’afficher les noms des donateurs à partir d’un montant plus élevé pour éviter qu’ils soient pointés du doigt, comme le proposaient des étudiants) qu’un enjeu politique qui consiste à organiser la politique depuis des dons financiers. Cette proposition à sortir du seul cadre des paramètres accessibles a mis fin aux discussions. Pour Wu, ce petit exemple illustre à lui seul « l’idéologie du statu quo » qui structure l’enseignement de l’informatique. C’est comme si en informatique, l’enjeu premier était de ne pas prendre parti ou de ne pas faire de politique… Comme si tout n’était question que de paramètres à régler.

La science informatique a visiblement largement intégré la discipline de l’esprit qu’évoquait Jeff Schmidt dans son Disciplined Minds (2000, non traduit), un livre qui critiquait justement la socialisation et la formation des professionnels qui consiste trop souvent à ne pas faire de vagues. En 4 ans d’informatique à Berkeley et Stanford, rapporte Wu, à l’exception d’un cours d’éthique, les enseignants ne nous ont jamais suggéré d’examiner de manière critique les problèmes techniques, souligne-t-il. « Les questions dites « douces » sur la société, l’éthique, la politique et l’humanité étaient silencieusement considérées comme intellectuellement inintéressantes. Elles étaient indignes de nous en tant que scientifiques ; notre travail consistait à résoudre les problèmes qui nous étaient soumis, et non à nous demander quels problèmes nous devions résoudre en premier lieu. Et nous avons appris à le faire bien trop bien. »

Pour Wu, l’enseignement technique est directement responsable du technosolutionnisme. Des programmes d’études qui exposent « la primauté du code et des manipulations symboliques engendrent des diplômés qui s’attaquent à tous les problèmes sociaux à l’aide de logiciels et d’algorithmes ». En cours d’éthique, les questions de politiques et d’orientation étaient réduites à des problèmes techniques. Wu fait référence à un cours très populaire sur l’optimisation mathématique donné par Stephen Boyd à Stanford. « Dans le monde de l’informatique et des mathématiques, un « problème d’optimisation » est toute situation dans laquelle nous avons des quantités variables que nous voulons fixer, une fonction objective à maximiser ou à minimiser, et des contraintes sur les variables ». Pour Boyd d’ailleurs « tout est un problème d’optimisation » ! Tout peut être modélisé, tout peut-être exprimé en fonction d’un critère d’utilité selon des critères plus ou moins grossiers. Une affirmation des plus banales pour ces étudiants. Pour Wu, nous sommes là face à un marqueur de l’état des sciences informatiques.

L’optimisation n’est pas récente, rappelle-t-il. Elle est née avec la Seconde Guerre mondiale et est devenue un passage obligé des sciences informatiques. La question des algorithmes d’optimisation est arrivée à maturité au milieu du XXe siècle, avec le développement de la programmation linéaire qui a permis de faire des progrès sur des problèmes allant de l’allocation des biens au routage logistique. En URSS, sous la coupe de son inventeur, Leonid Kantorovich, elle est devenue un outil central de la planification dès les années 60. En Occident, elle s’est déployée dans l’expédition et le transport. Des deux côtés du rideau de fer, longtemps, « l’optimisation a été déployée dans des contextes résolument non marchands », pour la planification notamment. Mais depuis le début du XXIe siècle, elle a été remodelée pour être utilisée par nombre d’applications, notamment commerciales. Désormais, aidés par l’IA et l’apprentissage automatisé, entreprises, armées et États exigent des algorithmes rapides, efficaces, sûrs, mais aussi intelligents, réactifs. Tout est en passe d’être exprimé à l’aide de variables, de contraintes et de fonctions objectives, puis résolues à l’aide d’un logiciel d’optimisation.

Cette prise de contrôle de l’optimisation se reflète sur les campus au vu du nombre d’inscriptions à ces cours. À Stanford toujours, au Huang Engineering Center, à quelques centaines de mètres de là où enseigne Boyd, Andrew NG (@andrewyng) donne des cours sur le Deep Learning où se pressent des milliers d’étudiants. Son cours porte sur les réseaux neuronaux profonds. Ici, les paradigmes d’optimisation ne sont pas de type planification, car les modèles n’ont que les contraintes qu’ils découvrent eux-mêmes. Une fois entraîné, le modèle est exécuté sur des échantillons de données. Si les résultats sont médiocres, le concepteur modifie les paramètres ou affine l’objectif. « L’ensemble du processus de formation d’un réseau neuronal est si ad hoc, si peu systématique et si embarrassant, que les étudiants se demandent souvent pourquoi ces techniques devraient fonctionner. » Personne ne sait très bien leur répondre, mais soyez-en assurés, elles fonctionnent ! « L’étude de l’apprentissage automatique offre une révélation stupéfiante : l’informatique du XXIe siècle manie, en réalité, des pouvoirs qu’elle comprend à peine » !

L’informatique, c’est de l’économie sans les questions politiques

Le seul autre domaine qui semble à la fois en savoir autant et si peu est l’économie, explique encore Jimmy Wu. La comparaison est à raison : cette optimisation en roue libre et heuristique rappelle la façon dont l’économie elle-même est comprise. « Plutôt que de considérer l’optimisation comme une planification, nous cherchons à libérer la puissance de l’algorithme (le marché libre). Lorsque les résultats ne sont pas ceux escomptés, ou que l’algorithme optimise son objectif (le profit) avec beaucoup trop de zèle à notre goût, nous corrigeons docilement ses excès rétrospectivement avec toutes sortes de termes secondaires et de réglages de paramètres (taxes, péages, subventions). Pendant tout ce temps, le fonctionnement interne de l’algorithme reste opaque et sa puissance de calcul est décrite en termes de magie, de toute évidence compréhensible uniquement par une classe de technocrates doués et suréduqués. »

« Lorsqu’on entre dans le « monde réel », la perspective acquise grâce à ces formations en informatique s’intègre parfaitement à l’idéologie économique dominante. Après tout, qu’est-ce que le capitalisme néolibéral sinon un système organisé selon un cadre d’optimisation particulièrement étroit ? » « À l’école, on nous a dit que tout problème pouvait être résolu en tournant les boutons algorithmiques de la bonne manière. Une fois diplômés, cela se traduit par la conviction que, dans la mesure où la société a des défauts, il est possible d’y remédier sans changement systémique : si l’accumulation du capital est le seul véritable objectif et que le marché est un terrain de jeu infiniment malléable, il suffit de donner aux agents individuels les incitations appropriées. Pour réduire l’utilisation du plastique, ajoutez une surtaxe sur les sacs d’épicerie. Pour résoudre la crise du logement, relâchez les contraintes imposées aux promoteurs d’appartements de luxe. Pour contrôler la pollution, fixez un prix de marché en utilisant un système de plafonnement et d’échange. »

« À un niveau élevé, l’interprétation computationnelle de l’économie moderne ressemble à ceci : une économie peut être considérée comme un gigantesque problème d’optimisation distribuée. Dans sa forme la plus élémentaire, nous voulons décider quoi produire, combien payer les travailleurs et quels biens doivent être alloués à qui – ce sont les variables du programme d’optimisation. Les contraintes consistent en toute limite naturelle sur les ressources, la main-d’œuvre et la logistique. Dans le capitalisme primitif du laissez-faire, l’objectif à maximiser est, bien entendu, le profit ou le produit total. »

« Le péché originel du programme capitaliste est donc qu’il optimise non pas une certaine mesure du bien-être social ou de la satisfaction humaine, mais une quantité qui ne peut être qu’un lointain substitut de ces objectifs. Pour remédier aux dommages considérables causés par cette mauvaise formulation, les démocraties libérales d’aujourd’hui cherchent à concevoir un programme plus nuancé. Le profit constitue toujours le premier terme de l’objectif, mais il est désormais accompagné d’un éventail impressionnant de termes secondaires modifiables à l’infini : imposition progressive des revenus pour ralentir l’accumulation des richesses, taxes et subventions pigouviennes pour guider le comportement des consommateurs, et marchés d’émissions financiarisés pour freiner la désintégration rapide de la planète. Lorsque les carottes et les bâtons du marché ne suffisent pas, les gouvernements tentent d’imposer des réglementations, en introduisant des contraintes supplémentaires. Ces solutions politiques suivent précisément la même logique que les exercices qu’on nous propose en classe sur les réglages algorithmiques. »

Wu rappelle qu’il n’est donc pas étonnant que le rôle sociétal des algorithmes fasse l’objet de nombreux débats. Il n’y a pas si longtemps encore, les gens pensaient que les algorithmes étaient politiquement neutres ou ne présentaient pas de danger fondamental pour les humains. Comme la révolution industrielle précédente, cette révolution était considérée « comme un fait impersonnel de l’histoire économique, et non comme quelque chose qui discriminait activement certaines populations ou servait de projet à la classe dirigeante ». En 2013, quand on évoquait des biais dans les modèles, on estimait que c’était une question purement statistique dépourvue du moindre jugement moral. Depuis 4 ou 5 ans, la critique s’est emparée de la question des boîtes noires algorithmiques, montrant qu’elles excluaient nombre de personnes des services sociaux… La fausse neutralité et objectivité des calculs ont été démasquée, constate Wu. Un nouveau parti-pris a émergé qui reconnaît qu’en pratique, les algorithmes comme les données encodent des partis-pris.

Pour Wu néanmoins, ce nouveau parti-pris continue de faire l’apologie de la « tyrannie informatique ». Il reste sans idéologie !

Le problème c’est les programmeurs humains et les données ! Pas le fait que l’informatique travaille à améliorer et automatiser le monde… Or, comme le soulignait le philosophe Mark Fisher (Wikipedia), ce « réalisme capitaliste » (Entremonde, 2018) relève précisément de l’idéologie. La tâche qui reste à l’informatique comme au capitalisme, c’est « d’affiner le système au mieux de nos capacités »… À calculer encore et toujours leur efficacité maximale, les systèmes pourraient bien tourner en rond !

Les contributions du monde universitaire au capitalisme sont essentiellement venues de l’économie, notamment des partisans ultralibéraux de l’École de Chicago, explique encore Jimmy Wu. Mais ces contributions comportaient une limite majeure : l’économie reste une arène de débat, de désaccords…

L’informatique lui est bien supérieure, ironise l’ingénieur. « Elle enseigne les axiomes et les méthodes du capitalisme avancé, sans les questions politiques qui peuvent se poser en économie ou dans d’autres sciences sociales. Dans sa forme actuelle, l’informatique est un véhicule d’endoctrinement réussi pour l’industrie et l’État, précisément parce qu’elle apparaît comme leur contraire : un domaine sans valeur qui incarne à la fois des mathématiques rigoureuses et une ingénierie pragmatique. C’est le pourvoyeur idéal du réalisme capitaliste pour une époque sceptique ; une science de droite qui prospère dans notre ère post-idéologique. »

Peut-on, doit-on, faut-il défaire l’ordinateur et ses sciences ? Le débat oppose deux camps, simplifie Jimmy Wu. D’un côté l’élite traditionnelle qui ne voit pas même le problème. De l’autre, des « humanistes de la technologie », une alliance peu structurée de fonctionnaires critiques, de médias, de chercheurs, d’ONG et de repentis de la tech… qui pensent que les pratiques technologiques peuvent être apprivoisées par une politique plus éclairée, des pratiques d’ingénieries réformées et un peu plus d’éthique… Mais les deux parties partagent finalement la même vision, même si l’un a un visage plus aimable que l’autre : « celle d’une société dominée par une aristocratie technique qui exploite et surveille le reste d’entre nous ». L’informatique universitaire file les mêmes contradictions : le matin, un étudiant peut assister à un exposé sur la maximisation publicitaire et le soir construire une base de données pour une association locale…

Avons-nous besoin d’une autre informatique ?

L’ingénieure repentie, Wendy Liu (@dellsystem) en appelait dans le magazine socialiste britannique Tribune (@tribunemagazine) à « abolir la Silicon Valley » (elle en a depuis fait un livre : Abolir la Silicon Valley : comment libérer la technologie du capitalisme, Repeater Books, 2021, non traduit). Elle n’appelait pas par là à un rejet naïf de la technologie, mais à sa régulation, à sa transformation en un secteur qui soit financé, détenu et contrôlé par la société dans son ensemble et non plus seulement par quelques actionnaires.

Pour Wu, ce réformisme ne suffit pas. Il est nécessaire de mettre en cause ce qui sous-tend cette prise de pouvoir économique sur le monde. « La Silicon Valley n’existe pas dans un vide intellectuel : elle dépend d’un certain type de discipline informatique. Par conséquent, une refonte de la Silicon Valley par le peuple nécessitera une informatique « populaire » ». C’est-à-dire une autre informatique et une autre vision de l’informatique, soutient Jimmy Wu. Nous en sommes pourtant encore très loin. « Aujourd’hui, les départements d’informatique ne se contentent pas de générer le « réalisme capitaliste », ils sont eux-mêmes gouvernés par lui. » Le financement de la recherche en informatique est totalement dépendant des géants de l’industrie et de la défense. La recherche est guidée par les seules applications industrielles. Et tout ce beau monde nie que l’informatique contemporaine soit une entreprise politique (quelles que soient ses intentions apolitiques affichées). Pour remédier à ce brouillard idéologique étouffant, nous devrions construire une « informatique communiste », soutient Jimmy Wu. Il termine en l’esquissant à grand trait : à savoir que seuls les projets au service direct ou indirect des gens et de la planète devraient pouvoir être financés, en invitant à imaginer des algorithmes pour la planification économique participative, pour estimer le temps de travail socialement nécessaire, pour créer des chaînes d’approvisionnement locales… « La froide science de l’informatique semble déclarer que le progrès social est terminé – qu’il ne peut y avoir désormais que du progrès technologique. Pourtant, si nous parvenons à arracher le contrôle de la technologie à la tour d’ivoire de la Silicon Valley, les possibilités de la société post-capitaliste sont apparemment infinies. Le mouvement des travailleurs de la technologie du XXIe siècle est un véhicule plein d’espoir pour nous amener vers de telles perspectives ! Il est certes encore naissant, mais il est de plus en plus une force avec laquelle il faut compter, et, au risque de s’emballer, nous devrions commencer à imaginer le futur que nous souhaitons habiter. Il est temps de commencer à conceptualiser, et peut-être à prototyper, l’informatique et l’information dans un monde de travailleurs. Il est temps de commencer à concevoir une nouvelle science de gauche. »

Reste à savoir si la lutte contre les dérives des technologies (le techlash des employés de la tech) ou la prise en compte des questions écologiques suffiront à mobiliser les « agents de la société technicienne » comme le dit très bien le dernier numéro de Socialter (@socialter) ?

Si l’on en croit le dernier livre du sociologue Jamie Woodcock (@jamie_woodcock), Le combat contre le capitalisme de plateforme (Press de l’université de Westminster, 2021, non traduit), les travailleurs des plateformes parviennent à organiser de plus en plus d’actions collectives et à renforcer la solidarité transnationale, explique le politologue James Muldoon (@james_muldoon_) pour le blog de la London School of Economics (@LSEReviewBooks). En Europe, expliquait récemment The Guardian, la sécurité des travailleurs des plateformes progresse, tout comme le déploiement des plateformes coopératives, notamment autour de Coopcycle qui fédère plus de 67 coopératives dans 7 pays. La France semble plutôt tenir de l’exception en la matière, puisque malgré les jugements récents, les plateformes continuent à opérer par l’auto-entrepreneuriat.

Reste que l’horizon d’une nouvelle informatique qu’esquisse Jimmy Wu semble encore loin !

Défaire l’optimisation ?

Dans son dernier livre Undoing Optimization : Civic Action in Smart Cities (Yale University Press, 2021, non traduit), la chercheuse Alison Powell (@a_b_powell, blog), qui est également la responsable du programme et réseau de recherche sur l’éthique de l’IA, Just AI (@justainet, blog), de l’Ada Lovelace Institute, rappelle que les données ne sont pas gratuites, qu’elles ne sont pas exemptes de déséquilibres de pouvoir. Comme elle l’explique dans une tribune pour la LSE, cette optimisation configure des rationalités, notamment le fait que les décisions opérationnelles soient basées sur des données disponibles. Pour elle, pour défaire l’optimisation, nous devons nous concentrer sur les frictions, les lacunes, les erreurs… Comme le propose l’anthropologue Anna Tsing, les frictions produisent des relations de négociation inédites. Pour Powell, « les relations de pouvoir inégales autour des données pourraient générer de nouvelles opportunités de changement social ».

Pour Powell, nous ne sommes pas suffisamment attentifs à la manière dont les technologies se superposent les unes aux autres. À la fin des années 90, la vogue était au citoyen en réseau, à l’individu connecté qui s’engage dans la ville grâce à la connectivité. L’accès est alors devenu une demande et a aussi produit (à la marge) quelques projets politiques (comme les réseaux communautaires sans fil, voir « Avons-nous besoin d’une vitesse limitée sur l’internet ? »). La démultiplication des données et des systèmes de capteurs connectés ont permis une collecte sans précédent et une forme d’optimisation de la vie urbaine en temps réel… Mais pour Powell, cette optimisation n’aborde pas la conception coercitive des applications qui servent à la collecte de données justement. Quand la ville intelligente donne la priorité aux données, l’optimisation produit une surveillance constante, incompatible avec les libertés collectives.

Au lieu de cela, les points de friction ouvrent une autre perspective et permettent de limiter l’objectif d’une optimisation sans limites. Pour la chercheuse, il est ainsi nécessaire d’interroger l’optimisation, de savoir « pour qui ce n’est pas optimal » justement. Pour Powell, nous devons travailler à des alternatives à l’optimisation. Elle propose un exemple, celui du projet Connected Seeds and Sensors – un projet londonien qui explore comment l’internet des objets peut soutenir la consommation et la production d’une alimentation durable – qui montrent que les données collectées sur les semences ne parviennent pas à être exhaustives. Le savoir n’est pas réductible aux informations. Pour la chercheuse, pour nous défaire de l’optimisation, nous devrions considérer que la friction est bien plus nécessaire pour créer de bonnes relations. Ensuite, nous devrions travailler à limiter la collecte de données plutôt que l’étendre. En privilégiant l’optimisation à la friction, nous risquons surtout d’oublier de construire des solidarités et des échanges qui ne soient pas que de données.

Comme elle l’expliquait dans le texte de configuration du réseau Just AI, l’éthique doit se penser d’abord comme une pratique. Comme elle le souligne encore dans un premier compte rendu de travaux portant sur la cartographie de la recherche éthique, « les préoccupations éthiques concernant l’IA sont désormais profondément imbriquées dans les préoccupations éthiques concernant de larges pans de la vie sociale ».

Dans la conclusion de son livre, Powell explique que le modèle de pensée « techno-systémique » étend sans fin la commodité des données et l’exploitation des informations personnelles. Le problème est que cette approche ne définit pas une bonne citoyenneté, mais seulement « une bonne citoyenneté technologique »… et celle-ci, d’une manière très récursive, ne consiste finalement qu’à soutenir toute optimisation. Le problème, explique Alison Powell, c’est que cet objectif restreint l’action civique à n’être qu’une consommation de ressources ! Le paradigme de l’optimisation par les données et les capteurs réduit en fait la place des citoyens à n’être que les acteurs de leur propre surveillance. Ce paradigme réduit également la diversité, favorise les intérêts privés plus que publics. Mais surtout, l’optimisation efface le conflit, les divergences, les dissensus, les frictions… Or, dans la réalité, bien souvent, les gens luttent pour redéfinir les formes normatives que produisent les données, et trouver des espaces de discontinuité entre les données. La liberté ne consiste pas seulement à ne pas être surveillé, mais également réside dans la capacité d’avoir des approches différentes, d’être en désaccord avec des interprétations, de revendiquer un droit à la discontinuité… Powell défend une datafication minimisée (un droit à la « datafication minimum viable », sur le modèle du Produit minimum viable). Pour elle, la transparence ou la responsabilité ne suffisent pas, car elles ne permettent pas de modifier le cadre technologique qui nous capture, de remettre en question son circuit de pouvoir, explique-t-elle en faisant référence au « droit à une ville intelligente soutenable » de Sara Heitlinger. Bref, de continuer à avoir le droit de faire évoluer nos modes de connaissances et de relations hors des produits prédictifs… À produire une société autrement qu’en calculant son efficacité maximale.

Cela nous renvoie au livre déjà classique de l’historien des technologies Edward Tenner (@edward_tenner), Le paradoxe de l’efficacité : ce que le Big Data ne peut pas faire (Penguin Random House, 2018, non traduit), qui soulignait combien l’inefficacité a de vertus. Tenner y rappelle que ce que nous rendons plus efficace rend toujours autre chose moins efficace. Que l’optimisation est toujours un choix qu’on peine à évaluer, dans ses coûts comme dans ses bénéfices. Dans son livre, Tenner observe l’apport ambigu de la techno sur la médecine, l’éducation et la connaissance pour souligner qu’il n’y a pas qu’une forme à l’efficacité, mais des formes qui s’imbriquent et se contrebalancent. Dans notre monde ultra rationnel, où domine le colonialisme comptable, où tout est converti en gains de productivité, l’historien pourtant bien peu radical, nous rappelle que l’inefficacité est parfois un bien meilleur chemin.

Hubert Guillaud

Avec Contrôler les assistés, genèses et usages d’un mot d’ordre (Raisons d’agir, 2021), le sociologue Vincent Dubois (@vduboisluv) signe une somme très complète et très riche de sciences sociales.

Exigeante, cette longue enquête décortique les transformations du contrôle à l’égard des bénéficiaires de l’aide sociale des Caisses d’allocations familiales (CAF). Le livre permet de prendre la mesure de l’évolution des politiques publiques et notamment, pour nous qui nous intéressons aux transformations numériques, souligne le rôle fondamental de l’intégration de la fouille de données, du croisement des fichiers et d’une rationalisation numérique qui produisent une répression plus sévère et plus forte des assistés. Vincent Dubois montre comment, depuis 2000, nous sommes passés, très progressivement, avec le numérique, à « l’âge industriel » du contrôle par un changement de méthode et de finalités. Il souligne également combien l’analyse automatisée a épousé le modèle managérial, politique, économique et idéologique libéral qui s’est peu à peu mis en place durant la même période. Il pointe combien la raison statistique a été mise au service de la raison idéologique du contrôle au détriment de l’aide, du conseil, de l’assistance…

Finalement, en plongeant dans la transformation du contrôle, Vincent Dubois livre une autre histoire des transformations que produit le recours à l’informatique depuis une vingtaine d’années. Une histoire à bas bruit, que nous avons souhaitée éclairer avec lui.

InternetActu.net : Pourriez-vous pour commencer nous raconter comment et quand est né le traitement automatisé (data mining ou fouille de données) à la CAF ?

Vincent Dubois : La mise en place de la fouille de données à la CAF commence au niveau local. À l’origine, ce n’est pas quelque chose de pensé, ni une politique nationale, rationnelle ou programmatique. L’utilisation de techniques de prédiction statistique part de la rencontre fortuite entre l’agent comptable d’une caisse locale et d’une cadre de cette même caisse. L’agent était confronté à d’importants cas de fraude et s’est rendu compte qu’il était exposé à des poursuites, car il n’aurait pas entrepris toutes les démarches nécessaires pour prévenir une telle fraude. Sa cadre dirigeante va l’informer de l’existence de techniques statistiques pour détecter les risques d’erreurs et de fraudes, des techniques déjà mobilisées dans l’assurance et les sociétés de téléphonie mobile, notamment pour identifier les mauvais payeurs. C’est donc très tôt, au début des années 2000 que cette caisse met en place une expérimentation pour détecter les risques de fraude. Fort de ses premiers résultats, la méthode est peaufinée par des échanges entre la caisse locale et nationale après 2005. Des tests à grande échelle sont lancés pour produire des modèles. Et à partir de 2010, la fouille de données est généralisée. Cela fait donc plus de 10 ans que ces techniques y sont utilisées. La fouille de données et la prévision statistique sont devenues l’outil principal de détection et de déclenchement des contrôles des allocataires.

Cette façon de regarder l’histoire par le petit bout de la lorgnette est intéressante. Elle souligne combien l’adoption de ces outils s’est expérimentée de manière itérative, progressivement voire prudemment. La CNAF a été non seulement précurseure, mais également bon élève en matière de pratiques, tant et si bien qu’elles ont été imitées et généralisées depuis à d’autres organismes. Ces techniques de fouilles de données sont notamment utilisées depuis par Pôle emploi et l’administration fiscale, même si elles ont été adoptées plus tardivement et d’une façon peut-être un peu moins généralisées.

Donc très concrètement, ce développement technique s’est fait d’une manière très empirique. Les ciblages qui avaient lieu auparavant, eux, se basaient sur des observations ou des hypothèses de risques de fraudes ou d’erreurs, selon les allocataires ou les situations, mais restaient faits de manière hypothético-déductive. Avec la fouille de données, c’est l’inverse. La CNAF a fait réaliser 5000 contrôles, à grande échelle, sur la base d’un échantillon aléatoire d’allocataires. L’étude de ces 5000 dossiers a identifié des cas d’erreurs, de fraudes, d’indus… qui ont ensuite été utilisés pour reconstruire des agencements entre critères et variables qui caractérisaient les cas et pour construire des modélisations statistiques. Différents modèles ont été conçus avant d’être testés et mis en œuvre à grande échelle. Ces enquêtes à grande échelle sont réalisées de manière périodique pour ajuster les modèles aux évolutions des facteurs de risque.

Plusieurs modèles ont été dégagés de ces calculs de corrélation, notamment un facteur de risque global de la fraude et des modèles de risques plus spécifiquement adaptés à certains types de situations, comme la question de l’isolement ou la déclaration de ressources. Et ces modèles sont utilisés conjointement. Leur sélection repose sur leur « efficacité »… Cela signifie que la sélection ne repose pas tant sur des choix préalables que sur les rendements que les différents modèles produisent.

À l’origine donc, c’est bien la question de la lutte contre la fraude qui déclenche la mobilisation autour de ces outils et leur systématisation. La façon dont la fouille de données est mobilisée aujourd’hui garde trace de ses origines. Elle reste orientée vers la lutte contre la fraude, et plus généralement l’identification des indus, c’est-à-dire des sommes perçues à tort par les allocataires, car le montant de leurs revenus n’a pas été mis à jour ou que leur situation personnelle a changé.

Ce n’est pourtant pas exclusif d’autres usages possibles de ces techniques de fouille de données. Elles peuvent également être mobilisées pour détecter le non-recours aux droits ou le recours partiel, au bénéfice des allocataires, comme c’est le cas en Belgique ou au Royaume-Uni par exemple… Mais pour l’instant, en France, elles sont peu mobilisées pour cela. Ce qui laisse à penser que ce n’est pas la technique de fouille de données qui détermine ses effets, mais bien les usages qui en sont faits.

Internetactu.net : En quoi cette technique a-t-elle épousé les transformations politiques du contrôle ?

Vincent Dubois : Une autre manière de lire cette histoire, c’est de rentrer effectivement dans le type de conception inhérente à ces outils et l’affinité qu’ils peuvent avoir avec des manières de penser et des modèles d’organisation. Si on met en perspective l’usage de type de statistiques dans l’histoire longue des usages statistiques à des fins de gouvernement des populations comme dirait Foucault, on constate que la statistique classique porte sur la population dans son ensemble pour dégager des tendances, des moyennes, qui sont aussi des normes sociales. Avec la fouille de données, l’unité d’observation n’est plus la population, mais l’individu. C’est le comportement et la situation individuelle qui sont désormais l’objet de la connaissance. Ce changement de perspective est directement en affinité avec la philosophie néolibérale du sujet et du fonctionnement social qui considère, pour le dire vite et simplement, que la société et ses problèmes ne sont que le résultat de l’agrégation des comportements individuels. Le chômage par exemple n’est pas le produit de la structure du marché de l’emploi, mais le résultat de l’agrégation des individus à travailler ou pas.

La fouille de données est en affinité avec ce qui s’est imposé comme le principe managérial des organisations, notamment pour les organismes de protection sociale, à savoir la maîtrise des risques. Cette notion qui peut paraître vague est pourtant révélatrice d’une transformation de ces organismes et de leurs orientations. La notion de risque est consubstantielle aux politiques sociales et à l’État providence et part du principe que le travail, la maladie ou la vieillesse dépassent les responsabilités individuelles et doit être assumé de façon collective. Pourtant, cette maîtrise des risques dont on parle ici n’est pas tant le risque inhérent au fonctionnement social qu’une vision plus pragmatique et réduite : à savoir le risque financier que les bénéficiaires font courir aux organismes payeurs. La maîtrise des risques est également un principe managérial qui vise à prévenir leur survenance. Si la typologie des risques est souvent entendue de manière large, en pratique, le risque est surtout défini de manière précise et est profondément lié aux erreurs de déclaration des allocataires. Si cette notion de maîtrise des risques reste très englobante, c’est pour mieux faire disparaître le cœur de cible dans un principe managérial global. Un cœur de cible qui est à l’origine de la diffusion d’un impératif de contrôle à l’ensemble des organismes de protection sociale. La statistique prédictive ici correspond parfaitement à une politique dont l’objectif est de limiter le risque avant même qu’il ne survienne. Il y a eu une rencontre qui n’était pas totalement programmée entre la statistique prédictive et l’organisation des institutions de contrôle, mais qui a permis le renforcement de l’une et de l’autre. L’usage du data mining a pris sens dans le principe d’organisation même de la protection sociale et celui-ci s’est opérationnalisé dans la mise en œuvre même de cette technique, en renforçant l’individualisation et la responsabilisation des allocataires.

InternetActu.net : La fouille de données produit donc un score de risque de fraude pour chaque allocataire depuis 2011 à la CAF. Elle est utilisée depuis 2013 par Pôle emploi. Depuis 2014, par l’administration fiscale… Comment s’est répandu ce scoring, ce calcul des risques, cette « révolution industrielle » de l’administration publique ?

Vincent Dubois : Chaque utilisation est différente. À Pôle emploi, l’automatisation est surtout utilisée pour contrôler l’effectivité de la recherche d’emploi ainsi que pour la lutte contre la fraude, mais la focale y est plus réduite qu’à la CAF (l’enjeu consiste surtout à surveiller les escroqueries aux Assedics, fausses adresses, fausses fiches de payes… et emplois fictifs). Dans l’administration fiscale, la fouille de données s’est développée récemment mais ne conduit au déclenchement que d’environ 10 % des contrôles des particuliers, la proportion étant supérieure à 60 % pour celui des bénéficiaires d’aide sociale. Il faut rappeler ici le rôle joué par la création en 2008 de la Délégation nationale à la lutte contre la fraude (DNLF). Cette innovation institutionnelle est venue concrétiser les prises de position politiques du président Sarkozy dénonçant la fraude sociale et surtout la fraude aux prestations. Cette délégation interministérielle a eu la mission de coordonner les échanges, de favoriser les bonnes pratiques, de former et d’assurer une veille technique pour l’ensemble des services concernés par différents types de fraudes. Elle est créée alors que la fouille de données est en voie de généralisation à la CNAF et qu’elle y produit des résultats probants. Elle est rapidement devenue la technique mise en avant dont la DNLF a prôné la diffusion et la généralisation.

Internetactu.net : À côté de la statistique prédictive et du data mining, votre enquête de terrain pointe une autre transformation qui bouleverse le travail des administrations : le croisement de données ! Plus qu’un croisement d’ailleurs, c’est plutôt un « échange » voir même des accès croisés, qui renforcent le contrôle et produisent des vérifications de masse, peu coûteuses, et « efficaces ». Nous sommes passés d’un contrôle artisanal à un contrôle industriel, sous la pression de forces politiques qui ont valorisé et justifié le contrôle, mais qui a été structuré par une pléthore d’outils, de base de données et de modalités d’échanges de données. À la lecture de votre livre, en comprenant comment s’opèrent les contrôles, on découvre à quoi servent ces bases de données et portails d’information et comment ils sont mobilisés. Mais surtout, on découvre très concrètement que le respect de la vie privée et l’étanchéité des services publics, voire privés, sont devenus des vains mots. La séparation des administrations publiques et la séparation des pouvoirs qui leurs sont conférés ne sont-elles pas largement en train de disparaître ?

Vincent Dubois : Effectivement. La fouille de données et l’échange de données, même s’ils renvoient à des pratiques différentes (d’un côté des outils de détection et de l’autre des outils de contrôle), peuvent être regroupés dans un même ensemble d’usages. Il est frappant de constater le caractère concomitant et exponentiel de l’usage de ces techniques. Frappant de constater également le caractère très itératif de de développement. Nous ne sommes pas confrontés à un métafichier centralisé qui contrôlerait la population… comme l’était la menace du fichier Safari dont l’histoire raconte qu’il a donné lieu à la loi informatique et libertés de 1978, non ! La réalité est bien plus réticulaire que centralisée, mais cela ne l’empêche pas d’atteindre une forme de surveillance jamais vue. Cet ajout assez progressif d’accès et de croisement de données n’en réalise pas moins une surveillance tentaculaire.

Pour comprendre ce qu’il s’est passé, il faut tenter d’en démêler les fils chronologiques. Rappelons d’abord que la CAF, du fait de ce qu’elle traite, dispose d’une précision et d’une quantité de données personnelles sans commune mesure. Du fait de la batterie de critères et de leur diversité nécessaires pour accorder des aides, les organismes sociaux savent tout de la vie des personnes : santé, logement, travail, famille…

Au début des années 90, on a un premier mouvement d’informatisation, important et précoce, avec la création de systèmes internes aux organismes de protection sociale, comme la GED (gestion électronique des documents). En 1995, le NIR (Numéro d’inscription au répertoire, plus connu sous le nom de numéro de sécurité sociale) est autorisé pour le croisement des fichiers. Ca a favorisé le passage au caractère industriel du croisement des fichiers, car son usage a fait disparaître les nombreuses erreurs d’identification qui pouvaient exister notamment sur les noms, adresses et leurs orthographes. Ensuite ont été progressivement mis en place des protocoles d’échanges de données bilatérales, de façon itérative encore : entre la CAF et l’ANPE pour les bénéficiaires du RSA puis du RMI, entre la CAF et l’administration fiscale, etc. Un ensemble de conventions décidées de gré à gré se sont ajoutées les unes aux autres conduisant à une généralisation des possibilités d’échange de données. Ensuite, ont été constituées des bases de données « internes ». Il faut rappeler qu’il n’y avait pas de fichier national des allocataires, chaque caisse locale avait son fichier, ce qui créait notamment des risques de multiaffiliation. En 2006 est venu le RNCPS (Répertoire national commun de la protection sociale) : un répertoire qui permet à chaque organisme de protection sociale grâce aux identifiants uniques d’avoir accès aux fichiers consignés par les autres organismes sociaux. Puis la Déclaration sociale unique qui va faciliter l’unification des données en matière de ressources des allocataires. L’accès à d’autres fichiers n’a cessé de progresser… notamment l’accès direct à Ficoba (Fichier national des comptes bancaires et assimilés qui permet d’accéder aux relevés bancaires) pour contrôler la structure des ressources et dépenses des allocataires, vérifier leur train de vie ou la dissimulation de ressources non déclarées…

Ces évolutions décrivent une multiplication progressive et diversifiée d’une multitude de possibilités de croisement et d’accès à des données personnelles qui ont renforcé l’information que les organismes peuvent obtenir sur des personnes. Elles ont aussi considérablement renforcé l’efficacité des contrôles. Les croisements de ressources sont automatisés et déclenchent des contrôles en cas d’incohérence. Auquel s’ajoute le droit d’accès enfin, de façon plus individualisé et artisanal, qui permet d’accéder à des données pour des vérifications au cas par cas.

InternetActu.net : une autre transformation liée au numérique – mais pas seulement, elle est également liée à la normalisation, à des modalités de structuration des décisions, de cadrages des critères – tient également des documents utilisés, de la rationalisation des indications, des rapports. La rationalité n’est pas seulement dans les chiffres et les données, elle s’inscrit jusqu’à la normalisation des pratiques. Quels sont les effets de ces pratiques, de cette révolution de la normalisation et des traitements ?

Vincent Dubois : D’une manière générale, la structuration de la politique de contrôle a été marquée par un effort de rationalisation, qui rime avec une forme de nationalisation que l’on constate avec l’amoindrissement des latitudes d’appréciation laissées aux caisses locales. Effectivement, la technicisation par la fouille et l’échange de données est allée de pair avec la rationalisation des données. Si on regarde très concrètement le cas des enquêtes à domiciles par exemple, au début des années 2000, les contrôleurs étaient peu encadrés dans l’organisation pratique de leur travail. Les décisions liées à la qualification des situations d’isolement et la rédaction des rapports étaient assez libres dans leurs décisions et préconisations. Qualifier une décision d’isolement ou de vie maritale, malgré la jurisprudence relevait beaucoup des impressions du contrôleur. Par exemple, je me souviens d’un contrôle à domicile de personnes âgées qui habitaient ensemble et parlaient d’un arrangement amiable… Une version que le contrôleur avait retenue, n’imaginant pas que des personnes âgées puissent finalement se mettre en couple. Ne pas retenir la vie maritale serait impossible aujourd’hui. Notamment du fait des outils d’aide à la décision qui ont été créés, qui reposent sur des constats critérisés, des modalités de pondération de ces critères les uns par rapport aux autres et de la notation sur le degré de certitude de ces différents critères. La décision entre une situation d’isolement ou de vie maritale se fait désormais par le biais d’une formule Excel !

Cette automatisation de la décision… on peut voir soit positivement, comme une posture normative, un rempart logique contre les décisions individuelles des contrôleurs. On peut également la voir négativement, car elle conduit à une forme de déréalisation du traitement des dossiers. Les situations sociales sont souvent complexes et mouvantes et ne se laissent pas appréhender sur la base de critères standards et formalisés… Les contextes familiaux et les situations complexes échappent aux catégories bureaucratiques standards. La normalisation réduit la prise en compte de circonstances qualitatives, de ce qui pouvait être pris comme circonstances atténuantes. La standardisation conduit à une rigueur plus grande à la fois par la rectitude de l’application des critères et à la fois par la sévérité des décisions produites.

Ces transformations en tout cas sont très frappantes jusqu’à leur matérialité même. Au début des années 2000, les rapports des contrôleurs étaient souvent manuscrits, rédigés sur papier libre, formulés selon des styles propres aux préférences des contrôleurs, circonstanciés, souvent descriptifs de situations, narratifs plus que fonctionnels, mais livraient des ambiances, des réalités de situations. Désormais standardisés, les contrôleurs ne remplissent plus que des critères formels depuis des trames de plus en plus rigides, avec très peu d’espace de rédaction libres. Cette rationalité bureaucratique sous forme technologisée de formulaire en ligne qui ne laisse de choix que dans la réponse préremplie de menus déroulants produit une forme de déréalisation. Reste à savoir si nous sommes là face à un progrès qui prévient l’arbitraire et qui garantit une plus grande égalité. Ou face à une décision sans âme qui ne fait plus rentrer en ligne de compte les situations sociales.

InternetActu.net : le risque n’est-il pas d’une rationalisation de critères qui demeurent appréciatifs ?

Vincent Dubois : Oui. On évalue depuis des critères situationnels et de fait plus que depuis des critères juridiquement strictement définis, comme ceux liés à un statut. Face à des situations complexes et instables, l’administration fait souvent face à des situations indéterminables. Sur quels critères peut-on établir une vie maritale si la mère des enfants maintient des liens avec le père ? S’il vient trois jours par semaine ? S’il est là tous les week-ends ? Où placer le curseur ? Dans la logique des situations personnelles, la situation de précarité est marquée par une grande instabilité familiale, professionnelle, résidentielle… Or, l’administration doit arrêter des décisions dans un flux de changements. On a beau formaliser, multiplier les critères rationalisés… on ne réduira jamais le réel aux critères ! Dans les régimes assurantiels, on a des droits ouverts selon des critères de droit, de statut, de condition. Dès qu’on bascule dans des critères de faits, de situations ou de comportements… on est confronté à des difficultés. Le problème qui explique l’essor du contrôle, c’est le développement d’un système social où les prestations sont versées sur des critères de faits sont de plus en plus importants. Ce n’est donc pas un hasard si le contrôle concerne les populations les plus stigmatisées, comme celles qui bénéficient du Revenu de solidarité active ou de l’Allocation de parent isolé, car elles reposent plus que d’autres sur une qualification de situations ou de comportements.

InternetActu.net : Avec le numérique, le contrôle a changé de statut et réorienté les politiques publiques, expliquez-vous. La vérification est devenue plus coercitive et punitive, prise une spirale rigoriste inédite, qui vise à restreindre de manière toujours plus forte les règles d’attribution, les montants, les durées, les conditions d’attribution, les sanctions…), comme si l’État social se contractait. L’automatisation procède-t-elle plus à l’érosion des droits où à l’extension du contrôle ?

Vincent Dubois : L’extension du contrôle est certaine, pour les multiples raisons qu’on vient d’évoquer. La réponse informatique permet un traitement de masse des dossiers d’une façon peu coûteuse – notamment parce qu’il nécessite moins d’effectifs et qu’il produit une efficacité inédite du recouvrement – et aussi – c’est une justification souvent avancée ! – parce qu’il permet un contrôle à l’insu des contrôlés ! L’automatisation et l’informatisation ont été un vecteur très important de l’intensification des contrôles, de leur généralisation, de leur effectivité croissante et de la sévérité des décisions.

Sur la question de l’érosion des droits, peut-être faudrait-il déplacer la réponse en s’intéressant plus avant à ce qui se joue avec la dématérialisation des démarches. La thèse récente de Clara Deville sur « les chemins du droit » des bénéficiaires du RSA en milieu rural revient sur l’émergence – timide ! – de la notion de non-recours comme préoccupation officielle et la promotion de l’administration électronique. La dématérialisation est souvent vue comme la solution miracle, alors que, pour les personnes en précarité, elle est surtout un obstacle supplémentaire à l’accès aux droits. Dans ce cadre, le numérique ajoute des difficultés à celles qui existaient déjà en matière d’accès. Nous avons encore besoin d’enquêtes sur ces enjeux. Dans les démarches administratives, il y a des critères de compétences bien sûr – techniques pour savoir manier l’outil, mais également linguistique pour comprendre le vocabulaire administratif… -, mais aussi des critères liés aux situations ! Dans les situations standards, il est facile de rentrer dans les cases, même si elles sont rigidifiées par les formulaires numériques. Par contre, dès que les situations sont complexes, la dématérialisation renforce les obstacles. L’administration électronique, outre les questions d’accès, nous fait basculer dans une administration à distance qui renforce les problèmes d’accès déjà présents, notamment pour les populations les plus précaires. L’absence de face à face, pourtant primordiale, comme je le soulignais dans un précédent livre, La vie au guichet, empêche de se faire expliquer les démarches ou d’expliquer sa situation. L’obstacle classique du vocabulaire est ici renforcé, durcit, tout comme difficulté à « rentrer dans les cases », à qualifier sa situation sans explications ni accompagnement. Avec l’administration électronique, quand votre situation n’est pas prévue dans le menu déroulant, la discussion est close.

InternetActu.net : Votre livre est l’un des rares, si ce n’est le premier, à éclairer la question du « scoring » pratiqué par les administrations publiques. En tant que citoyens, nous ne savons rien des scores de risques qui sont affectés à nos profils. Si, notamment, la Loi pour la République numérique de 2016 prévoit l’ouverture des algorithmes publics et la publication des règles qui président à ces calculs, pour l’instant, ces publications concernent seulement les règles de calculs des droits et taxes. Comment se fait-il que ces calculs, pratiqués pourtant depuis 10 ans par la CAF, nous soient invisibles ? Comment expliquer cette discrétion pour ne pas dire ce secret dans la « révolution industrielle » des administrations publiques ?

Vincent Dubois : Il faudrait mener une enquête sur la transformation et le déclin de la CNIL. La réponse tient en partie au résultat de transformations juridiques liées notamment au droit européen, de transformations organisationnelles et un certain déclin des idéaux de liberté publique du fait des renouvellements générationnels au sein de la commission, tout autant qu’un rapport de force qui a sans doute affaibli la place de la CNIL dans le champ bureaucratique. De manière très concrète, tout cela a conduit à ce que les croisements de données et la création de bases de données dédiées ne soient plus soumis à autorisations préalables, mais instruites en interne par des délégués à la protection des données en discussion avec les administrations… Et que les avis de la CNIL ne soient désormais plus contraignants. Ces transformations du rôle de la CNIL ont ouvert une possibilité de croisement de données qu’on pensait impensable en 1978…

InternetActu.net : dans votre livre, vous écrivez d’ailleurs : « Trente ans après la loi informatique et libertés de 1978, les fichiers et croisements d’informations ont cependant été réalisés » dans une « ampleur bien plus importante que les projets qui l’avaient initialement suscitée »…

Vincent Dubois : Cela tient certainement beaucoup à la façon dont les choses se sont mises en place. Il n’y a pas eu un projet massif et centralisé auquel s’opposer, qui aurait créé débats et controverses… Le fait que ces questions aient été traitées au cas par cas, via des accords de gré à gré, à diluer leur mise en place, et ce alors que leur généralisation a été lente et très progressive. Nous n’avons pas été confrontés à un système généralisé, mais à une facilitation des procédures. Or, qui s’émeut d’une convention d’échanges de données entre deux organismes publics ?… Pourtant, mis bout à bout, l’ensemble de ces conventions font bien systèmes et produisent une efficacité redoutable.

Ensuite, la fouille de données se pare des atours d’une neutralité statistique et mobilise des techniques relativement complexes. Cette technicité permet de laisser de côté l’approfondissement des débats sur leurs usages ou leurs limites. Au final, il faut pouvoir faire une enquête comme la mienne pour saisir comment les données sont effectivement utilisées. Les administrations (mais on peut étendre le constat aux entreprises privées, comme la banque ou l’assurance par exemple) sont peu enclines à dévoiler les fonctionnements de leurs algorithmes, comme on le constate avec Parcoursup. Pourtant, il y a là un vrai enjeu démocratique. Nous devons connaître les informations personnelles que les administrations utilisent, comment et à quelles fins.

InternetActu.net : Dans ce nouveau paysage d’une surveillance omnipotente, y’a-t-il encore une place pour que les contrôlés puissent s’adapter, trouver des espaces ou des modalités pour prolonger les modes de « fraudes de survie » dans lesquels ils sont le plus souvent ? Le nombre de fraudes identifiées a été multiplié par 30 entre 2004 et 2017, mais leurs montants seulement par 16 et au prix d’un élargissement sans fin de la définition de la fraude (qui a largement dépassé la notion d’escroquerie organisée). Dans cette surveillance, toujours plus stricte, de plus en plus réactive, « ce sont presque toujours les allocataires les plus précaires qui sont le plus contrôlés », à savoir les individus isolés ou ceux dont les conditions d’emplois sont les plus irrégulières. Le risque n’est-il pas que les méthodes de calcul toujours plus précises toujours plus volatiles et évolutives (notamment la fin de l’annualisation des droits et prestations) se fassent au détriment des plus précaires sans leur laisser d’espaces d’adaptation, de tolérance ?

Vincent Dubois : Décrire l’expérience du contrôle vu du côté des contrôlés nécessiterait une autre enquête. Elle est difficile à réaliser, car il est difficile d’accéder aux personnes contrôlées… Je ne désespère pas pourtant qu’on puisse la réaliser un jour.

L’ajustement des pratiques des allocataires à ces systèmes semble se réduire. D’abord parce qu’il est difficile de s’adapter à des modèles de détection qu’on ne connaît pas vraiment. Néanmoins, il y a toujours des effets d’ajustements, liés à l’information qui circule, à l’expérience des contrôles qui forge des compétences pour s’y ajuster… Reste que, par nature, la fouille de données pour lutter contre la fraude ne cesse de s’ajuster à l’évolution des fraudes documentées, on l’a dit. Le système n’est pas fixe et établi, mais rétroagit. Les usages de fraudes sont régulièrement remodélisés pour améliorer les formes de contrôle.

Ce n’est pourtant pas un modèle sans failles. L’une des limites qui a été identifiée par exemple, c’est que le modèle est national, global, et qu’il est donc aveugle aux disparités locales. La même variable en fonction de contextes différents n’a pas la même signification. Être chômeur dans un bassin d’emploi où il y a beaucoup de chômage n’a pas la même signification ni les mêmes implications que de l’être dans un contexte où le taux de chômage est très faible. Cela nécessite certainement un travail pour intégrer des variables contextuelles aux modèles.

Enfin, une autre limite tient certainement à l’auto-alimentation de ces techniques. Devoir déclarer plus régulièrement des ressources produit mécaniquement des erreurs, des retards… Plus on suit au plus près et de façon continue les situations, en temps réel, plus les critères font l’objet d’erreurs… Et plus on les contrôle !

Propos recueillis par Hubert Guillaud, le 16/06/2021.

En septembre 2019, dans une tribune pour le toujours sémillant The Atlantic (@TheAtlantic), Daphne Keller (@daphnehk), directrice du programme de régulation des plateformes au Centre de cyber politique de Stanford (@stanfordcyber), expliquait que les entreprises internet n’avaient pas d’état d’âme à restreindre la liberté d’expression. Elle réagissait alors au lancement de la « Cour suprême » de Facebook – devenue depuis « Conseil de surveillance » (sur FB, @oversightboard). Pour Keller, il est normal que ces places publiques modernes se dotent de règles de fonctionnement, d’autant qu’elles ont pris une importance primordiale pour les utilisateurs. « Les personnes dont les messages sont retirés des principales plateformes disent qu’elles sont exclues des canaux de communication les plus importants de notre époque ». D’où l’importance à nous préoccuper des règles que ces entreprises appliquent à nos discours et nos comportements… que ce soit de savoir si PayPal peut virer les dons à Wikileaks, si Cloudflare doit protéger les sites néonazis ou si Facebook doit retirer la célèbre photo de Nick Ut d’une jeune fille nue brûlée au Napalm sur une route du Viêt Nam.

Les médias sociaux ne sont pas des gouvernements

« Mais les plateformes privées ne sont pas vraiment la place publique, et les sociétés Internet ne sont pas des gouvernements. C’est exactement pour cela qu’elles sont libres de faire ce que tant de gens semblent vouloir : mettre de côté les règles de libre expression du premier amendement [de la Constitution des États-Unis] en faveur de nouvelles règles plus restrictives ». L’existence de cours suprêmes « privées » et de conventions spécifiques permet d’imaginer que cette refonte sera régie par les mêmes contraintes que celles qu’ont connues les gouvernements du monde réel : des règles « constitutionnelles » pour protéger les droits individuels et établir des processus démocratiques pour établir les lois sous lesquelles nous vivons… Mais les plateformes n’ont fait écrire à leurs usagers aucune Constitution et ne sont soumises à aucun processus démocratique ni même à aucun devoir de séparation des pouvoirs ni à une quelconque représentativité de leurs usagers ! Leurs règles ne sont donc « constitutionnelles » que de nom !

Des groupes de défense des utilisateurs ont demandé des droits similaires à ceux d’une « procédure régulière », comme un droit d’appel pour les personnes accusées d’avoir violées les règles des plateformes, comme on le trouve exprimé dans les principes de Santa Clara. D’autres demandent une transparence similaire à celle qu’on attendrait de législateurs, notamment pour mettre en lumière leurs interactions avec des lobbys ou leurs clients. Ces demandes sont positives et nécessaires, bien sûr, mais « il ne faut pas croire qu’imiter les systèmes gouvernementaux fera des plateformes des substituts aux gouvernements, soumis à des lois et des contraintes de pouvoir fondées sur des droits réels », prévient Daphne Keller. De fait, les plateformes sont plus à même de restreindre les libertés notamment parce qu’elles sont bien moins responsables de leurs choix que des représentants élus. Pour Keller, il nous faut mieux comprendre ces différences avant de demander aux plateformes de jouer un rôle plus important en tant qu’arbitres de la parole et de l’information, notamment parce qu’elles peuvent restreindre les discours avec plus d’efficacité que les gouvernements. Certes, elles n’emprisonnent pas les dissidents, mais elles peuvent les réduire au silence. Et notamment supprimer des publications licites, mais haineuses, harcelantes, trompeuses ou offensantes… bien plus rapidement que ne le ferait un procès. « L’absence de responsabilité démocratique ou constitutionnelle qui rend les plateformes si efficaces en tant que régulateurs de contenu les rend très difficiles à contraindre d’une autre manière ». Enfin, leurs « procédures » de contestation sont de très pâles reflets des originaux dont elles devraient s’inspirer.

Les membres de ce qu’on appelait encore la Cour suprême de Facebook ne sont pas chargés de faire respecter les droits des utilisateurs en vertu d’une Constitution ou des Droits de l’homme ou de tout autre instrument juridique, rappelle Keller. Leur travail ne consiste qu’à interpréter les règlements existants – et changeants – des plateformes. Le problème est que chaque fois que l’opinion s’indigne, les plateformes sont incitées à assumer davantage de pouvoir, que ce soit en accroissant la surveillance des utilisateurs ou l’interdiction de contenus licites… « Plus les plateformes s’arrogent ces pouvoirs, plus nous devons nous inquiéter du fait que nous ne contrôlerons pas réellement la manière dont elles les utiliseront ».

Dans ce contexte, les gouvernements ont du pouvoir : ce n’est pas un hasard si les grandes plateformes appliquent les normes européennes en matière de discours de haine dans le monde entier. Les annonceurs également ont du pouvoir : toutes les plateformes ont remanié des politiques en fonction de leurs indignations ou préconisations. Dans ce contexte, les utilisateurs sont bien souvent ceux qui ont le moins de pouvoir. « Si les plateformes n’ont pas de comptes à nous rendre, pourquoi les encourageons-nous à assumer un tel contrôle pratique sur notre discours ? »

À cause de la fuite en avant ! répond Daphne Keller. Le raisonnement est toujours le même : les plateformes ont déjà des règles et donc elles peuvent en avoir de meilleures. Le problème, c’est que ce raisonnement est à sens unique, explique la juriste. Il justifie le fait de demander aux plateformes d’en faire toujours plus, plutôt que de leur demander de revenir sur les changements qu’elles ont déjà effectués ! À l’image de la démultiplication des outils de détection automatique des contenus… lancés à l’origine pour lutter contre la pédopornographie (notamment PhotoDNA, que nous évoquions depuis notre lecture du livre de Tarleton Gillespie). Depuis, la prévalence de ces outils n’a cessé de s’étendre : pour identifier les « terroristes » (selon les propres définitions des plateformes) et pourraient demain s’étendre aux insultes à l’égard d’hommes politiques… L’expansion du rôle des filtres risque d’être sans fin et surtout sans point d’arrêt !

Les forces du marché sont censées contenir le pouvoir commercial privé. Lorsqu’elles ne suffisent pas, les démocraties usent plutôt du droit de la concurrence plutôt que de chercher à établir des règles gouvernementales pour les entreprises. Quand elles nuisent trop, les autorités les taxent pour financer des mesures correctives, comme elles le font à l’égard des entreprises qui polluent ou des fabricants de cigarettes. Les tribunaux peuvent également les obliger à prendre des mesures… Mais à l’égard des plateformes, nous ne suivons pas ce schéma où le gouvernement fixe les règles et les entreprises les suivent. Pire, souligne-t-elle : les plateformes peuvent bloquer des discours que les autorités n’ont pas le pouvoir de restreindre, ce qui peut plaire à nombre d’entre elles. Finalement, pour contourner les limites du droit, le risque est de donner plus de pouvoir aux plateformes, ce qui menace de renoncer à une réelle contribution démocratique qu’on pourrait leur demander : comme de mieux surveiller et publier les pressions qu’elles reçoivent des gouvernements.

Les entreprises privées remodèlent les normes d’expressions par à-coups, souvent brutalement, et non pas d’une manière progressive et prudente comme le ferait un tribunal ou un législateur. Le risque est que nous renoncions à des protections réellement constitutionnelles, elles, et à des aspects majeurs d’une ouverture démocratique de leur gouvernance.

Connaissez-vous le GIFCT, acteur majeur de la modération mondiale ?

Dans un article pour Slate, Chloe Hadavas (@hadavas) donne un exemple assez concret des lacunes démocratiques auxquelles ces plateformes nous confrontent. En 2017, Facebook, Microsoft, Twitter et YouTube ont créé une association – et une base de données -, le Global Internet Forum to Counter Terrorism (GIFCT, @GIFCT_official, Forum mondial de l’Internet pour la lutte contre le terrorisme) qui a pris en quelques années une importance majeure en matière de modération. Cette base de données pour coordonner la suppression de contenus relatifs à l’imagerie et la propagande terroriste violente produit une liste noire de contenus partagés entre les plateformes.

Le problème, c’est la grande opacité de son fonctionnement !, explique Hadavas. Aucune des décisions relatives au contenu n’est transparente et les chercheurs n’ont pas accès à cette base. Les règles que le consortium prend sont privées : il définit ce qui est et n’est pas un contenu terroriste, sans avoir à rendre des comptes, au risque de bloquer des reportages sur le terrorisme ou sur les violations des droits de l’homme. Le GIFCT ne force pas les plateformes à retirer les contenus qu’elle signale, mais c’est en réalité le cas, notamment parce qu’elles n’ont pas toujours les ressources suffisantes pour réévaluer les contenus que le GIFCT leur signale. Sous la pression de l’Appel de Christchurch, ce sommet politique entre gouvernements et entreprises pour lutter contre les contenus terroristes en ligne après la fusillade en Nouvelle-Zélande, le GIFCT a annoncé en 2019 qu’il allait remanier sa structure interne, notamment son comité consultatif indépendant en intégrant des représentants de plusieurs gouvernements (à savoir le Canada, la France, le Japon, le Kenya, la Nouvelle-Zélande, le Royaume-Uni et les États-Unis) pour le rendre plus responsable.

Le 30 juillet 2020 pourtant, le Center for Democracy and Technology (@CenDemTech) et 14 autres organisations de défense des droits de l’homme ont adressé une lettre à Nick Rasmussen, le directeur exécutif du GIFCT, s’inquiétant de son manque de transparence et de la participation déséquilibrée de certains gouvernements au Comité consultatif du GIFCT – au détriment d’autres ! Rappelant que les programmes de lutte contre le terrorisme et la surveillance ont violé les droits de certains pays et religions voire ont été utilisé par des gouvernements pour faire taire la société civile, les associations ont demandé à ce que « les limites entre la modération du contenu et le contre-terrorisme soient éclaircies ». Le risque est bien sûr que les plateformes décident demain de supprimer des données sous la pression de gouvernements pour imposer une censure qui ne serait pas légale autrement.

L’enjeu est de savoir comment tenir les décisions prises par le GIFCT comme responsables. Pour beaucoup, le consensus veut que le GIFCT serait plus digne de confiance s’il était plus transparent qu’il n’est. En juillet 2019 (puis en 2020), il a publié ses rapports de transparence en détaillant le fonctionnement d’un outil qui permet aux plateformes d’indiquer quand une image/vidéo/URL ne devrait pas figurer dans sa base de données. Mais c’est bien insuffisant, estime Daphne Keller, qui souhaite que des chercheurs puissent avoir accès à des copies du contenu réel bloqué par le GIFCT, pour mieux évaluer leurs biais et erreurs, ou offrir des possibilités de recours des utilisateurs lorsque leurs contenus sont bloqués par ce système. Enfin, d’autres réclament que le rôle du comité soit plus clair, notamment qu’il reste vraiment consultatif. Pour Keller, le GIFCT illustre combien la question de la responsabilité des plateformes s’avère glissante dans la pratique. Une poignée de plateformes ont créé des systèmes opaques et puissants qui appliquent des règles qui ne sont pas la loi pour contrôler les discours en ligne ! Le risque est bien que nous multiplions demain ce type de procédures et d’institutions spécifiques qui n’ont de compte à rendre à personne ! Et que ce qui n’est pas la loi devienne une norme…

Le conseil de surveillance de Facebook en ses limites

C’est en grande partie le risque que fait peser également le fameux conseil de surveillance de Facebook mis sous les projecteurs récemment pour sa décision très attendue sur l’éviction de Donald Trump. Le conseil de surveillance a donc décidé, début mai, de maintenir la « déplateformisation » de l’ancien Président, expliquait TechPolicy.press (@techpolicypress), mais en renvoyant l’entreprise à motiver et mieux délimiter la sanction. Le conseil de surveillance de Facebook a cependant approuvé les décisions prises par l’entreprise – même s’il a demandé des explications sur celles-ci. Le conseil a recommandé d’améliorer le recrutement de son personnel de modération notamment ceux spécialisés dans le traitement des utilisateurs influents, de clarifier la politique qui permet à certains utilisateurs d’échapper aux contraintes qui pèsent sur tous en raison de leurs statuts.

Pour Jordan Guiao (@jordanguiao), chercheur au Centre australien pour la technologie responsable (@CnrtResponsTech), dans une tribune pour TechPolicy, cette décision montre surtout les limites de l’exercice d’autorégulation. Pour lui, si Facebook est si incapable de traiter ces questions, c’est bien parce que sa plateforme n’a pas été conçue pour ça et que Facebook reste dominé par ses intérêts commerciaux. En Australie, le récent conflit entre Facebook et la presse a laissé des traces explique le chercheur, qui, comme Ethan Zuckerman ou Eli Pariser (que nous évoquions il y a peu), milite pour des réseaux sociaux de services publics. Plutôt que de perdre notre temps à réguler Facebook, nous devrions surtout prendre le temps de construire des solutions nouvelles et différentes. Comme le pointait le professeur de littérature Dennis Tenen (@dennistenen) sur The Reboot (@ProjectReboot) –repris et traduit par ,Mais où va le web ? -, la modération n’est pas universelle et nécessiterait d’être bien plus maîtrisée par la communauté et le contexte, selon les fins qu’elles poursuivent, plutôt que d’être conçue d’une manière totale et industrielle, qui impose un régime de modération sans nuance, sans discussion, sous forme d’un régime universel qui n’est ni transparent ni démocratique.

En février, le New Yorker est revenu en détail sur la construction du conseil de surveillance de Facebook dans un article qui en éclaire justement les limites. Son auteure, Kate Klonick (@klonick) a suivi son déploiement (avec l’autorisation de Facebook).

Au début, rappelle-t-elle, FB n’avait aucune idée sur la manière dont ce conseil devait fonctionner. Pour trouver des idées, elle a organisé des ateliers avec des experts du monde entier sous la supervision de Zoe Darme, à l’époque responsable de l’équipe gouvernance de FB, en donnant aux participants des cas concrets à modérer. Pour Klonick, ces exemples, dans leur ambivalence même, soulignaient combien l’incertitude et la difficulté à produire des règles claires était difficile, d’autant que les « intuitions » sur la liberté d’expression varient considérablement selon les clivages politiques et culturels. Au final, les opinions des experts se sont révélées assez contradictoires : dans un atelier à New York, 60 % des participants ont voté pour le rétablissement d’une image d’une femme souriante accompagnée d’une bulle où était inscrit « Tuez tous les hommes », en y voyant surtout de l’humour, alors qu’à Nairobi, seulement 40 % ont voté pour son rétablissement. Pour Zoe Darme, la raison tient peut-être plus à des questions de respect de l’État de droit : là où il est moins respecté, la liberté d’expression l’est moins également… Pas sûr que ce soit la seule explication…

« L’idée que FB, à l’instar d’une république naissante, ait besoin d’instituer des réformes démocratiques, aurait pu paraître saugrenue il y a 10 ans », explique Klonick. En 2009, FB avait lancé un référendum portant sur la modification de ses conditions d’utilisation où seul 0,32 % des utilisateurs avaient voté. L’entreprise promettait alors de donner plus de pouvoir à ses utilisateurs… Elle en est largement revenue. Alors que de plus en plus d’utilisateurs rejoignaient les plateformes de réseaux sociaux, les entreprises ont instauré de plus en plus de règles pour assainir le contenu et maintenir l’expérience qu’elles proposaient la plus agréable possible. Mais cela s’est complexifié à mesure que le nombre d’utilisateurs a progressé.

L’idée du conseil de surveillance est venue d’un professeur de droit de Harvard, Noah Feldman. Pour lui, les médias sociaux devaient créer des systèmes quasi juridiques, une sorte de « tribunal d’entreprise », afin de traiter les questions difficiles liées à la liberté d’expression. Zuckerberg a soutenu l’idée devant son conseil d’administration dubitatif et partagé, en expliquant qu’un conseil d’experts serait le mieux placé pour prendre les décisions difficiles auxquelles l’entreprise était de plus en plus confrontées. Il a lancé le projet. La charte du conseil de surveillance et ses règles de procédures, rédigées par des experts et employés de FB, ont, de réunion en réunion, été nettoyées de leur emphase juridique pour devenir plus accessibles. Les rouages de l’instance ont été mis en place : composée d’une vingtaine de membres, très bien payés, pour une quinzaine d’heures de présence par semaine. Une commission choisit les cas les plus représentatifs des 200 000 publications qui posent problème chaque jour et les soumet à une partie des membres réunis anonymement pour qu’ils statuent.

L’utilisateur incriminé doit déposer un mémoire écrit pour sa défense. Un représentant de l’entreprise dépose un argument pour expliciter la décision de l’entreprise. Le panel décide et FB exécute la décision prise. Actuellement, les utilisateurs peuvent faire appel en cas de suppression de leur publication (take-downs), mais pas quand elles sont laissées en place (keep-ups) – or un grand nombre de problèmes signalés sont bien souvent maintenus en ligne. Les utilisateurs ne peuvent pas non plus faire appel sur des questions comme la publicité politique, les algorithmes ou la déplateformisation de pages de groupes (mais FB a annoncé qu’il devrait permettre d’élargir l’appel des décisions par les utilisateurs)… Quant au conseil, il ne peut prendre des décisions que sur les affaires que lui renvoie FB, pas de sa propre initiative. Autre limite : les décisions du conseil ne deviennent pas une politique ! C’est-à-dire que si le conseil supprime ou rétabli un contenu, cela n’oblige pas FB a retirer ou maintenir les publications similaires (cela reste à la discrétion de l’entreprise). Enfin, les recommandations politiques du conseil ne sont que consultatives, ce qui en limite la portée, mais, malgré tout, entrouvre une fenêtre inédite de pression publique sur la politique de l’entreprise.

Klonick s’amuse également des discussions qui ont eu lieu pour choisir les membres de ce conseil de surveillance et notamment des innombrables pressions reçues. Dès les premières annonces, les controverses ont fleuri. En mai 2020, sa composition a été annoncée, déclenchant l’ire de certains, notamment du président Trump, sans que FB ne cède à ses pressions. Les détracteurs restent néanmoins nombreux. Pour la professeure de droit Julie Cohen (@julie17usc), ce panel de stars somptueusement rémunérées n’a aucun intérêt et ne peut se prononcer sur les problèmes les plus fondamentaux de FB. Pour Zuckerberg, FB va avoir besoin d’institutions et de surveillance supplémentaire. Créer des produits pour communiquer n’est pas le même travail que gouverner une communauté, expliquait-il directement à Klonick pour justifier de la création du conseil.

En avril 2020, les membres du conseil se sont réunis pour la première fois (sur Zoom !) et ont suivi une formation pour se connaître les uns les autres et sur les normes en matière de modération de FB. En octobre, FB a (entre)ouvert la possibilité d’appels (à 5 % des utilisateurs choisis aléatoirement). En novembre, le conseil a reçu ses premiers cas.

Un des cas traités était une photo d’église détruite en Azerbaïdjan par un utilisateur se plaignant de l’agression du pays à l’encontre des Arméniens. FB avait supprimé le post sous prétexte qu’invitait à la haine. Certains membres du conseil ont trouvé étrange d’appliquer cette règle dans le cas d’une publication se plaignant d’un groupe dominant en conflit avec un autre. Mais le conseil a finalement voté pour la suppression du message.

Dans un autre cas – une vidéo et un texte provenant de France se plaignant que le gouvernement avait refusé d’autoriser l’hydroxychloroquine contre le Covid-19 -, que FB avait supprimé pour ne pas promouvoir l’automédicamentation, les discussions ont été nourries. D’un côté des membres soulignaient que FB devait combattre la désinformation, de l’autre, des membres ont souligné que la publication prônait un changement de politique et donc relevait d’un risque de censure de discussions politiques. Le médicament n’étant pas en vente libre en France et ne pouvant donc pas promouvoir l’automédication, le conseil a finalement décidé de ne pas le censurer et de restaurer la publication.

Quelques semaines plus tard, alors que les protestations Black Lives Matter se répandaient dans le pays, Trump a publié sur FB et Twitter un message menaçant d’envoyer l’armée pour les maîtriser, précisant « quand les pillages commencent, les tirs commencent », une phrase dont la charge raciste est sans équivoque. Twitter a alors signalé à ses lecteurs que le tweet violait ses règles, mais pas FB. Zuckerberg a publié lui-même une déclaration expliquant qu’il ne partageait pas ces propos, mais que c’était aux gens de s’en rendre compte en soulignant dans une interview à Fox News que son entreprise ne pouvait pas être « l’arbitre de la vérité ». Des employés en colère ont organisé un débrayage virtuel face à cette inaction. Quelques jours plus tard, l’un des membres du conseil a suggéré une réunion du conseil au complet qui a débattu du sujet.

Plusieurs membres étaient choqués et souhaitaient publier une déclaration condamnant la décision de FB. D’autres étaient contre le fait de prendre une décision partisane. Après 2 heures de discussion, les membres ont décidé pourtant de ne pas s’exprimer sur cette question.

Face à Trump, comment Facebook s’est pris les pieds dans son opacité

Et puis il y a eu la contestation des résultats de l’élection et la prise d’assaut du Capitole. FB a supprimé deux publications de Trump le jour même. Et le lendemain des événements, Zuckerberg, sur son propre fil FB, a annoncé la suspension indéfinie du compte de Trump. Le lendemain, Twitter l’a banni à son tour. Cette « déplateformisation » comme on l’a appelé a bien sûr fait couler beaucoup d’encre. Certains s’en sont félicités, d’autres ont exprimé leur inquiétude du fait que FB avait fait taire un dirigeant démocratiquement élu. Pour le professeur de droit Eugene Volokh (blog), la cinquième entreprise des États-Unis, en situation de quasi-monopole sur son créneau, a restreint la liberté d’expression d’une personnalité politique auprès des trente millions de personnes qui le suivaient. C’est peut-être très bien… Mais ça reste un pouvoir immense, confiait-il à Klonick. Angela Merkel a qualifié cette suppression de problématique et Navalny, l’un des opposants de Poutine, a dénoncé une censure inacceptable.

En interne, seul FB avait le pouvoir de renvoyer la suspension de Trump devant le conseil de surveillance. Le conseil d’administration a plaidé pour que le conseil de surveillance examine le cas, afin de ne pas porter atteinte à sa jeune légitimité. Le lendemain de l’investiture de Joe Biden, FB a envoyé le dossier au conseil de surveillance. L’article de Klonick se terminait sur les attentes que représentait cette décision. Elles ont été douchées depuis.

Comme le raconte Klonick dans le Washington Post, le réseau social espérait s’en remettre à son instance d’appel, mais ce n’a pas été le cas. Si le conseil a confirmé la décision de bannir Trump, il a demandé que l’entreprise assume davantage la responsabilité de ses décisions. FB a dépensé 130 millions de dollars pour mettre en place ce conseil (pour assurer son fonctionnement pour une durée de 6 ans), rappelle Klonick.

Pendant des années, rappelle-t-elle, FB a maintenu des conditions exceptionnelles pour laisser Trump s’exprimer, alors qu’en regard de sa politique, il aurait dû être censuré depuis longtemps. « Lorsque vous accordez des exceptions aux personnes les plus puissantes du monde, elles abusent de leur pouvoir », alors qu’appliquer la même justice pour tous reste une des plus puissantes boussoles collectives qui soient. Le 6 janvier, ces petits accommodements ont finalement explosé au visage de l’entreprise.

Dans sa décision, le conseil rappelle finalement que FB n’a pas utilisé de règles claires, notamment parce que l’entreprise n’a cessé de les modifier à la volée, ce qui n’est pas conforme ni aux règles ni à l’équité. Il a expliqué que si FB voulait exclure Trump de façon permanente, c’était à l’entreprise de créer les règles pour cela. Le conseil rappelle que le manque de transparence de FB sur ses propres règles lui est préjudiciable et a demandé à l’entreprise de répondre sur la façon dont les décisions concernant les utilisateurs influents sont prises… Elle a aussi demandé à ce que FB éclaircisse comment ses algorithmes avaient amplifié les messages de Trump – mais pour l’instant, FB a refusé de répondre à cette question. Cette remarque est certainement la plus importante de l’avis, explique Klonick. « Si FB veut que le conseil de surveillance soit respecté comme tribunal indépendant, refuser de répondre à ses questions n’aidera pas ». Et souligne que l’enjeu principal à toute transparence demeure la question du calcul de la mise en visibilité et invisibilité des contenus.

Dans une longue interview pour The Verge, Klonick précise encore que le conseil rend des décisions anonymes à la majorité, mais éclaire dans ses notes le fait qu’il y ait des opinions divergentes. Elle rappelle à nouveau qu’une des limites du conseil c’est de rendre des décisions très étroites sur la suppression ou non d’un contenu qui ne s’élargissent pas à des contenus similaires, ce qui limite beaucoup sa portée. Le conseil a pourtant le droit de faire des recommandations de politique auxquels FB doit répondre dans les 30 jours pour préciser les raisons qui la conduise à les mettre en place ou pas. Pour le professeur de droit de Harvard, Mark Tushnet, cela reste une forme de contrôle de « forme faible », une pression de réputation surtout. Le conseil ne fait pas le droit. Il ressemble bien plus à un tribunal de première instance qu’à une Cour d’appel ou une Cour suprême !

Ce que souligne la décision malgré tout, c’est qu’une suspension permanente est de facto disproportionnée. Pour Klonick, FB semble effectivement avoir des « règles » différentes pour certaines personnes, mais nous n’avons « ni accès à la liste des personnes concernées, ni ne savons comment elle est gérée, ni bien sûr les exceptions aux règles dont elles bénéficient » – pour autant qu’il y ait vraiment des règles, il est probable, ajouterai-je qu’ils bénéficient surtout de modérateurs/appréciateurs de contenus dédiés par rapport au traitement massifié de tous les autres utilisateurs. En demandant à FB de s’expliquer, le conseil de surveillance a pleinement rempli son rôle.

Depuis, Facebook a fait de nouvelles annonces et enfin répondu au conseil de surveillance. Notamment en annonçant ramener le bannissement de Trump à 2 ans et en annonçant de nouvelles règles (avec des sanctions plus strictes, hiérarchisées et croissantes) pour les « personnalités publiques », explique FastCompany. Reste que la réponse de FB demeure floue : « Nous autorisons certains contenus dignes d’intérêt ou importants pour l’intérêt public à rester sur notre plateforme, même s’ils sont susceptibles de violer nos normes communautaires » et n’explique toujours pas qui sont les utilisateurs influents qu’il distingue du commun des mortels et qui vont continuer à recevoir un traitement particulier et accéléré pour mieux saisir leurs intentions et la réception de leurs propos. Comme le constate le chercheur Olivier Ertzscheid (@affordanceinfo2) dans une tribune pour Libération, c’est un revirement pour FB puisque désormais tout propos pourra être modéré… mais ce revirement date surtout des conséquences des décisions du 7 janvier, plus que de la réponse de FB. Pour autant, les personnalités publiques ne sont pas encore ramenées au rang de simples utilisateurs, et encore une fois, si tout propos peut-être modéré, il n’en sera pas de même si vous êtes riches et puissants que pauvre et malade !

En 2019, Klonick avait publié un article pour comprendre depuis quels critères FB pouvait définir un statut spécifique de personnalités publiques « dignes d’intérêt ». Mais « dignes d’intérêt pour qui ? » interrogeait-elle avec perspicacité. Ici, le conseil de surveillance rappelle soit que FB devrait supprimer ces exceptions soit être clair à leur sujet.

Pour Klonick, la suite des débats sera intéressante. Il est probable que le conseil s’oppose de plus en plus à FB, s’isole et finisse par s’éteindre à son terme. Mais, malgré ses innombrables limites et son pouvoir circonscrit, le conseil de surveillance de FB pourrait aussi montrer aux autorités qu’on pourrait exiger de toutes plateformes une instance de ce type – le Canada d’ailleurs envisagerait de rendre obligatoire la création de conseils de surveillance pour les plateformes de médias sociaux, avance-t-elle un peu rapidement dans l’interview, mais le projet de loi C-10 pour modifier la loi sur la radiodiffusion dont il semble être question n’avance pas ce type de propositions. Reste à savoir, suggère encore Klonick si le conseil de surveillance (de FB, mais qui ne le porte pas dans son nom officiel), va rester le conseil de surveillance de FB ou si finalement, comme l’induit son nom, il ne pourrait pas devenir une autorité pour toutes les plateformes… Twitter, qui ne s’est pas doté d’autorité de ce type, pourrait demain déverser également une somme équivalente dans la société indépendante créée par FB pour former son propre conseil… Pour Klonick, la diversité des politiques de modération des plateformes, leurs positionnements, leurs rôles et leurs différences algorithmiques sont certainement essentiels. Dans un scénario de fusion des conseils de surveillance, le risque est aussi que les normes soient partout les mêmes… Pire : l’idée qu’une entité unique contrôle demain la libre expression des États-Unis et du monde est certainement une perspective plus problématique qu’autre chose.

Et Klonick de rappeler que seulement 7 % des utilisateurs de FB sont américains ! FB impose des normes au monde entier alors que celles-ci sont décidées par une population qui n’y est même pas majoritaire ! Que FB décide de la nature de ses politiques, soit. Mais ce qui importe, c’est qu’elles soient justes, cohérentes, proportionnées, équitables. Or, les résultats injustes semblent plus la norme que l’exception, avance Klonick, qui explique que le taux d’erreur sur les décisions de modération de contenu serait de 80 % [en fait, ce chiffre semble issu d’un article d’analyse de la décision du conseil de surveillance par le Center for Democracy & Technology qui souligne que 25 contenus postés sur le compte de Trump ont été marqués comme contraires aux standards de FB, mais que suite à leur examen, seulement 5 d’entre eux ont été retenus comme contraires aux standards, ce qui révèle un taux d’erreur dans l’application des standards de 80% ! Et les auteurs de généraliser ce taux d’erreur aux décisions de retraits qui impactent tous les utilisateurs… – qui ne bénéficient pas du même traitement de vérification que les utilisateurs « dignes d’intérêt » – en rappelant d’ailleurs que FB, dans ses rapports de transparence, n’est pas très clair sur son taux d’erreur, ni sur le taux de contenus rétablis, NDT]. Dans son avis, souligne encore Klonick, le conseil de surveillance pointe le rôle du comité discret qui écrit, modifie et réécrit les règles de modération de FB à assumer son rôle politique. Pas sûr que ce soit pourtant la piste que poursuivra l’entreprise ! Jusqu’à présent, ces instances internes qui précisent et peaufinent les règles de modération, quand elles existent, ont toujours été éminemment discrètes et particulièrement protégées.

« Une plus grande modération des contenus ne signifie pas une meilleure modération »

Très concrètement, l’IA est toujours aussi nulle pour modérer les discours de haine, soulignait la Technology Review, depuis une étude (.pdf) qui a testé 4 systèmes distincts de modération en montrant que tous avaient du mal à distinguer les phrases toxiques des phrases inoffensives. Pour accomplir leur étude, les chercheurs ont mis au point 29 tests différents, afin de mieux déterminer où chaque système échoue, et ont distingué 18 types différents de discours de haine et 11 scénarios qui n’en relèvent pas et qui piègent souvent les systèmes automatisés (comme l’usage de jurons, la récupération d’insultes en contre-discours…), ainsi que des modèles spécifiques pour les groupes protégés par les lois contre la discrimination américaines. Pour chaque catégorie, ils ont créé des exemples modèles et une base de données, HateCheck. Ils ont ensuite testé des services commerciaux, comme Perspective de Google Jigsaw (utilisés par Reddit, le New York Times et le Wall Street Journal) ou SiftNinja de Two Hat. Leurs résultats soulignent la difficulté du curseur : « Modérez trop peu et vous ne parvenez pas à résoudre le problème ; modérez trop et vous pourriez censurer le type de langage que les groupes marginalisés utilisent pour s’autonomiser et se défendre ». Les catégories d’exemples produites devraient permettre d’améliorer les modèles, estiment cependant les producteurs d’outils testés.

Mais peut-être que la solution est à chercher non pas dans l’amélioration de la modération automatisée, mais dans l’amélioration des interfaces elles-mêmes ? C’est ce que montrent des chercheurs de l’université de Washington (voir l’étude) qui ont travaillé à trouver des idées de conception pour rendre les conflits sur Facebook plus « constructifs ». « Même si les espaces en ligne sont souvent décrits comme toxiques et polarisants, les gens souhaitent avoir des conversations difficiles en ligne », explique Amanda Baughan (@amanda_Baughan). Aujourd’hui, les désaccords produisent surtout des engueulades et se terminent bien souvent par des blocages ou suppressions mutuelles. Parmi les story-boards de propositions, les interfaces pourraient proposer de passer en conversation privée quand les propos s’enveniment – ce qui se passe assez souvent – ou encore de faire remonter les commentaires les plus constructifs (ce que les likes et les modalités d’affichages par importance, permettent souvent de faire déjà), ou encore d’ouvrir un écran d’alerte quand les réponses qu’on s’apprête à poster détectent des mots violents ou encore des modalités qui mettent les réponses en attente pour permettre à leurs auteurs d’y réfléchir, comme pour ralentir les conversations.

Pas sûr que ces solutions suffisent pourtant…

Dans Wired, la juriste Evelyn Douek (@evelyndouek) dresse un constat similaire : à mesure qu’elle s’étend, la modération à un coût. La modération de contenu est en train de dévorer les plateformes prévient-elle – peut-être un peu rapidement, vu les profits qu’elles engrangent. Les règlements et politiques à destination des utilisateurs explosent et se complexifient alors que les demandes de régulation par les pouvoirs publics se précisent et s’intensifient aussi. L’élection américaine et les urgences de santé publique ont poussé les mesures à une intensification inédite. Pour la chercheuse, l’époque où Facebook et Twitter se lavaient les mains des problèmes qu’ils généraient, en pensant que les internautes se gouverneraient eux-mêmes, est certainement loin derrière eux. Mais penser que l’on va résoudre tous les problèmes en effaçant chaque jour un peu plus de contenus des réseaux sociaux tient d’une réponse simpliste et inefficace à une question complexe. « Une plus grande modération des contenus ne signifie pas une meilleure modération ». Chaque étape nécessite des compromis et ce n’est pas parce qu’on les ignore qu’ils n’existent pas.

Les plateformes ont agi assez rapidement pour répondre à la désinformation autour de la pandémie et plutôt efficacement estime la juriste, tant et si bien que beaucoup se demandent maintenant pourquoi elles ne sont pas plus efficaces pour combattre d’autres types de fausses informations. Mais pour elles, la désinformation sur le virus était différente, se justifient-elles, notamment parce qu’elles pouvaient se référer à des autorités claires, comme l’Organisation mondiale de la santé (OMS). Cette ligne claire n’a pas tenu longtemps pourtant et elles n’ont cessé d’étendre les garde-fous. Elles ont collé des étiquettes d’information un peu partout, sans qu’on puisse dire qu’elles aient été efficaces. Suite à la crise du Capitole, elles ont même censuré plus que jamais négationnistes et conspirationnistes… jusqu’au président des États-Unis lui-même.

Pourtant, pour beaucoup de commentateurs, les efforts des plateformes restent insuffisants. Les appels à la modération demeurent forts et réguliers et les législateurs n’ont pas cessé leurs menaces. À l’heure actuelle, il n’y a pratiquement pas un seul pays dans le monde qui ne prenne de mesure pour réglementer les médias sociaux d’une manière ou d’une autre. Et les plateformes ne cessent de préciser leurs règles, d’en produire de nouvelles et surtout de développer un empilement de boîtes de modération – et de spécifications pour leurs éboueurs du web – les unes sur les autres (pédocriminalité, terrorisme, nudité…). Reste que depuis que Trump a été réduit au silence et que nombre de complotistes ont été chassés ou sont partis ailleurs, l’angoisse s’est un peu calmée – à croire qu’une grande partie de l’angoisse tenait peut-être plus de la politique que des plateformes elles-mêmes, souligne Douek. Mais l’impressionnante démonstration de pouvoir qu’elles ont montré a laissé des traces. L’idée qu’il existerait une catégorie claire de « fausses informations » a également pris du plomb dans l’aile.

La semaine dernière par exemple, Facebook est revenu sur une de ses décisions et a déclaré qu’il ne supprimerait plus les publications affirmant que le Covid-19 est d’origine humaine ou fabriqué. Pourtant, il n’y pas si longtemps, le New York Times lui-même et toute la presse avec lui, citait cette théorie « sans fondement » comme une preuve que les médias sociaux avaient contribué à une « crise de la réalité ». Au début de la pandémie jusqu’en juin 2020, FB a interdit les publicités pour les masques, jusqu’à ce que l’OMS les recommande. Les médias sociaux semblent s’être surtout beaucoup adaptés à la fois à une science qui s’est faite en marchant et aux erreurs commises par les autorités, sans parvenir à délimiter les limites raisonnables du débat public.

Comme le rappelle la maxime, « la science n’est pas la vérité, mais sa recherche. Quand elle change d’opinion, elle ne nous ment pas. Elle nous dit qu’elle a appris davantage » (voir notamment nos articles : « Naviguer dans les ruines de la réalité consensuelle » et « Une pandémie de données ne soigne pas de la vérité »).

Enfin, les appels à toujours plus de mesures de répression ont également montré qu’elles pouvaient avoir des coûts géopolitiques forts, rappelle Douek. Les gouvernements autoritaires et répressifs ont pu faire référence à la rhétorique des démocraties libérales pour justifier leur propre censure, à l’image du gouvernement indien tentant de faire pression pour que les plateformes limitent les critiques sur sa gestion de la crise Covid au détriment de la liberté d’expression. Pour l’instant, les gouvernements occidentaux ont refusé de regarder ce problème, laissant les plateformes se débrouiller seules face à la montée de l’autoritarisme numérique des gouvernements illibéraux. Le problème, c’est que les plateformes sont en train de perdre ce combat, estime Douek, à l’image de la suspension de Twitter par les autorités nigérianes suite à la censure d’un tweet de leur président. On le voit, la régulation des plateformes ne peut pas conduire à « augmenter la censure ici et la réduire plus loin ».

Enfin, souligne Douek, il reste encore d’autres compromis à faire. « Comme la modération du contenu à très grande échelle ne sera jamais parfaite, la question est toujours de savoir de quel côté de la ligne il faut se tromper lorsqu’on applique des règles ». Le risque est bien sûr de multiplier les règles strictes et la sévérité de leur application notamment avec une modération de plus en plus automatisée. « Ces outils sont brutaux et stupides » : ils ne peuvent pas évaluer le contexte ou faire la différence entre un contenu glorifiant la violence ou enregistrant des preuves de violations des droits de l’homme, par exemple. Les conséquences de ce type d’approche ont été mises en évidence lors de la récente crise du conflit israélo-palestinien de ces dernières semaines, Facebook ayant supprimé à plusieurs reprises des contenus importants provenant de Palestiniens ou les concernant (voir notamment, l’analyse de Mathew Ingram pour la Columbia Journalism Review ou celle du Washington Post qui expliquent que les activistes palestiniens reçoivent le même traitement que les activistes Noirs américains : ils sont bloqués !). Ces cas ne sont pas isolés. Et ces différences de traitements ont toujours tendance à toucher de manière disproportionnée les communautés déjà marginalisées et vulnérables (comme le pointait le travail de la sociologue Jen Schradie).

Pour Douek, le retrait de contenu ne résout pas les problèmes sociaux et politiques sous-jacents, pas plus que la disparition des comptes de Trump n’a fait s’évaporer son emprise sur le parti républicain – même si le monde en ligne parle beaucoup moins de lui (selon une récente étude relayée par le New York Times cependant, depuis son éviction, certains de ses messages sont parvenus à recevoir beaucoup d’attention notamment parce que ses plus fervents partisans continuent de les diffuser, estime le Global Disinformation Index. Malgré ces relais, leur diffusion est tout de même moindre, soulignant en creux l’énorme pouvoir des sociétés de médias sociaux. Le bannissement de Trump ne résout pas la désinformation, mais perturbe ses réseaux et atténue l’influence des individus les plus nuisibles qui se sont réfugiés ailleurs. En tout cas, les réseaux ont retrouvé un certain calme et Trump ne façonne plus seul l’agenda politique de son pays et du monde.

À l’heure où beaucoup d’argent se déverse dans la création de plateformes alternatives, notamment extrêmistes ou complotistes, bien plus permissives, la censure automatisée des contenus des plateformes grands publics risque de s’avérer encore moins efficaces qu’elles ne l’ont été, surtout que ces « petits » réseaux risquent d’être beaucoup plus laxistes dans leur modération.

« Supprimer les contenus ne supprime pas la cause qui les a fait naître », conclut Douek. Il est tentant de penser que nous pouvons modérer la société, mais il va être bien plus difficile de résoudre les problèmes sociaux et politiques dont ils sont l’expression. Les plateformes ne seront jamais en mesure de compenser les défaillances de nos sociétés. Cela ne veut pas dire que les plateformes ne doivent pas continuer à réfléchir à la manière d’atténuer leurs effets néfastes, bien sûr. Toute expérimentation qui n’est pas binaire (laisser ou supprimer) notamment est bonne à prendre, par exemple le fait que Twitter incite ses utilisateurs à lire un article avant de le tweeter, ou le fait de limiter le nombre de fois où l’on peut transférer un contenu depuis une même plateforme (comme le propose WhatsApp). D’innombrables ajustements peuvent être tentés sans que les plateformes ne décident de la vérité à notre place.

Quelles transparences ? Quelles gouvernances ?

On l’a vu avec ces exemples, notamment celui du conseil de surveillance et des politiques de modération de FB comme dans le cas du GIFCT, les questions de transparence et de contrôle démocratique demeurent au cœur des enjeux de régulation de la modération. Reste à savoir comment organiser, très concrètement, le contrôle démocratique d’instances qui risquent de se démultiplier à l’avenir. Reste à savoir aussi de quelle transparence nous avons besoin.

C’est la question que posait Daphne Keller sur son blog. Alors qu’elle écrit depuis des années sur le sujet, elle reconnaissait, avec humilité qu’elle ne savait pas très bien quelle transparence elle appelait de ses vœux. Beaucoup de gens estiment que plus de transparence est un mieux, mais personne n’a une liste claire de ce qui devrait être transparent. « Quelles informations sont essentielles ? Lesquelles faut-il vraiment rendre transparentes ? Quels sont les compromis à faire ? » Cette imprécision est en passe de devenir un problème, alors que nombre d’autorités s’apprêtent à produire des exigences de transparence auprès des plateformes. Or, « ce que la loi n’exigera pas ne sera peut-être jamais plus rendu accessible », reconnait la juriste. Exiger une transparence totale n’est peut-être pas pleinement judicieux d’autant plus que cela a un coût, explique la juriste à la suite d’Evelyn Douek. « Des obligations de transparence très prescriptives pourraient également entraîner une normalisation et une homogénéité de facto des règles des plateformes, des pratiques de modération et des fonctionnalités. » Ce ne sont bien sûr pas des raisons d’y renoncer, mais de pointer que nous devons être plus précis sur ce que la transparence signifie vraiment et concrètement.

Keller a dressé une petite liste « préliminaire et très provisoire » des problèmes que posent les rapports de transparence existants. Pour la chercheuse, par exemple, il est essentiel de savoir avec une grande précision le nombre de demandes d’accès à des données qu’une plateforme reçoit des autorités, comment elle y répond, quel contrôle judiciaire elles produisent. Elle rappelle également que les chiffres ne sont pas tout. Pour comprendre les erreurs ou les préjugés des plateformes sur leurs propres données, il est nécessaire que les chercheurs indépendants puissent voir le contenu impliqué dans les décisions de retrait par exemple.

En 2009, nous nous interrogions avec Lawrence Lessig sur les limites de la transparence. Il nous disait déjà que la transparence nue n’était pas un remède magique. Pour ma part, il me semble que la transparence se rapproche des mêmes problématiques que celles que nous évoquions à propos de l’explicabilité. Plus qu’une liste d’éléments qui doivent être rendus transparents ou d’exigences précises, la transparence relève d’échelles, d’impacts et de multimodalités de niveaux de transparence. Devrons-nous demain définir des transparences « contrastables et actionnables », « sélectives, mais loyales », « techniques et/ou sociales »…, « jouables », selon des échelles allant de « fortes, faibles à inexistantes » ? La transparence nécessite d’être évaluée et appréciée dans toutes ses dimensions, comme une matrice qui permet de mesurer son étendue, sa profondeur et bien sûr ses effets. Ce qui est sûr, c’est que pas plus que les explications, la transparence n’est en rien réductible à une technique, à des listes, mais relève profondément d’un dialogue entre un système et la société. Plus que d’obligations, de droits et de devoirs (de checks-lists ou de systèmes d’évaluation d’impact), c’est bien ce dialogue qu’il va falloir nourrir pour parvenir à dépasser une vision bien trop binaire de la modération…

Dans un article de recherche, Evelyn Douek montrait d’ailleurs très bien que les plateformes ont une politique plus complexe que le mode binaire entre supprimer et laisser faire. Les plateformes ont mis en place nombre de mesures intermédiaires, allant de l’étiquetage à la vérification des faits en passant par les écrans d’avertissements… Des mesures qu’il faut certainement continuer à diversifier, mais dont il est nécessaire aussi d’évaluer les effets.

Pour cela, il est plus que jamais nécessaire qu’elles s’ouvrent aux contrôles indépendants et qu’on évalue leur transparence dans leur complexité, d’une manière dynamique. Pour le dire autrement, la transparence et la gouvernance, comme l’explicabilité, tiennent de pratiques qui doivent évoluer. Ce sont des objectifs vers lesquels les systèmes doivent tendre. Pour cela, il y a certes des modalités dynamiques (publications ouvertes, accès ouvert à la recherche, modalités de contribution des utilisateurs, ouverture de la gouvernance…) qui dépendent chacune d’échelles. Pour évaluer ces paramètres, nous aurions besoin d’une forme de « nutriscore » qui puisse informer de la qualité des explications, de la transparence, de la gouvernance… et qui permettrait de pointer un idéal auquel tendre !

Hubert Guillaud

PS : signalons les très intéressantes études de cas de modération du groupe de réflexion The Copia Institute (@copiainstitute) – découvertes au détour de nos lectures -, qui soulignent très bien par des exemples concrets la difficulté de la modération et montrent les compromis inhérents à toute décision.

La surveillance relève la plupart du temps de la coercition, mais bien souvent, elle nous est présentée comme un moyen de prendre soin des autres, et cet argument sert à nous y adapter, à normaliser et justifier la surveillance. Le problème, c’est que l’argument de la protection de nos proches, comme le proposent nombre de technologies proposées aux parents par exemple, contribue à l’acceptation finalement de bien d’autres formes de surveillance. Pour autant, si la surveillance relève bien d’une idéologie, si la surveillance de nos proches peut relever du soin, elle a des conséquences problématiques sur nos capacités à faire société, quand elle instrumente et alimente nos anxiétés en réseaux.

De la surveillance des enfants à la surveillance d’État : un continuum

En février, Hannah Zeavin (@hzeavin), historienne spécialiste des technologies médicales (qui s’apprête à publier cet été The Distance Cure, MIT Press, 2021, une histoire de la « téléthérapie »), revenait pour Real Life (@_reallifemag) sur l’origine du babyphone, ce fantasme de vigilance parentale. Depuis l’enlèvement du bébé Lindbergh au début des années 30 et la frénésie médiatique qui l’a accompagné, la peur des disparitions d’enfants a façonné les technologies de leur surveillance. « La promesse d’étendre et d’augmenter l’attention et la protection parentales a conduit à la commercialisation et au développement de nombre de technologies parentales de surveillance des enfants comme de ceux qui en ont la charge ». L’intensification de la surveillance parentale liée aux vulnérabilités des enfants définit différentes menaces face auxquelles les enfants ne sont pourtant pas tous égaux socialement. Pour autant, ces modalités modernes de surveillance n’ont cessé de s’étendre : le babyphone inventé à la fin des années 30 est désormais utilisé par environ 75 % des parents américains. Il a été complété depuis de nombreux autres appareils (bracelets GPS, dispositifs biométriques…) dans une offre d’innovation toujours plus étendue. Ces surveillances ont l’air innocentes, mais leurs implications ne sont pas sans poser problème, à l’image des caméras pour surveiller celles et ceux qui s’occupent des enfants. Lorsqu’elles sont apparues, l’industrie et la culpabilité parentale ont été stimulées par les images qui en ont été diffusées. L’anxiété s’ajoute au classisme, voire au sexisme ou au racisme, et participe notamment d’une matrice psychologique ancienne à l’égard des travailleurs domestiques comme des enfants.

Les dispositifs de surveillance numériques tiennent de dispositifs d’auto-apaisements, explique Hannah Zeavin. « Le soin s’accommode et justifie la surveillance et la présente comme une nécessité de sécurité, une nécessité « éthique », plutôt que comme un choix politique ». Les technologies de surveillance domestiques se présentent comme permettant de renforcer les barrières entre l’extérieur et l’intérieur, alors que les captures qu’elles produisent (données et vidéo notamment) ouvrent de nouvelles voies d’intrusion dans les foyers (par d’autres services que ce soit la police ou les fournisseurs de technologies, mais aussi par leur piratage…), renforçant finalement les anxiétés qu’elles sont censées apaiser. Ces technologies ne cessent de renforcer leurs techniques pour lutter contre l’anxiété qu’elles génèrent, comme quand les babyphones se dotent de capteurs biométriques pour tenter de distinguer le sommeil d’un arrêt respiratoire. En fait, souligne l’historienne, ces outils développent surtout l’anxiété des parents : la compulsion à leur vérification conduit nombre d’entre à des insomnies voire à des dépressions et les faux positifs de ces appareils conduisent également nombre de parents jusqu’aux services pédiatriques d’urgence expliquait le New York Times.

Pour Hannah Zeavin, la surveillance des enfants et la surveillance d’État sont moins distinctes qu’il n’y paraît. L’utilisation de technologies parentales peut sembler un choix individuel, mais leur portée dépasse souvent ce cadre par les impacts qu’ils peuvent produire auprès de services sociaux, des services de police ou par l’entretien voire le renforcement des préjugés culturels de la société. Le risque de leur généralisation ou de leur extension (à l’école notamment) montre que les compromis moraux et politiques des parents ont un impact au-delà de la cellule privée. Du soin à la surveillance, il y a un continuum d’anxiété qui a des effets sur la société elle-même.

Distinguer le soin de la surveillance : une question de genre ?

Dans un autre article du magazine Real Life, Autumm Caines (@autumm) revient sur la militarisation du soin. Pour cela, la chercheuse rappelle la distinction établie par l’éthique de la sollicitude (ou éthique du care), dans les travaux fondateurs des années 80 de Nel Noddings (auteure de Caring, University of California Press, 1984, non traduit) et de Carol Gilligan (auteure de Une voix différente, 1986) : à savoir, la distinction entre « l’attention vertueuse » et « l’attention relationnelle », la première étant plus théorique et générale, quand la seconde est plus intime et contingente – la seconde étant souvent plus dévaluée que la première et plus souvent féminisée. Les deux semblent pourtant pareillement utilisées pour justifier le déploiement de la surveillance de nos proches, pourtant elles restent mobilisées distinctement l’une de l’autre. Pour Caines, cela montre que dans la communication, le soin reste distinct du contrôle et que l’on peut adopter l’un sans assumer les implications de l’autre. Cette distinction fait écho à celle établie par Luke Stark (@luke_stark) et Karen Levy (@karen_ec_levy) dans leur article sur le « consommateur surveillant » qui distingue le consommateur gestionnaire (le vertueux) du consommateur observateur (le relationnel). Par exemple quand les consommateurs sont recrutés pour faire de la surveillance en évaluant les travailleurs des plateformes de services (comme Uber), ils sont recrutés en invoquant un idéal de service au service de la commodité afin d’améliorer la qualité de service plutôt que de prendre soin des travailleurs qui effectuent ces services. Alors que les dispositifs de surveillance du consommateur observateur visent surtout à « améliorer » nos relations, comme le propose un babyphone. « Dans ce paradigme, la surveillance est construite comme étant normativement essentielle aux devoirs de soins (…). L’observation et le contrôle ne sont pas simplement interprétés comme les droits d’un parent responsable, d’un partenaire romantique consciencieux ou d’un enfant aimant, mais comme des obligations inhérentes à ces rôles ». Prendre soin de ceux que nous aimons est l’un des instincts humains les plus forts, et les sociétés de surveillance s’en servent comme d’une vulnérabilité. Pour Caines, « à mesure que les technologies créent des moyens de surveillance toujours plus nuancés, la ligne définissant ce qui est raisonnable de ce qui ne l’est pas devient floue » et permet de justifier des intrusions toujours plus avancées.

Dans un cas comme dans l’autre, la communication joue des stéréotypes de genre qui leur sont liés, pour renforcer ces deux types d’attention aux autres. « Leur lien avec les différentes manières de prendre soin des autres est utilisé pour inciter les gens à adopter des technologies de surveillance contraires à l’éthique, en fonction de la manière dont ils aspirent à s’identifier à ces normes : pour être suffisamment homme ou femme, il faut être capable de démontrer un engagement à surveiller d’une manière particulière ». Ces stéréotypes influencent la façon dont le soin est instrumenté dans des milieux professionnels eux-mêmes sexués et genrés. L’éducation par exemple est truffée de technologies de surveillance, comme le montrait la spécialiste du sujet Audrey Watters, avec une approche plus relationnelle quand elle concerne les enfants les plus petits. L’attention vertueuse, elle, est souvent convoquée pour promouvoir des systèmes de surveillance à distance, comme ceux déployés à l’égard des étudiants tels que ProctorU, ce système pour protéger les examens en distancie de la triche, qui visent à protéger l’intégrité académique. Dans ce cas, bien sûr, comme dans celui des plateformes de livraisons, les préjudices subis par les étudiants sont clairement minimisés. Les outils de surveillance, relationnels comme vertueux, sont également très développés dans le domaine de la santé. La poétesse et militante féministe Audre Lorde a rejeté les idées d’un soin sexué. Pour elle, le soin est un acte politique qui nécessite de reconnaître qu’il peut être utilisé comme une arme contre les intérêts des communautés auxquels chacun est relié, contre ses proches et contre soi-même. Pour Caines, cela implique que nous ayons besoin de mieux comprendre les limites du soin.

Hubert Guillaud

MAJ du 24/06/2021 : Pour le « Nouveau lexique de l’IA » que lance l’AI Now Institute – un appel à contribution pour générer d’autres récits sur l’IA -, Hannah Zeavin rappelle que dès l’origine l’IA a été orientée vers le soin des humains. L’IA s’est imposée dans nombre d’établissements hospitaliers et de soins, comme alternative, outil d’aide, ou mesure palliative lorsque les infrastructures traditionnelles du soin ne sont plus accessibles (voir notre article « En médecine, l’IA est en plein essor, mais pas sa crédibiilité »). Mais en fait, l’IA a surtout contribué à étendre la portée des inégalités (tout en prétendant le contraire) car elle intègre et recodifie la race et le genre… Pour Zeavin, c’est le contrôle prédictif qui explique cette expansion rapide de l’IA dans la santé. L’IA est utilisée pour atteindre plus de gens, dans une dépersonnalisation problématique, ainsi ceux qui sont les plus loins des soins de santé, mais qui sont aussi rendus encore plus vulnérables par cette auscultation nouvelle et ce qu’elle génère… Derrière l’extension du soin qu’ils promeuvent, les outils étendent surtout la surveillance et la discrimination… et proposent de nouvelles formes de soins qui flirtent à la marge de la médecine. En fait, l’IA en santé vise une montée en charge par le déploiement de systèmes sans médecins, où les patients sont désormais responsables de la coordination de leurs propres soins, sous couvert d’une idéologie comptable et profondément individualiste. Désormais, il nous faut prendre soin de soi sans le soin d’un autre. Ce que Zeavin appelle le développement de « l’auto-soin » assisté par l’IA, une forme ultime d’accès au soin sans ce qui fonde le soin : l’autre !

Peut-on pourtant faire reposer la responsabilité des traitements uniquement sur les personnes qui en ont besoin ? Comment en sommes-nous arrivés à une forme de soin qui finalement dénie ce qui le fonde, la relation ? Pas étonnant qu’en réaction on entende parler de « soins radicaux », comme le proposent Hi’ilei Hobart (@hiokinai) ou Tamara Kneese (@tamigraph) pour nous inviter à trouver des modalités de soins plus mutuelles. Pour Kim TallBear (@kimtallbear), ces relations doivent être mises en réseau et non hiérarchisées, déroulées d’une manière spatiale sous la forme d’une toile relationnelle pour mieux prêter attention à nos obligations.

MAJ du 30/06/2021 : The Markup revient sur la multiplication de caméras de surveillance dans les maisons de retraite, placées par les enfants des retraités pour garder un oeil sur les traitements que leurs aïeux reçoivent. Des caméras qui posent des problèmes juridiques spécifiques de surveillance sur lesquels de plus en plus de juridiction américaines doivent se prononcer, alors que depuis la pandémie, la demande de surveillance des résidents en maisons de soin a augmenté. Pour Clara Berrigde qui étudie depuis longtemps l’utilisation des caméras de surveillance dans les centres de soins, celles-ci ont un coût réel en terme de perte d’intimité, de surveillance… (voir notamment son article de recherche sur l’éthique de la surveillance). Elles ne résolvent pas le problème essentiel : le fait que le personnel soit sous-payé et surchargé ! Pour elle aussi, la caméra est un symptôme plus qu’une solution. La question est en tout cas en train de devenir explosive !

Avec la pandémie, les chercheurs ont eu plus que jamais recours à l’IA pour tenter de percer les secrets du Covid-19, notamment pour tenter de détecter la maladie plus tôt sur les images pulmonaires et mieux prédire quels patients sont plus susceptibles de tomber gravement malades. Des centaines d’études ont été publiées dans les revues médicales et sur les serveurs de prépublication pour démontrer les capacités de l’IA à effectuer ces analyses avec précision. Une équipe de recherche de l’université de Cambridge en Angleterre a examiné quelques 400 de ces modèles pour Nature et est arrivée à une conclusion bien différente. Chacun d’eux présentait de graves lacunes méthodologiques. En fait, dans la plupart des études, les algorithmes étaient entraînés sur de petits échantillons de données, provenant d’une seule origine, avec une diversité très limitée. Certaines études ont même utilisé les mêmes données pour l’entraînement et les tests, ce qui conduit souvent à des performances impressionnantes, mais totalement fallacieuses.

Le problème ne se limite pas au Covid, explique le toujours excellent Casey Ross (@caseymross) pour Statnews (@statnews) – qui nous avait déjà alerté sur les limites du Watson d’IBM dans le domaine de la santé, qui a visiblement depuis tiré des leçons de ses échecs et changé sa politique. Le Machine learning génère des milliards d’investissements en médecine, mais est confronté à une crise de crédibilité. Nombre d’articles s’appuient sur des données limitées ou de faibles qualités, beaucoup d’autres ne précisent par leurs méthodes, et d’autres voire les mêmes ne vérifient pas si leurs modèles fonctionnent pour des personnes de sexe, d’âge ou d’origines différentes. Certes, l’intensité de la concurrence et l’urgence ont tendance à générer la surpublication d’études peu rigoureuses. Mais le problème tient plutôt du cercle vicieux de l’apprentissage automatique : il existe peu de grands ensembles de données diversifiées pour entraîner et valider un nouvel outil. Trop souvent, les données sont protégées pour des raisons juridiques ou commerciales. Conséquence, les évaluateurs n’ont pas de données pour tester ou comparer, étape pourtant clé dans l’approbation des travaux. Le fait de ne pas tester les modèles avec des données différentes est courant dans les études de prépublication… Le problème, c’est que les algorithmes semblent souvent précis et efficaces, mais lorsque les modèles sont exposés à d’autres données (parfois seulement des images médicales obtenues avec d’autres appareils !), leur niveau de performance s’effondre. Au final, le risque, c’est d’approuver des modèles, des services ou des algorithmes auxquels nous ne pouvons pas faire confiance, explique Matthew McDermott (@mattmcdermott) du MIT qui vient de cosigner un article sur cet enjeu.

En fait, c’est déjà le cas avec des systèmes utilisés pourtant pour traiter des maladies graves comme les maladies cardiaques ou le cancer. En février, Casey Ross avait publié un article sur le sujet qui montrait que seuls 73 des 161 produits basés sur l’IA approuvés par la Food and Drug Administration (FDA), l’autorité qui autorise la commercialisation des médicaments aux États-Unis, ont publiés les données qu’ils avaient utilisés et que seulement 7 ont donné des indications sur la composition et la diversité des populations étudiées. En fait, les sources de données ne sont « presque jamais » indiquées !

Dans un autre article pour Nature, des chercheurs de Stanford ont lancé l’alerte sur ces produits d’IA à haut risque autorisés par la FDA. L’étude des chercheurs de Cambridge souligne quant à elle que seuls 62 des 400 articles passent un succinct contrôle de qualité sur la question de l’indication de sources de données et d’explication sur la méthode d’entraînement. Mais qu’ensuite, sur ces 62 articles, 55 sont jugés à « haut risque de partialité » ! Un des problèmes que rencontre ce champ de recherche émergent tient à l’absence de normes consensuelles pour évaluer la recherche en IA en médecine. Les chercheurs de l’université de Cambridge, eux, ont utilisé une des rares listes de contrôle méthodologique dans le domaine (CLAIM) qui établit une liste de critères pour les auteurs et évaluateurs.

L’urgence peut certes peut-être excuser les lacunes de nombres de ces études… Mais les failles méthodologiques ne concernent pas que le Covid ! La mise en évidence des problèmes du machine learning en médecine, exhortant la recherche à améliorer ses méthodes d’évaluation et leurs transparences, est même devenue un sous-genre à part entière dans la recherche médicale (voir notamment notre article « Vers un renouveau militant des questions technologiques »), estime Casey Ross. Le problème c’est que l’incapacité à reproduire les résultats érode la confiance dans l’IA et sape les efforts qui cherchent à la déployer dans les soins cliniques.

« Un examen récent de plus de 500 études sur l’apprentissage automatique dans de multiples domaines a révélé que celles réalisées dans le domaine des soins de santé étaient particulièrement difficiles à reproduire, car le code et les ensembles de données sous-jacents étaient rarement divulgués. Cet examen, mené par des chercheurs du MIT, a révélé que seulement 23 % des études sur l’apprentissage automatique dans le domaine de la santé utilisaient des ensembles de données multiples pour établir leurs résultats, contre 80 % dans le domaine voisin de la vision par ordinateur et 58 % dans le traitement du langage naturel. »

Ce problème s’explique notamment par les restrictions en matière de protection des données plus affirmées dans le domaine de la santé et la difficulté d’obtenir des données provenant de plusieurs institutions.

Google a récemment annoncé une application qui utilise l’IA pour analyser les problèmes dermatologiques (parmi de nombreuses recherches que Google consacre à la santé), mais a refusé de divulguer publiquement les sources des données utilisées pour créer le modèle. Pour McDermott, ces obstacles structurels doivent être surmontés, notamment en utilisant l’apprentissage fédéré (une méthode qui permet de développer des modèles sans échanger les données) ou en utilisant des données virtuelles, modelées depuis des patients réels. Casey Ross signale encore un autre problème : dans un monde en constante évolution, les effets des maladies sur les patients peuvent rapidement changer tout comme les méthodes de traitement, rendant les modélisations plus fragiles sur le long terme. Pour McDermott, la stabilité des résultats en santé n’est pas acquise. « Un paradigme réglementaire statique où nous disons : « OK, cet algorithme obtient un tampon d’approbation et maintenant vous pouvez aller faire ce que vous voulez avec lui pour toujours et à jamais » – cela me semble dangereux. »

Hubert Guillaud

MAJ du 07/06/2021 : Au coeur de la pandémie, Epic, un des géant privé américain de la gestion de dossiers médicaux électroniques et l’un des principaux fournisseurs de données de santé, a accéléré le déploiement d’un outil de prédiction clinique du Covid depuis un système d’IA pour aider les médecins dans leur sélection de personnes à placer en soins intensifs en produisant un « score de détérioration », rapporte Fast Company. Pour les médecins Vishal Khetpal et Nishant Shah, ce score d’automatisation du « tri » des patients censé aider les médecins dans leur décision n’est pas sans poser problème, comme le pointait également Casey Ross. Une étude a montré que l’indice réussissait moyennement à distinguer les patients à faible risque de ceux qui avaient un risque élevé d’être transférés dans une unité de soin intensifs. Le déploiement « précipité » a pourtant créé un inquiétant précédent. Alors que l’utilisation d’algorithmes pour soutenir les décisions cliniques n’est pas nouvelle, leur mise en oeuvre, jusqu’à présent, nécessitait des examens rigoureux. Si Epic produit la liste de variable utilisée et l’estimation de l’impact de chaque variable sur le score, les données et les calculs demeurent non auditables par le corps médical. L’indice de détérioration n’a pas fait l’objet d’une validation indépendante avant son déploiement. Le risque bien sûr est qu’il encode des préjugés. Les médecins rappellent néanmoins que là encore, pourtant, il existe des listes de contrôle et des normes pour juger de la fiabilité d’une prédiction clinique (comme la liste de contrôle Tripod en 22 points (.pdf) développée en 2015 par le réseau international Equator Network). Et les médecins d’exiger une évaluation indépendante rapide de cet outil.

MAJ du 23/06/2021 : Dans un nouvel article pour State News, Casey Ross revient sur une étude (.pdf) du Centre pour l’intelligence artificielle appliquée de Chicago Booth qui montre que les préjugés algorithmiques dans la santé sont omniprésents et influent sur d’innombrables décisions quotidiennes concernant le traitement des patients par les hôpitaux. Le rapport est accompagné d’une check list pour aider les équipes à contrôler leurs outils d’aide à la décision. Parmi les calculs biaisés, les chercheurs pointent « l’indice de gravité des urgences », rien de moins que le système pour prioriser les arrivées aux urgences ! Mais encore les systèmes qui évaluent la gravité de l’arthrose du genou, ceux qui mesurent la mobilité, les outils de prédiction de l’apparition de maladies telles que le diabète, les maladies rénales et l’insuffisance cardiaque, ou les outils qui tentent d’identifier les patients qui ne se présenteront pas à leurs rendez-vous… Les chercheurs parlent d’un problème systémique. Des premiers éléments montrent que le problème s’étend également aux systèmes d’assurance santé…

MAJ du 16/09/2021 : Dans une tribune pour Le Monde, la spécialiste de l’éthique en IA, Nozha Boujemaa, revient également sur les défaillances de nombres de projets d’IA dans le domaine de la santé et souligne que les checks-lists éthiques, qui se positionnent en amont des déploiements, peinent à évaluer les systèmes. Dans le domaine médical notamment, c’est plus la robustesse et la précision des algorithmes qui pose problème. Tester la robustesse d’un algorithme repose surtout sur des principes de reproductibilité et répétabilité des systèmes : « Un algorithme est répétable s’il délivre les mêmes résultats quand il est appliqué plusieurs fois sur les mêmes données des patients. Il est reproductible quand il donne les mêmes résultats et performances dans des conditions différentes. » Elle signale d’ailleurs que l’Association for Computing Machinery (ACM) a déployé des procédures de validation des publications scientifiques incluant la répétabilité, la reproductibilité et la réplicabilité, comme des leviers pour améliorer la robustesse de l’IA. Il serait peut-être tant de les intégrer au-delà des seules publications scientifiques…

Il n’y a pas si longtemps, la sociologue Zeynep Tufekci (@zeynep) dans un remarquable article pour The Atlantic distinguait les fonctions latentes de nos environnements sociaux de leurs environnements manifestes. Appliquées aux campus américains, les fonctions manifestes consistent à étudier, mais les fonctions latentes, elles, relèvent essentiellement de la sociabilité et de la socialisation. « Ces fonctions qui peuvent sembler secondaires sont en fait essentielles, elles apportent le sens nécessaire à la réalisation des activités manifestes », expliquions-nous à la suite de la chercheuse. Le problème, c’est que ces fonctions latentes ne sont pas au programme, elles ne sont pas explicites, elles font partie de l’environnement, de l’organisation des lieux et structures que nous fréquentons… mais elles sont souvent implicites, alors que les formes de socialisations qui y sont organisées sont éminemment fonctionnelles.

À l’occasion d’une intervention donnée en mai lors de la conférence annuelle d’Educause, l’une des grandes associations américaines qui s’intéresse aux liens entre l’éducation supérieure et la technologie, la chercheuse américaine, danah boyd (@zephoria), fondatrice et présidente de l’excellent Institut de recherche Data&Society (@datasociety), a délivré un discours particulièrement pénétrant sur la question de la polarisation via les réseaux sociaux, en faisant, comme à son habitude, un imposant pas de côté pour nous aider à mieux trouver des leviers d’action. Une intervention qu’elle a retranscrit sur sa newsletter personnelle (on renverra les lecteurs notamment à la plus récente intervention de danah boyd – parmi de nombreuses autres interventions auxquelles nous avons si souvent fait écho, dont la présente intervention semble la suite logique : « De quelle éducation aux médias avons-nous besoin ? »).

Une société fracturée

En préambule, boyd rappelle que pour nombre d’entre nous, la polarisation et la haine sont pleinement liées à l’écosystème de l’information dans lequel nous vivons, notamment aux médias de masse et aux réseaux sociaux. Cela produit nombre de conversations (passionnantes) sur la désinformation, le pouvoir des plateformes et la politique. Pour elle, cependant, la polarisation et la haine sont d’abord les conséquences sociales d’une société fracturée, de personnes qui ne sont pas connectées les unes aux autres de manière significative ou profonde. Les divisions sont d’abord sociales avant d’être technologiques. Les technologies n’en sont que le reflet ou l’accélérateur. Il est nécessaire de nous intéresser au graphe social, explique-t-elle, mais pas à la carte produite par nos connexions technologiques (voir par exemple de vieilles explications sur ce sujet), mais bien avant tout à la réalité de nos interconnexions sociales, à ceux auxquels nous sommes reliés et donc à ceux auxquels nous ne le sommes pas. Ce graphe social de la société est une infrastructure civique essentielle, explique-t-elle, mais trop peu de gens comprennent vraiment comment l’alimenter et l’entretenir.

danah boyd rappelle que le concept de réseau social remonte aux années 50, bien avant l’internet donc. À l’époque, les chercheurs qui étudiaient les structures de relations parlaient d’ailleurs de « sociogramme ». Ils cherchaient à comprendre les structures des tissus sociaux de la société en observant à la fois les réseaux sociaux au niveau micro, les relations que les individus entretiennent, et à la fois au niveau macro, en observant comment ces relations s’entrecroisent. De nouveaux concepts comme la « force des liens » ont alors fait leur apparition en sociologie pour décrire la valeur des relations entre les personnes. Mark Granovetter a montré que les gens usaient de différentes stratégies pour développer, maintenir et renforcer leurs réseaux sociaux, notamment en distinguant les liens forts (famille, amis proches) et les liens faibles (relations) et en soulignant combien ces derniers sont essentiels pour accéder à des opportunités professionnelles par exemple. Ainsi, bien souvent, les liens sociaux établis dès l’école s’avèrent être un fondement essentiel pour l’accès des jeunes à de futurs emplois.

L’intégration ne se fait pas toute seule

« Bien sûr, les gens ont compris que les relations étaient importantes bien avant que les sociologues ne commencent à effectuer des analyses de réseaux sociaux et à étiqueter les dynamiques sociales », rappelle la sociologue en constatant qu’on apporte peu d’attention aux endroits où la planification stratégique autour des réseaux sociaux a fini par profiter à la société de manière inattendue. La fin de la guerre civile américaine, en 1877, n’a pas clos la méfiance entre le Nord et le Sud des États-Unis et encore moins la réalité de la discrimination raciale, des Blancs envers les Noirs. Jusqu’à la Première Guerre mondiale, la haine et l’animosité se sont même développées, notamment via les lois Jim Crow, pour entraver les droits constitutionnels des Afro-Américains. Mais avec la guerre, les hommes blancs de tout le pays ont été rassemblés dans des unités militaires. Les Noirs également, dans des unités distinctes et de seconde zone bien souvent. Durant la Seconde Guerre, ils ont plus souvent combattu côte à côte. « Après les deux guerres, les soldats sont rentrés chez eux. Mais ils rentraient chez eux en connaissant quelqu’un d’autre dans le pays, ayant construit des liens sociaux qui leur permettaient d’apprécier et d’humaniser des personnes différentes d’eux. » « En fait, nombre de ces liens seront activés par d’anciens soldats dans les années 1950, lorsque le mouvement des droits civiques commencera à émerger. Il s’avère que l’intensité du service aux côtés d’autres gens pendant une guerre crée des amitiés et un respect qui peuvent souder le pays de manière profonde », par-delà les classes sociales ou les différences de couleur de peau.

De nombreuses institutions participent à tisser des réseaux de personnes, intentionnellement ou non. Des communautés se forment autour d’activités religieuses, à la fois localement et par le biais de services qui relient les gens au-delà des frontières géographiques. Des liens professionnels se créent au sein des entreprises et entre elles. « Et puis, bien sûr, il y a l’école. Et c’est de cela que nous sommes venus parler aujourd’hui, l’école. Parce que l’école est un lieu essentiel de création de liens sociaux. Et mon intervention d’aujourd’hui a pour but de vous aider à réfléchir au rôle que vous jouez dans la construction du tissu social de l’avenir. Je vous demande de prendre ce rôle au sérieux, de le reconnaître et d’être stratégique à cet égard. Car vous jouez ce rôle, que vous en soyez conscient ou non », adresse-t-elle aux éducateurs venus l’écouter.

« Nous traitons souvent les relations entre camarades de classe comme un merveilleux sous-produit de l’éducation, quelque chose qui se produit, mais que nous ne considérons pas comme un élément central du mandat éducatif. Bien sûr, nous créons des équipes de projet dans la classe et nous aidons à former des groupes d’étudiants ou des équipes sportives avec plus ou moins de considération pour ces groupes, mais nous ne formons pas ces équipes. Notre décision d’ignorer la façon dont les groupes de pairs sont formés est particulièrement étrange étant donné que nous nous disons que la raison d’être de l’éducation publique est de socialiser les jeunes à la vie publique afin que nous puissions avoir une démocratie fonctionnelle. De nombreuses communautés éducatives sont profondément engagées dans la lutte contre les inégalités et considèrent la diversité des écoles comme un élément clé de cette mission. Mais si elles ne comprennent pas comment construire un tissu social, les écoles peuvent contribuer à la montée de la haine sans même essayer. En ignorant le travail de construction de réseaux sains, en prétendant qu’un rôle neutre est même possible, nous mettons notre tissu social en danger. »

« Au cours des premières années de mes études sur les jeunes et les médias sociaux, j’ai réalisé un mini-projet que je n’ai jamais publié. Je passais mes journées dans une poignée d’écoles racialement diversifiées de Los Angeles. J’ai remarqué que, lorsque la cloche sonnait, ces classes diversifiées se transformaient en groupes ségrégés sur le plan racial dans les couloirs, la cantine et les cours de récréation. J’ai décidé d’examiner les réseaux sociaux que ces élèves mettaient en place par le biais des médias sociaux, en démontant les réseaux complets des écoles tels qu’ils étaient articulés par les liens d’amitié. Ces écoles n’avaient pas de groupe racial dominant. Mais sur les médias sociaux, j’ai constaté une forte polarisation raciale parmi les groupes de pairs. En bref, les élèves pouvaient être assis à côté de personnes de couleurs différentes dans leurs classes, mais les personnes avec lesquelles ils parlaient dans la cour et en ligne étaient ségrégées. »

« Nous avons toujours su que l’intégration ne se fait pas toute seule ». Le travail d’intégration scolaire ne s’est pas terminé avec l’affaire Brown contre Board, c’est-à-dire avec les arrêts qui ont rendu la ségrégation raciale dans les écoles publiques américaines inconstitutionnelle. « Ce n’est pas parce que des élèves ayant des expériences de vie différentes se retrouvent dans la même école physique que les écoles font le travail nécessaire pour aider à créer des liens entre des personnes ayant des expériences de vie différentes ».

« Les gens s’auto-séparent pour des raisons saines et problématiques ». Pensez à vos propres amitiés à l’école. « Vous avez probablement rencontré des personnes différentes de vous, mais si vous êtes comme la plupart des gens, vos relations les plus proches sont probablement de la même origine raciale, socio-économique ou religieuse que vous. Les gens s’auto-ségrègent en fonction de leurs expériences, de leurs antécédents et de leurs intérêts. Par exemple, si vous êtes passionné de basket-ball, vous avez peut-être développé des amitiés avec d’autres personnes qui partagent cet intérêt. Si vous étiez dans l’équipe de basket et que vous passiez tout votre temps libre à jouer au basket, il est presque certain que vos amis sont majoritairement des membres de l’équipe de basket. »

Nous recherchons des personnes qui nous ressemblent parce que c’est plus facile et confortable. Les sociologues appellent cela « l’homophilie » (et c’est déjà danah boyd qui avait attiré notre attention sur cet aspect, renforcé par les réseaux sociaux électroniques). Dans nombre de contextes de nos existences, comme l’école, nous faisons et subissons des choix qui augmentent ou diminuent la diversité des réseaux sociaux auxquels nous sommes confrontés.

Former des groupes est aussi important que la pédagogie

« Prenons l’exemple des équipes de projet de groupe assignées avec des notes de groupe. Si vous faites travailler ensemble des personnes qui se ressemblent, elles auront plus de chances de se lier. Cela augmentera l’homophilie, mais aussi la perception que ces ressemblances sont « bonnes ». Mais si vous faites travailler ensemble des personnes qui ne se ressemblent pas afin d’accroître la diversité, les liens ne sont pas acquis. De plus, si elles ne sont pas bien gérées, ces situations peuvent devenir compliquées. » Travailler avec des personnes différentes est plus difficile. Cela demande du travail. C’est épuisant. « Lorsque nous ne parvenons pas à trouver un terrain d’entente et des objectifs communs, nous en venons à éprouver du ressentiment à l’égard des autres personnes avec lesquelles nous pensons être « coincés ». Pensez à ce sentiment que vous avez eu à propos d’un projet de groupe où quelqu’un n’a pas fait sa part. Le problème est que lorsque nous en voulons à une personne différente de nous pour une injustice perçue comme le fait de ne pas faire sa part, nous commençons à en vouloir à la catégorie de personnes que cette personne représente pour nous. En d’autres termes, nous pouvons accroître l’intolérance par des efforts mal accompagnés pour constituer des équipes diversifiées. »

« La conception de groupe est importante. Tout autant que la pédagogie. »

Si notre objectif est de diversifier le graphe social, d’aider les gens à surmonter les différences, la structure des activités doit être stratégiquement alignée sur cet objectif. Si tout le monde partage le même objectif, ils peuvent se lier sans beaucoup plus que la co-présence. C’est la beauté d’un club scolaire ou d’une équipe sportive. Il est également utile d’avoir un ennemi commun, comme c’est le cas dans les sports où l' »ennemi » est l’autre équipe. Mais l’objectif d’un groupe de projet scolaire est formulé par l’enseignant, pas par les élèves. Les élèves ont des objectifs différents lorsqu’ils participent. Au mieux, les liens au sein d’une équipe de groupe se feront par le biais d’un ressentiment partagé envers l’enseignant.

Les liens se créent lorsqu’il y a un alignement intrinsèque sur les objectifs ou un ennemi extrinsèque. Mais il y a une troisième composante… Lorsque les gens sont vulnérables les uns envers les autres, ces liens deviennent plus importants. C’est vrai dans l’armée, où vous devez être prêt à donner votre vie pour quelqu’un. Mais c’est également vrai dans les dortoirs des lycées et collèges d’élite américains.

De nos ingénieries sociales invisibles

Les personnes qui sortent de l’enseignement d’élite américain ont souvent une réussite extraordinaire, même par rapport à celles qui ont été éduquées dans des établissements d’élite dans d’autres pays, explique la chercheuse. Mais les étudiants américains ne sont pas intrinsèquement meilleurs que les autres, pas plus que leurs enseignants, rappelle l’enseignante en soulignant que la plupart ne sont pas formés à enseigner et que beaucoup ne sont pas très bons dans cette fonction. Et ce d’autant que les enseignants viennent dans ces institutions pour faire de la recherche plutôt que pour devenir de meilleurs enseignants. Certes, il existe des professeurs exceptionnels, mais la plupart d’entre eux ne sont pas dans les écoles les plus prestigieuses. « Ce qui fait l’élite des écoles d’élite est ancré dans la façon dont les réseaux sociaux se forment à travers les universités. » Et les établissements d’élite américains ont quelque chose que peu d’autres universités dans le monde proposent : la résidence universitaire obligatoire pendant plusieurs années où l’attribution des chambres (souvent pour deux personnes) est confiée à un administrateur et pour beaucoup au hasard. Bien souvent, les étudiants se retrouvent à partager leur espace de vie avec quelqu’un qu’ils ne connaissent pas. « Que vous soyez allé dans une école qui a conçu ces paires de colocataires de manière sociale ou dans une école qui les a générées de manière aléatoire, vous avez été forcé de participer à une expérience sociale. Vous deviez trouver un moyen de vivre avec un étranger, ce qui exigeait de négocier l’intimité et la vulnérabilité de manière approfondie. Personne ne vous a dit que ce mode de vie était essentiel à la construction du tissu social de la société américaine, mais il l’était. Même si vous sortez de l’université sans jamais reparler à votre colocataire de première année, vous avez appris quelque chose sur les gens et les relations en négociant cette relation. C’est ainsi que se créent les réseaux d’élite. » Et c’est cet apprentissage qui est la véritable valeur d’une éducation d’élite. Apprendre à vivre avec quelqu’un qui n’est pas comme vous.

Bien sûr, reconnaît la chercheuse, même sur les campus universitaires, cela a changé. « Lorsque Facebook a commencé à apparaître sur les campus, j’ai remarqué quelque chose d’étrange chez les étudiants. Ils utilisaient Facebook pour s’auto-ségréger avant même le début de leur première année. Ils suppliaient les administrateurs de changer leur colocation ; ils ne se liaient pas autant avec leurs camarades de chambrée quand c’était difficile. Puis, lorsque les téléphones portables sont devenus un appendice pour les adolescents, les étudiants à l’université ont choisi de maintenir les liens avec leurs amis du secondaire plutôt que de se lancer dans le travail inconfortable de la construction de nouvelles amitiés à l’université. Cette année, pendant la pandémie, les étudiants de première année au collège se sont à peine liés les uns aux autres. J’ai réalisé avec horreur que ces technologies sapaient un projet d’ingénierie sociale dont les étudiants et les universités ne connaissaient même pas l’existence. Que les écoles ne reconnaissaient pas comme précieux. Et dont nous commençons maintenant à payer le prix. »

Avec la pandémie, le manque de sensibilisation à l’importance du développement du lien social est devenu encore plus profond. D’innombrables outils sont venus aider les élèves et les enseignants à transférer leurs méthodes pédagogiques sur l’internet, en produisant des contenus vidéos interactifs et en utilisant des outils de sondages pour interagir avec les élèves à distance. Mais la relation sur laquelle tous ces outils se sont focalisés était la dynamique entre l’enseignant et l’élève. Combien d’outils ont été déployés cette année pour renforcer les liens entre étudiants ? Pour les aider à se connecter aux autres de manière saine ? « La plupart des outils que j’ai vus visaient à accroître la compétition et la culpabilité ». Des outils qui maximisent les capacités des plus performants. Des outils ancrés dans la comptabilité et la responsabilité individuelle. « Pourquoi n’a-t-on pas vu naître d’outils qui aident les élèves à tisser des liens par-delà leurs différences ? »

Briser et façonner les réseaux sociaux : un outil phare du contrôle social

Les situations traumatisantes comme une pandémie créent souvent des ruptures qui réorganisent les relations sociales. Mais agir sur les réseaux sociaux est depuis longtemps un moyen pour provoquer des traumatismes et du contrôle social. Des plantations d’esclaves au contrôle de la population juive par les nazis, le contrôle des familles et des réseaux sociaux, leur démantèlement, leur reconfiguration a toujours été mis en œuvre à pour renforcer le contrôle social. « Dans ces deux contextes d’ailleurs, l’une des formes les plus radicales et les plus importantes de résistance de la part des personnes asservies et maltraitées a été de construire et de maintenir des réseaux dans l’ombre. Ces réseaux ont rendu possible la fuite des personnes, des idées et des connaissances et ont produit des formes de solidarité qui ont permis de lutter pour la dignité ».

Le monde de l’élite de la finance et du conseil en gestion offre un autre type d’exemple, explique encore la chercheuse. Ici, c’est un contrôle par l’endoctrinement plutôt que par la force physique qui opère. Lorsque les nouveaux diplômés se lancent dans ces univers, ils sont confrontés à un bizutage contrôlé par le secteur, qui n’est pas sans rappeler l’entraînement militaire. Ils doivent travailler de longues heures, et on attend d’eux qu’ils soient d’astreinte, qu’ils voyagent, qu’ils soient à l’écoute de leurs patrons. Ce traitement contribue à démanteler leurs réseaux sociaux, à les reconfigurer. Le but, comme à l’armée, est de parvenir à une forme de contrôle idéologique total et ce contrôle idéologique passe également par la transformation des réseaux relationnels.

Pour danah boyd, ces exemples montrent combien le contrôle des réseaux de sociabilité joue un rôle essentiel. L’école obligatoire a également été adoptée pour briser les réseaux de sociabilité, mais elle ne s’est réellement imposée qu’avec la grande dépression, à une époque où trop d’adolescents occupaient trop d’emplois d’adultes alors qu’il y avait moins d’emplois pour tous. La solution a donc consisté à les enfermer à l’école. Autre exemple encore. Jusqu’à la création de l’école obligatoire, les associations sportives étaient mixtes en âge, comprenant autant des adolescents que des adultes. « Grâce au sport, les adolescents apprenaient à connaître des adultes qui les aidaient à accéder au travail ». En créant le sport à l’école, la ségrégation par âge a été promulguée, mais elle a eu des coûts importants. « Lorsque les jeunes n’interagissent pas avec des personnes d’âges différents, les dynamiques de statut et de pouvoir se replient sur elles-mêmes. » La ségrégation par âge a certainement construit nombre de maux sociaux inédits… suggère danah boyd.

Ces exemples soulignent combien l’organisation et la structuration des réseaux de sociabilité compte. Les travailleurs sociaux qui tentent d’aider des jeunes à échapper à la toxicomanie, aux gangs, à la prostitution… savent très bien la nécessité de couper leurs connexions sociales pour en créer de nouvelles. Mais pour que cela fonctionne, il faut bien sûr que les personnes soient consentantes. « Forcer une personne à rompre ses liens sociaux simplement parce que vous pensez que c’est bon pour elle a tendance à avoir l’effet inverse » Refaire des réseaux de sociabilité est un projet qui se déploie sans cesse. « La rupture des relations sociales change la vie. » Elle peut aider les gens à sortir d’un traumatisme, mais elle peut aussi être traumatisante. Le sociologue Paul Willis dans son livre Learning to labor (1977, L’école des ouvriers, Agone, 2011) a montré par exemple que les jeunes de la classe ouvrière qui bénéficiaient d’interventions éducatives considérables, refusaient bien souvent les nouvelles opportunités qui s’offraient à eux en préférant occuper des emplois ouvriers. De fait, ils ne souhaitent pas laisser derrière eux leur famille et leurs amis. Ils ne veulent pas que leurs réseaux sociaux soient brisés. Ceux qui partent sont souvent ceux qui sont en difficultés dans ces communautés, comme les jeunes LGBTQ qui cherchent à échapper à l’homophobie.

« Les jeunes qui disposent de réseaux sociaux de soutien limités à l’école se tournent régulièrement vers l’internet pour en trouver ». Mais ce n’était déjà autant le cas quand la chercheuse a commencé ses recherches sur le rapport des jeunes à l’internet, notamment parce que la rhétorique du danger des années 90 avait modifié la perception de l’internet par les parents, comme l’explique son excellent livre, C’est compliqué (2016, C&F éditions). Trop souvent encore, parents et éducateurs pensent qu’il faut éloigner les jeunes de l’internet et des réseaux sociaux, prolongeant la ségrégation par âge que nous connaissons depuis trop longtemps. Or, on ne peut pas apprendre à faire confiance à une population si on ne la fréquente pas. Nous avons construit des générations ségrégées qui discutent peu avec les autres. Mais ce n’est pas « naturel » rappelle la chercheuse. « C’est socialement construit », et cela rend les générations vulnérables les unes aux autres.

Les campagnes de désinformation sont fondamentalement des projets de restructuration des réseaux sociaux

Depuis plusieurs années, explique danah boyd, j’essaie de comprendre pourquoi certains jeunes adhèrent aux motifs conspirationnistes ou se livrent à la haine en ligne. « À chaque fois, je constate que les jeunes sont à la recherche d’une communauté ». Tout comme les jeunes gays pensent trouver une communauté en faisant leur coming out (et en récoltant surtout du harcèlement), nombre d’autres pensent trouver une communauté en partageant des horreurs.

Ces tensions semblent plus polarisées qu’elles ne l’étaient avant. L’alimentation de la haine en ligne semble construite délibérément en opposition à l’éducation. Bien sûr, l’éducation publique a toujours été controversée, notamment dans des débats sans fin sur ce que les enfants devaient apprendre. La question de l’enseignement de l’évolution, aux États-Unis, est certainement l’exemple le plus vif des innombrables guerres juridiques et culturelles qui ont façonné la politique scolaire. Mais ce débat est longtemps resté de l’ordre de désaccords entre adultes. Ce qui a changé ces dernières années, c’est que les élèves eux-mêmes sont désormais enrôlés dans ces luttes culturelles, au risque de déstabiliser l’enseignement et remettre en question le projet d’éducation.

danah boyd prend l’exemple de PragerU, un site web de vidéos présenté comme un répertoire de contenus éducatifs à destination des jeunes. À première vue, ces vidéos sont clairement conservatrices sur une grande variété de questions. Mais leur devise est claire, elle annonce vouloir défaire l’endoctrinement idéologique du système éducatif américain. Les détracteurs de PragerU qualifient ces contenus de désinformation, mais ces vidéos sont surtout conçues pour déstabiliser. Par exemple, ils proposent une série de vidéos sur « Ce qui ne va pas avec le féminisme » qui vise clairement à recadrer l’histoire et semer le doute, en affirmant par exemple que les droits à porter une arme sont un droit des femmes ou qu’il n’y pas d’écart salarial entre hommes et femmes… et soutiennent ouvertement qu’il y a une guerre à l’encontre des hommes et tiennent un propos très conservateur sur les rôles sexués. Ces vidéos s’inscrivent dans un écosystème en réseau visant à alimenter une certaine culture, et là encore, briser les liens sociaux existants pour les orienter vers d’autres réseaux de relations. « Les campagnes de désinformation sont fondamentalement des projets de restructuration des réseaux sociaux ». Ces vidéos visent à mettre en doute les savoirs en suggérant que les professeurs et leurs enseignements sont orientés. Ce cadre de déstabilisation se prolonge d’autres déstabilisations.

« Si vous vous engagez sur la voie d’un savoir déstabilisé qui rejette la faute sur les féministes, vous serez introduit dans d’autres cadres qui vous diront que le « vrai problème », ce sont les immigrants, les Noirs, les Juifs et les musulmans ». Ceux qui dégringolent dans ces contenus sont invités à s’y investir, alors que toujours plus de contenus déformés leur sont proposés. « En raison de la manière dont l’information est organisée et mise à disposition sur internet, il est beaucoup plus facile d’accéder à une vidéo conspirationniste toxique sur YouTube, diffusée par quelqu’un qui se dit expert, que d’accéder à des connaissances scientifiques ou à des contenus d’actualité, qui sont souvent verrouillés derrière un mur payant. »

« Les élèves qui ont du mal à nouer des liens à l’école se tournent vers l’internet pour trouver une communauté. Les élèves dont les parents leur apprennent à ne pas faire confiance aux enseignants cherchent des cadres alternatifs. Les élèves qui ont des difficultés en classe cherchent d’autres mécanismes de validation. Tous ces élèves sont vulnérables aux cadres qui disent que le problème ne vient pas d’eux, mais d’autre chose. Et lorsqu’ils se tournent vers l’internet pour donner un sens au monde, ils ne sont pas seulement exposés à des contenus toxiques. Leurs réseaux sociaux changent également. L’épistémologie – ou notre capacité à produire des connaissances – est devenue une arme permettant de remodeler les réseaux sociaux. La polarisation politique n’est pas seulement idéologique ; elle est également inscrite dans le graphe social lui-même. »

« Ce n’est pas seulement ce que vous enseignez qui est menaçant : c’est la façon dont les écoles construisent les relations sociales entre pairs qui est menaçante »

Dans les années 1990, des universitaires ont commencé à se préoccuper de la façon dont les connaissances scientifiques étaient attaquées, notamment autour de la montée du climatoscepticisme. À la suite de l’historien Robert Proctor, ils ont proposé un terme pour évoquer l’étude de l’ignorance : l’agnotologie. L’ignorance selon ces chercheurs était à la fois le fait de ne pas savoir, mais également caractérisait les connaissances perdues et les connaissances déstabilisées ou polluées. Reste que la fabrication de l’ignorance n’est pas possible sans s’attaquer aux réseaux relationnels.

« Pour modifier radicalement la façon dont les gens voient le monde, il faut modifier leurs liens avec ceux qui pourraient remettre en question ces nouveaux cadres », à l’image des pratiques sectaires dont le principal effort vise à vous faire douter et à vous couper de réseaux de relations. Parce qu’elle invite les jeunes à examiner la connaissance de manière critique, il n’est pas étonnant que l’école soit particulièrement attaquée. « Ce n’est pas seulement ce que vous enseignez qui est menaçant : c’est la façon dont les écoles construisent les relations sociales entre pairs qui est menaçante », explique la chercheuse aux professeurs venus l’écouter. « Que vous en soyez conscients ou non, vous tous – en tant qu’éducateurs, travailleurs sociaux, bibliothécaires et constructeurs d’outils – configurez la vie publique d’une manière qui menace toute une série d’objectifs financiers, idéologiques et politiques. Et cela, rien qu’en essayant d’enseigner aux étudiants. Juste en créant les conditions dans lesquelles les étudiants se rencontrent. Même si vous ne tentez pas de retisser le tissu social ».

À un certain niveau, cela ne devrait pas être surprenant, rappelle la chercheuse. Une grande part des promoteurs de l’école à la maison est née de la crainte que l’éducation laïque n’incite les jeunes à remettre Dieu en question. Mais l’enseignement ne menace plus seulement l’Église. Les luttes du secteur éducatif étaient centrées sur le financement pour lutter contre la logique d’austérité. Demain, les nouveaux combats seront centrés sur le réarrangement des réseaux sociaux des élèves, sur la reconfiguration de leur vision du monde, et les conflits à venir auront lieu dans la salle de classe elle-même, prévient la sociologue.

La création et la refonte de réseaux à des fins idéologiques, économiques et politiques sont omniprésentes. Nombre d’éducateurs aimeraient ne pas s’engager dans ces questions. « Nous voulons être neutres », mais nous sommes également les témoins des coûts sociaux que cette neutralité implique. Nombre de professeurs n’observent pas comment les pratiques façonnent les réseaux relationnels et la plupart des élèves ne sont pas conscients de la façon dont leurs réseaux relationnels les déterminent et façonnent leur monde.

Façonner le graphe social

« Je crois fermement qu’il est grand temps de reconnaître que l’éducation façonne le graphe social et qu’il est temps de faire un effort concerté pour s’attaquer à ce problème dans nos salles de classe et dans la construction de nos outils. En termes simples, nous ne pouvons pas avoir de démocratie si nous ne réfléchissons pas à notre tissu social », au risque d’une guerre civile. « Nous ne pouvons pas lutter contre les inégalités ou accroître la diversité sans nous occuper consciencieusement du graphe social. Bon nombre des défis auxquels nous sommes confrontés aujourd’hui – polarisation, haine, violence et anomie (c’est-à-dire l’absence d’organisation ou de loi, la disparition des valeurs communes à un groupe, NDLR) – peuvent être relevés en alimentant activement, intentionnellement et stratégiquement le graphe social de notre société », explique la chercheuse qui invite les professeurs à trouver des modalités d’interventions nouvelles. Pour cela, elle expose quelques exemples possibles d’interventions.

Nos sociétés surinvestissent la rhétorique du danger et de l’étranger. Mais, « lorsque les jeunes appellent à l’aide sur l’internet, qui doivent-ils trouver ? » Alors que dans les salles de classe, nous apprenons aux jeunes à être réactifs face aux méchancetés qui ont lieu à l’école, trop souvent nous ignorons les appels à l’aide que nous croisons sur les réseaux sociaux. La peur de l’étranger et de l’inconnu perpétue l’inaction. Pourtant, c’est bien souvent d’inconnus que nous parviennent les meilleures aides. danah boyd rappelle qu’elle est membre du conseil d’administration de Crisis Text Line, un service d’aide et de prévention du suicide par SMS notamment (que nous avions déjà évoqué). Ce service gère chaque année des millions de conversations, notamment avec des jeunes, par des conseillers formés à ces questions, plutôt qu’à des inconnus mal intentionnés. C’est un exemple qui montre qu’on peut stratégiquement orienter les jeunes vers des inconnus qui les aideront. Plus nous insistons sur le danger que représentent les inconnus, plus nous risquons de générer des interactions négatives ou impossibles avec eux, alors que nombre de professionnels inconnus sont la meilleure réponse que nous ayons à proposer pour aider les jeunes dans leurs difficultés.

De nombreux bénévoles viennent en aide aux sans-abris ou aux toxicomanes qui errent dans nos rues. Mais nous n’avons pas de « travailleurs de rue » pour venir en aide à ceux qui trainent dans les rues d’internet (une idée que la chercheuse défendait déjà en 2008). « Nous n’avons pas de programmes pour aider les personnes en souffrance en ligne », rappelle la chercheuse en invitant à apprendre aux élèves à réagir d’une manière empathique aux souffrances qu’ils y rencontrent.

Les programmes de correspondants ont longtemps été populaires dans les écoles. Ils étaient des leviers pour apprendre de la différence, voire combler les fossés sociaux et culturels. Il existait également des programmes pour mettre en relation des étudiants et des prisonniers ou avec des personnes âgées. La technologie et la peur de l’étranger les ont fait en grande partie disparaître. En s’informant sur ces programmes, la chercheuse souligne que peu de personnes en comprenaient encore la valeur.

Pourtant, nous pourrions tout à fait utiliser la technologie pour mettre au goût du jour ce type de programmes. Avec la pandémie, nombre d’écoles ont utilisé des plateformes en ligne, mais bien peu pour aider les élèves à se soutenir entre eux.

Les programmes de correspondance se concentrent sur les connexions individuelles, mais l’enjeu exposé ici vise à aller au-delà, et à construire stratégiquement un graphe social de relation. Et la technologie peut nous y aider. Qui a déjà cartographié les relations des élèves entre eux dans leur classe, leur école ? Les écoles disposent d’outils pour suivre les performances scolaires de chaque élève, mais qui surveille la santé de leurs relations sociales ? Placer cette question au centre de son travail pourrait modifier nombre des pratiques des éducateurs. Pour les administrateurs, cela signifie agencer les classes selon d’autres stratégies. Pour les enseignants, cela signifie veiller à la manière dont sont construits les groupes, dont sont placés les élèves en classe… Nombre d’enseignants font cela au feeling, mais qu’en serait-il si vous aviez une carte qui vous permettrait d’attribuer des objectifs ? « Plutôt que d’avoir pour objectif la réussite du projet de groupe, imaginez un objectif qui vise à renforcer ou élargir le graphe social des élèves », propose la chercheuse.

La création de nouvelles relations dépend beaucoup des changements de contextes. Les nouvelles amitiés se forment souvent au début de l’année scolaire, quand les élèves sont exposés à de nouveaux élèves et à de nouveaux rituels. Mais il y a également des moyens stratégiques pour cela, comme les voyages scolaires ou les projets extérieurs, qui permettent justement de créer des conditions stratégiques pour réunir certains élèves entre eux.

Les étrangers familiers : le coup de pouce au social !

« Stanley Milgram était un psychologue surtout connu pour ses expériences d' »obéissance à l’autorité », mais il a également mené une série d’études sur les « étrangers familiers ». Considérez quelqu’un que vous voyez rituellement, mais avec qui vous ne parlez jamais vraiment. Le banlieusard qui prend votre train tous les jours, par exemple. Si vous rencontrez cette personne dans un contexte différent, vous devenez plus susceptible de lui dire bonjour et d’entamer une conversation. Si vous êtes vraiment loin de votre zone de confort, il est presque certain que vous créerez des liens, au moins pendant un moment. De nombreux étudiants sont des étrangers familiers les uns pour les autres. Si vous les sortez de leur contexte et les placez dans un contexte totalement différent, ils sont plus susceptibles de se lier. Ils sont encore plus susceptibles de se lier lorsque les rencontres se répètent. »

danah boyd évoque à ce propos une anecdote particulièrement éclairante. Pour mieux fidéliser les Deadhead, les fans du groupe de rock Grateful Dead, la pratique voulait que les organisateurs gardent traces des gens auprès desquels vous étiez placé lors de l’achat d’une place de concert. Ainsi, quand vous en achetiez une autre, la pratique était de vous placer près de quelqu’un qui était près de vous au précédent concert pour faciliter les relations sociales. Ainsi peut-on inciter les gens à entrer en contact en créant les conditions nécessaires pour qu’ils se rencontrent régulièrement. Pour boyd, c’est là un exemple qui montre comment prendre les réseaux au sérieux, à prendre soin, intentionnellement, du tissu social. « Vous pouvez être aussi intentionnel dans le tricotage du graphe social que dans votre pédagogie. Et les deux sont essentiels à l’autonomisation de vos étudiants. » danah boyd conclut son intervention en esquissant d’autres pistes encore, comme d’inviter les jeunes à évaluer réellement leur réseau et à réfléchir à la manière d’être plus réfléchi justement quant aux relations qu’ils entretiennent. Bref, à leur apprendre à être parfois plus stratégiques ou au moins plus ouverts à la question de leurs sociabilités.

danah boyd livre une idée simple et stimulante, un contrepoint à la manière dont nous observons les questions de désinformation… Reste qu’elle les livre sans beaucoup de garde-fous. Réunir des jeunes qui n’ont pas d’intérêts communs ou peinent à être ensemble génère bien souvent des difficultés, qu’il faut savoir traiter et accompagner. Ce qu’avance danah boyd est plus facile à dire qu’à faire. Cela demande certainement bien plus d’investissement de la part des accompagnateurs, comme d’être plus proches des groupes, de leur fournir des méthodes ou de les aider dans les difficultés qu’ils ne manqueront pas d’affronter du fait de leurs différences, d’arbitrer des choses qui ne s’arbitrent pas si facilement. Enfin, cela demande également de savoir quand et comment agir… Nombre de ces coups de pouce au social ne fonctionnent pas si bien. Et ce « nudging social », ce type de coup de pouce comportemental, peut aussi créer des difficultés plus que les résoudre. Reste que là où on la rejoindra certainement, c’est sur le constat que nous avons certainement des progrès à faire pour améliorer la complexité et la richesse du social, dans un temps où l’individualisation semble ne cesser de le faire reculer.

La pandémie nous a montré combien nos sociabilités nous ont manquées. Elle nous a montré que quelque chose n’était pas réductible à nos outils techniques. Que quelque chose qui tenait à la forme de création du social y résistait profondément. Ce à quoi nous invite danah boyd c’est assurément à mieux observer – comme nous le disions en conclusion de notre dossier sur Zoom -, ce que nos socialités et sociabilités produisent, ce à quoi elles ne peuvent être réduites, mais comment, au contraire, elles peuvent être amplifiées, augmentées, structurées… En nous invitant à améliorer la construction sociale du social, elle nous montre qu’il y a encore des pans de nous-mêmes qui nous échappent.

Cela m’évoque d’une certaine manière le dernier livre de l’essayiste américain Malcom Gladwell (Wikipédia, @gladwell), Quiproquos (Kero, 2020), qui explique combien nous sommes nuls à interpréter les autres et notamment les inconnus. La plupart du temps, nous nous trompons à leur égard. Comme Chamberlain quand il rencontre Hitler, la plupart des juges pensent pouvoir confondre la vérité d’un accusé juste en perçant leur cœur de leur regard. Hélas, ça ne fonctionne pas si bien. Nous sommes, contrairement à ce que l’on croit, de mauvaises machines à lire les autres.

Pire, nos erreurs sont renforcées par nos jugements trop rapides sur les autres qui nous font prendre du bruit pour des signaux, l’apparence pour de l’information… Nous sommes incapables de détecter le mensonge. « Nous commençons par croire. Et nous arrêtons de croire seulement lorsque nos doutes atteignent un seuil où nous ne pouvons plus trouver d’explication convaincante. » Nous optons toujours pour la vérité par défaut et pour la confiance, afin de faciliter nos échanges sociaux. Nous pensons aussi que les gens sont transparents, que nous parvenons parfaitement à lire leurs expressions et émotions, mais là encore, nous surestimons l’expressivité des autres, comme de la nôtre. La transparence des émotions est un mythe, rappelle Gladwell. Nous jugeons des gens nerveux sans saisir leur contexte, culturel ou spécifique, tant il est souvent éloigné du nôtre. Nous sommes définitivement myopes. Gladwell finalement souligne combien nous sommes de piètres machines à décrypter le social.

Tout cela sonne certes comme autant d’évidences qui devraient nous inviter à beaucoup d’humilité, mais nous montre également que la question de l’évolution du social demeure un plafond de verre que nous peinons à adresser et à faire évoluer, c’est-à-dire à faire progresser lui aussi… Le chemin pour apprendre à vivre avec ceux qui ne nous ressemblent pas ne sera pas si simple, mais il serait intéressant de commencer à le regarder plus concrètement que nous ne le faisons actuellement, pour tenter de préciser comment avancer et comment sortir d’une forme de crise du social que l’individualisation n’aide pas du tout à dépasser.

Hubert Guillaud