« Les gens ne prennent pas de meilleures décisions lorsqu’ils disposent de plus de données, alors pourquoi supposer que l’Intelligence artificielle, elle, le fera ? », interroge l’ingénieure et anthropologue Marianne Bellotti (blog, @bellmar) dans un article pour OneZero. Bellotti, longtemps responsable technique des Services numériques des États-Unis (@USDS), est désormais responsable du Humanitarian Data Exchange (HDX), la plus grande plateforme de données ouvertes de l’ONU sous l’égide du Centre pour les données humanitaires (@humdata).

Elle est également l’auteure d’un récent livre sur la gestion de projets informatiques : Tuez-les par le feu, comment gérer les systèmes informatiques vieillissants (et assurer l’avenir des systèmes modernes) (No Starch Press, non traduit, 2021) – un livre, qui, contrairement à ce que laisse croire son titre, ne propose pas de mettre à la poubelle les systèmes obsolètes – Bellotti est plutôt réputée pour avoir remis en état de fonctionnement des systèmes informatiques anciens et désordonnés -, mais au contraire, comme l’explique Jennifer Pahlka (@pahlkadot, blog), la directrice de Code for America dans un passionnant compte-rendu, faire table rase d’un système pour un nouveau permet surtout à la désorganisation qui a conduit à créer un mauvais système de se reproduire.

Dans l’introduction de son article pour OneZero, Bellotti revient sur un événement qu’on dit souvent fondateur de l’internet moderne (événement qu’avait raconté Tamsin Shaw dans la New York Review, traduit par Books), à savoir cette fameuse journée de 2008, où plusieurs Moghuls de la Silicon Valley avaient découverts l’économie comportementale sous les explications de Daniel Kahneman lui-même, prix Nobel et auteur de Système 1 / Système 2 (Flammarion, 2012). En comprenant comment les êtres humains prennent des décisions, l’histoire voudrait que les grands patrons de la Silicon Valley présents se soient alors mis à appliquer ces connaissances aux outils qu’ils développaient. Comme le souligne Bellotti, visiblement, lors de cette journée, personne n’a pourtant parlé d’intelligence artificielle ou de Big Data… Ce qui était au cœur de la conférence de Kahneman consistait à décortiquer la croyance qu’un agent (humain plus que machine) soit capable de prendre des décisions rationnelles. En tout cas, estime Bellotti, peut-être que certains entrepreneurs de la Silicon Valley présents à cette conférence ont compris que l’enjeu n’était pas tant d’obtenir des données ou des machines parfaites, mais bien de prendre en compte les préjugés qui nous façonnent. « Au lieu d’éliminer les préjugés humains, (l’enjeu était) d’organiser la technologie autour de ces préjugés ».

Le rêve que d’innombrables flux de données produisent une meilleure connaissance est aussi vieux que les ordinateurs eux-mêmes. Mais, quelle que soit la quantité de données que nous recueillons, la vitesse ou la puissance des machines, ce rêve semble toujours hors de portée, explique Bellotti. Les experts estiment que les spécialistes des données passent 80 % de leur temps à les nettoyer. Le ministère de la Défense américain dépense entre 11 et 15 milliards par an pour le personnel qui gère ses données. Pourtant, malgré des décennies d’investissements, de surveillance, de normes… « nous ne sommes pas plus près d’une connaissance totale grâce à un cerveau informatisé que nous ne l’étions dans les années 70 », malgré l’accroissement continu des données. Le retour sur investissement de l’IA semble aussi difficile à atteindre, pour le ministère de la Défense que pour les grandes plateformes de la Silicon Valley qui pataugent dans les imperfections de leurs outils de modération automatisés.

Image : l’article de Marianne Bellotti original pour One Zero : l’IA résout le mauvais problème.

La compréhension totale d’une situation est moins désirable que des outils permettant de prendre une décision plus rapide

Pour Bellotti, nous attendons de l’IA qu’elle produise une meilleure prise de décision par une connaissance « totale » d’une situation. Pourtant, comme le rappellent les travaux de Kahneman lui-même, en savoir plus ne signifie pas prendre une meilleure décision. « Dans la vie réelle, les décideurs cherchent surtout à économiser leurs efforts », rappelle l’ingénieure en pointant vers les travaux de Todd et Benbasat. « Une connaissance totale de la situation est moins souhaitable que des outils qui facilitent le travail d’équipe menant à une décision. Après tout, les décisions sont souvent jugées en fonction des résultats, ce qui inclut un peu de chance ainsi qu’une analyse correcte. Avant que ces résultats ne se concrétisent, même la stratégie la plus prudente et la plus minutieuse, étayée par les meilleures données, ne peut offrir de garantie, et toutes les personnes concernées le savent. C’est pourquoi le processus de prise de décision consiste moins en une analyse objective des données qu’en une négociation active entre des parties prenantes ayant des tolérances différentes en matière de risques et de priorités », explique-t-elle en faisant référence aux travaux de Lucia Matinez Ordonez. « Les données sont utilisées non pas pour les informations qu’elles pourraient offrir, mais comme un bouclier pour protéger les parties prenantes des retombées possibles », rappelle-t-elle en faisant référence au livre de Christopher Hood, spécialiste des politiques publiques, The Blame Game (Princeton University Press, non traduit, 2011, extrait.pdf). Une information parfaite – si tant est qu’elle soit réalisable – soit n’apporte aucun avantage, soit réduit la qualité des décisions en augmentant le niveau de bruit.

Cela semble invraisemblable, et pourtant ! « Une information parfaite devrait automatiquement améliorer le processus de décision. Mais ce n’est pas le cas, car un supplément d’informations modifie rarement la politique organisationnelle qui sous-tend une décision », explique Bellotti.
« Tant que les décisions devront être prises en équipe, en tenant compte des différentes parties prenantes et de leurs incitations, la meilleure façon d’améliorer la prise de décision ne consistera pas simplement à ajouter des capteurs pour obtenir plus de données. Il faut améliorer la communication entre les parties prenantes. »

Pour Marianne Bellotti, l’enjeu n’est peut-être pas d’investir des milliards de dollars pour nettoyer les données et affûter les capteurs, mais de nous intéresser plus avant à l’organisation de la communication et aux règles de décisions entre les parties !

Pour une IA antifragile

Améliorer la qualité des données n’est pas si simple. « La façon dont nous parlons de la qualité des données est trompeuse. Nous parlons de données « propres » comme s’il existait un état unique où les données sont à la fois exactes (et sans biais) et réutilisables. Or, propre n’est pas synonyme d’exact, et exact n’est pas synonyme d’exploitable. Des problèmes sur l’un ou l’autre de ces vecteurs peuvent entraver le développement d’un modèle d’IA ou nuire à la qualité de ses résultats. Il existe de nombreuses raisons pour lesquelles les données qui entrent dans un modèle peuvent être problématiques. Certaines sont évidentes : les données sont factuellement incorrectes, corrompues ou dans un format inattendu. D’autres problèmes sont plus nuancés : les données ont été capturées dans un contexte particulier et sont réutilisées de manière inappropriée ; les données n’ont pas le bon niveau de granularité pour l’objectif du modèle ; ou les données ne sont pas normalisées, et les mêmes faits sont représentés ou décrits de différentes manières. »

S’il est déjà difficile de résoudre un de ces problèmes, il est pratiquement impossible de les résoudre tous dans une grande organisation ou dans un environnement complexe. Depuis l’IA, nous avons souvent tendance à croire que l’innovation crée des opportunités, oubliant de souligner qu’elle crée aussi des vulnérabilités. « L’intelligence artificielle inventera de nouvelles façons d’attaquer les problèmes, mais aussi de nouvelles façons d’être attaqué. Tout comme la numérisation des centrales électriques, des transports publics et des systèmes de communication a donné naissance à la cybercriminalité », l’IA risque de créer de nouvelles formes de défaillances. « Les systèmes d’IA actuels sont complètement dépendants de la qualité de leurs données, non pas parce que la technologie est immature ou cassée, mais parce que nous les avons conçus pour qu’ils soient vulnérables de cette manière. »

Nous devons les rendre plus résistants aux mauvaises données, « antifragiles », pour reprendre le concept forgé par Nassim Nicolas Taleb (@nntaleb) dans son livre éponyme. Antifragile désigne une conception qui non seulement sait se remettre d’un échec, mais surtout qui devient plus forte et plus efficace lorsqu’elle est exposée à l’échec. Les sciences cognitives nous apprennent que les bonnes décisions sont « le produit de l’articulation proactive des hypothèses, de la structuration des tests d’hypothèse pour vérifier ces hypothèses et de l’établissement de canaux de communication clairs entre les parties prenantes ». À l’inverse, les mauvaises décisions, les erreurs humaines, sont le résultat d’un blocage, d’un biais, sur l’une de ces trois conditions. « Lorsque les gens ne formulent pas clairement leurs hypothèses, ils appliquent des solutions qui sont inappropriées compte tenu des conditions du terrain. Lorsque les gens ne testent pas leurs hypothèses, ils ne parviennent pas à adapter leurs bonnes décisions aux conditions changeantes. Lorsque les opérateurs de première ligne ne sont pas en mesure de partager efficacement les informations en amont de la chaîne de commandement et entre eux, les occasions de repérer les conditions changeantes et de remettre en question les hypothèses sont perdues, au détriment de tous. »

Pour des IA qui élargissent les choix plutôt que de les réduire !

Si l’IA est si vulnérable aux mauvaises données c’est parce que « nous accordons trop d’importance à ses applications de classification et de reconnaissance et pas assez à ses applications de suggestion et de contextualisation ». En d’autres termes, explique Bellotti, une IA qui prend des décisions à la place des gens est une IA qui peut être sabotée facilement et à peu de frais.

La conception d’une IA antifragile est difficile, car la ligne de démarcation entre l’acceptation du résultat de l’analyse d’un algorithme comme une conclusion et son traitement comme une suggestion ou une incitation est un défi de conception – c’est la question sur laquelle Ben Green attirait notre attention récemment, nous invitant à évaluer les outils d’aide à la décision, mais également les décisions prises depuis eux. Pour Bellotti, le piège repose dans le risque de considérer les résultats des IA comme des conclusions. Cela ne conduit qu’à des erreurs catastrophiques, comme l’a montré l’usage de l’IA à la justice pénale ou au maintien de l’ordre. « Le modèle a été construit pour contextualiser, mais l’interface utilisateur a été construite pour rapporter une conclusion », soutient Bellotti qui réduit peut-être un peu rapidement le problème à une question d’interface, de design, oubliant un peu rapidement l’idéologie politique et financière qui soutient le déploiement de ces solutions.

Dans le même temps, bien souvent, l’IA médicale, elle, a permis d’améliorer la qualité de la prise de décision – enfin, pas toujours, nombre de systèmes d’IA en santé sont avant tout défaillants -, d’abord parce que de nombreux défis diagnostiques n’ont pas de réponse correcte unique (tout comme les résultats de l’IA, largement statistique, probabiliste et inductive, comme l’expliquait, très clairement David Weinberger). En matière de diagnostic, tout un ensemble de symptômes a une série de causes possibles avec des probabilités différentes. Un clinicien construit un arbre de décision dans sa tête avec toutes les possibilités auxquelles il peut penser et les tests qui excluent certaines possibilités. Le processus de diagnostic d’un patient consiste à créer un cycle consistant à définir des hypothèses, à prescrire des tests et à réduire de plus en plus l’ensemble des réponses possibles jusqu’à ce qu’une solution soit trouvée.

Ainsi, les produits conçus pour aider les médecins en leur proposant d’autres possibilités à ajouter à leurs modèles mentaux et en identifiant les tests susceptibles d’accélérer le temps nécessaire à l’établissement d’un bon diagnostic ont permis d’améliorer les résultats de diagnostic des patients en dépit de mauvaises données. Dans ces cas, l’IA a été utilisée pour améliorer la communication et le partage des connaissances entre les professionnels de la santé ou pour obtenir du patient des informations nouvelles et pertinentes à des moments critiques. À l’inverse, les produits d’IA qui tentent de surpasser les médecins en classant les éléments à leur place, comme en tentant de déterminer si une tumeur est cancéreuse ou pas ou si des tâches pulmonaires sur une radio sont relatives au Covid ou pas, ont surtout été confrontés aux mauvaises données qui les alimentaient.

Pour Bellotti, « si l’objectif de l’IA est d’améliorer la prise de décision, alors elle devrait orienter les décideurs vers des tests d’hypothèses, et non essayer de surpasser les experts. Lorsque l’IA tente de surpasser les experts, elle devient entièrement dépendante de la qualité des données qu’elle reçoit, ce qui crée un ensemble de vulnérabilités » difficilement surmontables. Une IA antifragile ne doit pas prendre de décision, mais aider à élargir les choix. Elle devrait plutôt aider « les gens à formuler les hypothèses qui sous-tendent la décision, à communiquer ces hypothèses à d’autres parties prenantes et à alerter les décideurs en cas de changements importants dans les conditions du terrain en rapport avec ces hypothèses ».

Ralentir l’IA ?

Dans un billet de blog précédent Marianne Bellotti proposait d’améliorer l’IA en la rendant plus lente ! Si, très concrètement et trop souvent, l’IA accélère le processus de décision, son but devrait plutôt être de le ralentir explique-t-elle. En 2020, Marianne Bellotti a rejoint une entreprise qui travaille dans le secteur de la défense. Une décision difficile, parce que les technologies de Défense sont un environnement riche en dilemmes éthiques et qu’il est pour beaucoup plus préférable de garder les mains propres en évitant toute implication ou compromission avec ce secteur. Une occasion pour Marianne Bellotti d’interroger concrètement ce sujet de l’éthique. « Tout le monde dans la communauté technologique parle de construire des produits « éthiques » et personne ne peut vraiment définir en quoi un processus de développement de logiciels qui produit des produits éthiques est différent d’un processus qui produit des produits normaux ». Et Bellotti de préciser : « Je ne suis pas le genre de personne qui croit que les résultats sont déterminés par la qualité des personnes. Les meilleurs ingénieurs construisent parfois ensemble des technologies de merde. Les équipes ne sont pas la somme de leurs parties. Il ne suffit pas de réunir une collection de personnes réfléchies pour qu’elles construisent une technologie éthique ». Par contre, les équipes sont toujours la somme de leurs interactions. Or, explique-t-elle, elle aime concevoir des processus efficaces, et c’est dans ces processus formels et informels qu’on doit pouvoir construire des réponses éthiques.

Image : capture d’écran de l’article de blog original de Marianne Bellotti, pour faire un meilleure IA il faut une IA plus lente.

Cette entreprise spécialisée dans l’IA et la Défense organise chaque mois une réunion permanente à l’échelle de l’organisation pour discuter éthique. Plutôt que de distinguer outils offensifs et défensifs, ces discussions se sont concentrées sur l’idée de distinguer l’escalade et la désescalade d’un conflit. « Une technologie responsable dans le domaine de la défense est une technologie qui aide les gens à réfléchir de manière plus approfondie et plus critique aux choix qui s’offrent à eux. Une technologie irresponsable les encourage à tirer des conclusions hâtives ou les laisse si loin de la réalité sur le terrain qu’elle déshumanise les personnes qui sont affectées par le déploiement de cette technologie. » Mais comment concevoir une IA qui désamorce les situations ?

Des IA pour désamorcer les situations

Les spécialistes de l’IA éthique insistent souvent sur l’importance à garder « l’humain dans la boucle », c’est-à-dire à la fois faire que les décisions prises par les systèmes soient toujours contrôlées par des humains. Ce principe d’humains dans la boucle – qui édulcore et dépolitise le « Pas pour nous sans nous » des revendications militantes, à mon sens – est un principe efficace lorsqu’il s’agit de conception politique, estime Bellotti, mais il est plus difficile à mettre en œuvre dans la conception de technologies, notamment parce par nature, elles redistribuent la manière dont le travail humain est appliqué dans un processus. Ainsi, lorsqu’une technologie est introduite dans une tâche existante, certaines étapes sont automatisées et le travail humain est redistribué… Mais il est souvent difficile de savoir si le fait de déplacer le contrôle humain dans le processus met le contrôle humain hors circuit ou non.

Pour sortir de la contradiction, il est nécessaire de revenir aux différences entre la pensée humaine et la pensée informatique, explique-t-elle en revenant justement à Daniel Kahneman. Dans Système 1 / Système 2, Kahneman distingue la pensée intuitive (le type 1), rapide, qui se base principalement sur la correspondance des modèles et la pensée analytique (le type 2), lente, souvent de nature statistique qui vise à corriger les erreurs de la première. Contrairement aux humains, pour les ordinateurs, la pensée analytique leur est facile alors que la pensée intuitive ne leur est pas facilement accessible. Or, trop de produits d’IA visent à accélérer la pensée de type 1 pour les opérateurs humains, alors qu’elle n’est pas adaptée à cela. Pour Bellotti, la ligne de démarcation entre les produits d’IA bénéfiques et ceux qui créent des problèmes repose certainement dans une forme d’accélération. Or, accélérer les décisions intuitives n’apporte souvent aucun avantage supplémentaire à l’utilisateur, mais augmente considérablement les risques d’erreur critique. « Si les êtres humains ont du mal avec la pensée de type 2 et excellent dans la pensée de type 1, si les ordinateurs ont du mal avec la pensée de type 1 et excellent dans la pensée de type 2, et si une bonne prise de décision implique l’utilisation de la pensée de type 2 pour vérifier les erreurs de la pensée de type 1, pourquoi construisons-nous des machines pour faire la pensée de type 1 à notre place ? N’est-il pas beaucoup plus utile d’utiliser les ordinateurs pour rendre la réflexion lente plus efficace en termes de ressources plutôt que de rendre la réflexion rapide plus rapide ? »

Pour une IA qui complexifie plutôt qu’une IA qui simplifie !

« Plus j’explore la question de l’IA et de l’éthique, plus je comprends l’importance de la sélection des problèmes », explique Bellotti. Et la chercheuse de donner un exemple concret en comparant deux systèmes de calcul automatisé du risque de récidive : Compas, cette machine à biais, très légitimement décrié et très utilisé par la justice américaine (voir notamment notre dossier sur la justice analytique) et un autre outil, ESAS (pour Equity in sentencing analysis system, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnation proche). Les deux technologies semblent adresser le même problème : faire des recommandations sur les peines depuis des historiques. D’un côté, Compas analyse de nombreuses données, notamment personnelles, pour en tirer des conclusions simples que le juge peut ignorer, mais ne peut pas approfondir ou contester. ESAS en revanche, se concentre uniquement sur les informations relatives et permet d’accéder à des affaires similaires pour explorer le contexte des peines qui ont été produites, permettant de comprendre ce qui dans un cas explique ce qui a valu une longue peine ou une peine plus clémente. Compas fait un raisonnement de type 1 pour le juge, et parce que les données et systèmes de calculs utilisés sont cachés, le raisonnement de type 2 qui permettrait de vérifier les biais et erreurs d’appréciations est lui totalement bloqué. Pire, souligne Bellotti, Compas attribue une valeur numérique à ses recommandations. Un repris de justice n’est pas seulement à haut risque, il est à haut risque sur une échelle qui produit un biais d’ancrage sur l’utilisateur qui y est par nature sensible (donnez à quelqu’un un chiffre élevé, et même s’il pense que ce chiffre élevé est faux, le chiffre par lequel il le remplace sera plus élevé que celui qu’il aurait estimé autrement). Compas « automatise la pensée de type 1, sujette aux erreurs, empoisonne le jugement de l’utilisateur avec une valeur d’ancrage arbitraire et empêche la pensée de type 2 de détecter les problèmes. » Dans la définition du problème par Compas, se trouve également le monstre d’une hypothèse très problématique : une personne à haut risque de récidive sera rendue moins susceptible de récidiver en lui donnant une peine de prison plus longue ! Compas ne considère pas que la relation pourrait être inverse : les personnes qui passent plus de temps en prison se déconnectent des réseaux de soutien sociaux et sont plus susceptibles de récidiver pour survivre… « C’est le danger de remplacer la pensée de type 1 faite par des humains par une pensée de type 1 faite par des ordinateurs. Les ordinateurs peuvent calculer une corrélation, mais ils ne peuvent pas construire une narration autour d’elle pour transformer cette corrélation en informations exploitables. Par conséquent, même les meilleurs algorithmes ont besoin d’êtres humains pour prendre en compte le contexte de leurs résultats. L’IA qui supprime ce contexte vit ou meurt en fonction de la précision de son modèle. »

À l’inverse, les premiers de l’ESAS en Floride ont montré qu’en associant un cas à une série de cas comparables et en permettant aux utilisateurs d’explorer les contextes, ont plutôt conduit à réduire les peines qu’à les renforcer.

Les récits sur l’IA et sur les technologies insistent beaucoup sur ce qui est remplacé par la technologie et l’IA plutôt que ce qu’elle redistribue. « L’impact et l’efficacité finale de tout produit qui utilise l’IA ne sont donc pas déterminés par les algorithmes qu’il utilise, mais par la manière dont il redistribue l’effort humain. Crée-t-il plus d’opportunités pour la pensée critique ou encourage-t-il plus d’action avec moins de réflexion et de discussion ? » Les ingénieurs qui construisent des outils d’IA doivent porter attention à l’interaction homme-machine, insiste-t-elle. « L’IA qui fait de la pensée de type 1 pour l’utilisateur et bloque la pensée de type 2 conduit généralement à des résultats désastreux. L’IA qui augmente les possibilités de réflexion de type 1 et encourage l’utilisateur à ajouter la vérification des erreurs de type 2 à la réflexion de type 1 de la machine, tend à augmenter l’utilité. »

Pour le dire très simplement, si l’IA ne nous aide pas à réfléchir, elle ne nous sera d’aucune utilité.

Hubert Guillaud

Et merci à Matthieu Belbèze (@lemarsographe, newsletter) pour m’avoir conduit jusqu’aux articles de Marianne Bellotti, grâce à son article pour Le Vent se lève (@lvslmedia), que je vous recommande vivement : « La révolution numérique est profondément conservatrice ».

331 449 281, telle est la population totale des États-Unis au 1er avril 2020 selon le bureau du recensement américain. Le recensement de la population produit depuis longtemps un chiffre, toujours précis. Précis, mais par nature inexact. C’est pour la chercheuse danah boyd (@zephoria), chercheuse associée chez Microsoft et fondatrice de Data & Society (@datasociety) un symbole du grand « théâtre des données » qui se joue chaque jour sous nos yeux, expliquait-elle lors du dernier Microsoft Research Summit (voir la vidéo de sa présentation et la transcription de son intervention dans sa newsletter).

Les statistiques sont la grande science de l’État, rappelle boyd (on parlait même d’arithmétique politique). L’État produit des statistiques « données » au public qui deviennent ainsi des évidences, des faits (littéralement des « statistiques officielles »). Et lorsque les statistiques sont comprises comme des faits, le public s’attend alors à une forme d’exactitude, de précision. D’où les chiffres précis que produit le Bureau du recensement par exemple, alors qu’il sait très bien qu’un tel chiffre n’est qu’une approximation d’une réalité mouvante, tout en étant le meilleur que l’on puisse produire compte tenu des procédures utilisées. Le Bureau du recensement pourrait pourtant dire, très légitimement, que la population américaine est d’environ 331,5 millions de personnes. L’arrondi communiquerait d’ailleurs une forme d’incertitude. Ou ils pourraient produire un nombre avec des chiffres après la virgule, indiquant par là que des modèles sous-tendent les données. Mais les statisticiens ne le font pas. « Ils produisent la précision parce que la précision signale l’autorité. Parce que la précision est une norme et une attente. Parce qu’il y a une pression à la précision. »

La précision en ses limites

Le recensement est l’épine dorsale d’innombrables pratiques de création de données. Toute donnée représentative au niveau national est liée au recensement d’un pays. Le PIB, le taux d’emploi, de logement… intègrent les données de recensement. Les taux d’infection au Covid ou vaccination sont également reliés au dénombrement de la population.

Les agences statistiques sont chargées de produire des statistiques officielles destinées à être utilisées dans les décisions de politique publique et la recherche. Aux États-Unis, les données de recensement sont utilisées pour répartir les représentants politiques sur le territoire et distribuer les financements fédéraux. En d’autres termes, les données de recensement constituent « explicitement et constitutionnellement l’infrastructure de données de la démocratie ». Mais même lorsque la représentation politique n’est pas directement liée aux données de recensement, ces données sont hautement politiques et profondément contestées. C’est le cas dans de nombreux pays où la connaissance des informations sur la population relève autant de la politique que de la comptabilité. C’est ce qui a poussé les Nations Unies à créer une commission statistique en 1947 pour formaliser les normes internationales en matière de statistiques officielles, pour promouvoir la professionnalisation des statistiques nationales afin d’aider les agences statistiques à résister aux interférences politiques.

Mais la professionnalisation des statistiques nationales a également suscité une question importante : que sont les statistiques lorsqu’elles ne sont plus de l’arithmétique politique ? Qu’est-ce que tous ceux qui sont investis dans les données imaginent que les statistiques sont ?

Dans la plupart des communautés techniques, explique boyd, il est facile de considérer les statistiques comme un travail objectif, scientifique et mathématique. L’idéal de l’information objective existe parce que les décideurs apprécient de pouvoir rejeter la responsabilité sur les données. Cela permet d’éviter de questionner la politique ou la prise de décision. Cela permet de prétendre que l’utilisation des données rend les choses neutres. « C’est un raisonnement dangereux. C’est ainsi que les données deviennent des armes ».

Ce cadrage objectif masque également les origines profondément politiques de nombreuses techniques que nous considérons aujourd’hui comme acquises… La régression statistique a été inventée par Francis Galton, le père de l’eugénisme, et son intérêt pour cette technique n’était pas anodin, rappelle la chercheuse. Malgré les racines douteuses de nombreuses méthodes et pratiques statistiques, le développement de la statistique mathématique a également permis de mieux comprendre les limites et les biais des analyses. Par exemple, dans les années 1910, un groupe d’employés noirs du Bureau du recensement des États-Unis a commencé à calculer le sous-dénombrement des Noirs dans les recensements précédents. Cela a ouvert de nouvelles possibilités pour corriger les données. Au fur et à mesure que les techniques statistiques se perfectionnaient, les scientifiques ont également commencé à imaginer comment les interventions mathématiques pouvaient réparer les faiblesses intrinsèques des données.

Mais améliorer la qualité des données en les corrigeant n’allait pas de soi. Aux États-Unis, ces travaux se sont souvent heurtés à des résistances politiques. En 1957, le Congrès américain a interdit au Bureau du recensement d’utiliser l’échantillonnage dans ses principaux produits de données, alors que celui-ci permettait notamment de réduire la charge du recensement. Conscient de l’importance des personnes manquantes dans le recensement, le Bureau du recensement a tenté d’exploiter des données provenant d’autres sources et d’élaborer des modèles pour combler les lacunes dans ses propres données à l’aide d’une technique connue sous le nom d’imputation. Cette technique a également été contestée devant les tribunaux lorsque l’État de l’Utah a fait valoir que le Census Bureau n’avait pas le droit d’imputer des données, à la fois parce que l’échantillonnage était interdit par la loi et parce que l’imputation violerait l’exigence constitutionnelle d’un « dénombrement réel ». La Cour suprême a rejeté ces revendications, arguant que l’imputation n’était pas une méthode statistique, mais une technique permettant d’améliorer le comptage… elle est devenue par cette décision un arbitre des méthodes statistiques.

La donnée est politique

Les organismes statistiques sont tenus de produire des connaissances statistiques de haute qualité, mais qui décide de ce qui constitue des connaissances statistiques ? Ceux qui sont investis dans les statistiques modernes et l’avancement de la science présument que le but d’un organisme statistique est de créer des connaissances statistiques mathématiquement valides et que le résultat d’un recensement doit être la meilleure représentation quantitative possible. Mais tout le monde ne voit pas le concept de statistique sous cet angle, rappelle boyd. Pour ceux qui considèrent un recensement comme un dénombrement de toutes les personnes, alors le travail du Bureau du recensement consiste à se concentrer sur l’acte de compter et de rapporter ce qui est compté. On le voit, il y a une distinction nécessaire entre le meilleur comptage et les meilleures données.

Dès qu’on donne de l’importance aux données, elles ne peuvent jamais être neutres. « Plus les enjeux sont importants, moins ces données peuvent être objectives. Le choix même des données à collecter, la manière de les catégoriser et de les présenter révèlent des engagements idéologiques, sociaux et politiques », rappelle boyd en évoquant notamment la collecte de données sur l’origine ethnique dans le recensement américain. Si cette collecte a toujours lieu, c’est parce que les lois adoptées pendant les années 60 pour lutter contre les discriminations ont utilisé ces données pour asseoir leurs revendications et montrer les inégalités raciales qui fracturaient la société américaine. À l’inverse, la France ne collecte pas de données sur l’origine ethnique ni sur la religion. Les partisans de cette interdiction considèrent qu’elle est essentielle à la mise en place d’une société laïque sans distinction de race, mais ses détracteurs affirment que le fait de ne pas collecter ces données signifie que la France est mal équipée pour lutter contre les inégalités et le racisme. Le Liban, quant à lui, a effectué son dernier recensement en 1932. À l’époque, on a constaté qu’environ la moitié de la population était chrétienne et l’autre moitié musulmane, répartie équitablement entre sunnites et chiites. Les politiciens libanais ont rejeté à plusieurs reprises les propositions visant à effectuer un nouveau recensement. Un exemple qui illustre très bien combien la connaissance statistique est politique.

Les statistiques nous aident à connaître différents aspects de nos nations, mais ce que nous sommes en mesure de demander dépend d’une série d’engagements politiques, idéologiques et économiques, rappelle danah boyd.

Or, les recensements ne sont jamais parfaits. Les recensements oublient des gens. Il manque des gens parce qu’ils sont ailleurs et il manque des gens parce que tout le monde ne veut pas être compté. Et il manque des personnes parce que toutes les personnes ne sont pas considérées comme suffisamment légitimes pour être comptées par l’État. En d’autres termes, ils omettent des personnes pour des raisons opérationnelles, sociales et politiques.

Pour des données qui révèlent leurs défauts et leurs limites !

Lorsque les statistiques officielles sont considérées comme des données objectives fournies par l’État, on suppose qu’elles sont capables de parler d’elles-mêmes, de raconter leur propre histoire. « Mais les données ne parlent pas d’elles-mêmes. Elles ne le peuvent pas. Elles parlent au nom d’autres personnes. Et ce qu’elles disent dépend des objectifs et des intérêts de ceux qui essaient de les convaincre de parler. »

De nombreuses personnes puissantes utilisent les données pour justifier leurs décisions. Pourtant, lorsque les décideurs et les dirigeants s’appuient sur des données pour justifier leurs actions, ils veulent que les données restent conformes au message. « Pour que les données restent conformes au message, elles doivent communiquer avec précision et en toute confiance. Ces données ne peuvent pas révéler leurs propres défauts et limites, soulever des questions ou proposer des interprétations alternatives. Les données ne doivent pas être considérées comme faibles, car les données considérées comme faibles menacent la légitimité du travail statistique. » Personne ne veut de données entachées d’incertitudes, explique boyd en rapportant le travail d’une démographe qui avait tenté de communiquer des intervalles de confiance dans les données qu’elle présentait à une municipalité. La municipalité lui a demandé de revoir son travail pour revenir avec des faits !

« Tous ceux qui ont travaillé avec des données ont, à un moment ou à un autre, demandé aux données de parler pour elles-mêmes ». « Regardez les données ! » est la déclaration d’exaspération – ou d’assurance – la plus commune.

Le problème, estime boyd, est qu’il n’y a pas vraiment de place pour communiquer sur les limites des données. Trop souvent, les praticiens préfèrent ignorer l’incertitude et l’erreur, sachant que ces informations-là sèment surtout de la confusion si ce n’est de la colère. Pourtant, ceux qui sont dans les méandres de la technique et des chiffres ne peuvent pas comprendre comment quelqu’un peut éthiquement travailler avec des données et ignorer de tels signaux. Bien sûr, il y a aussi un art de présenter l’incertitude en sachant que la personne qui reçoit les données peut soit ignorer l’incertitude, soit la déformer pour simplifier le message. C’est le cas des sondages politiques notamment. Les sondeurs peuvent souligner consciencieusement que leurs résultats sont dans une marge d’erreur lorsque leurs prédictions se révèlent fausses, même s’ils savent pertinemment que leurs données ont été présentées pour suggérer un résultat définitif. À l’inverse, les climatologues tentent de communiquer de manière responsable l’incertitude de leurs modèles complexes, quand bien même leur travail risque d’être miné par l’absence de certitude qu’ils présentent.

Le Census Bureau est censé produire des faits et faire preuve de précision à la fois pour faire autorité et parce que toute communication scientifique responsable impliquant une incertitude peut être politisée. Les scientifiques et les statisticiens savent que les données ont des limites et communiquent dessus entre eux. Mais, dans l’ensemble, ceux qui s’appuient sur l’infrastructure de données de la démocratie ont tendance à ignorer les signaux d’incertitude, d’erreur ou de bruit lorsqu’ils utilisent les données. « Certains les ignorent parce qu’ils ne savent pas comment travailler avec de telles informations. D’autres les ignorent parce que leurs clients veulent entendre des faits et de la précision. D’autres encore considèrent que la discussion même de l’incertitude crée un risque de délégitimation des données. »

Pourtant, souligne danah boyd, l’illusion de données de recensement parfaites est devenue plus coûteuse que les gens ne le pensent. S’il n’est pas capable de faire face aux limites des données, le Census Bureau ne peut pas obtenir le soutien social et politique nécessaire pour introduire de nouvelles techniques susceptibles d’améliorer systématiquement les statistiques fédérales. Cela est particulièrement coûteux dans un contexte social où il est de plus en plus difficile d’inciter les gens à répondre eux-mêmes ou à partager des informations avec les représentants du gouvernement. La communauté scientifique a mis au point une série de techniques permettant d’améliorer la qualité des données malgré les limites de leur collecte, mais pour les adopter, il faut que les parties prenantes comprennent les limites et les vulnérabilités des données.

La confidentialité des données est toujours essentielle

L’une des raisons pour lesquelles les données de recensement sont imparfaites est que le public ne fait pas toujours confiance au gouvernement pour prendre soin des données. Depuis 1840, les personnes chargées du recensement aux États-Unis savent que la confidentialité est essentielle pour inciter les gens à participer au recensement. Pour le Census Bureau, la confidentialité des statistiques est une condition essentielle pour des raisons procédurales, juridiques et morales. L’impératif procédural n’a fait que croître depuis 1840, de nombreuses études ayant montré à plusieurs reprises que les gens sont réticents à répondre, notamment quand les données permettent de les identifier. Depuis plus d’un siècle, il existe des exigences légales qui empêchent l’accès aux données de recensement à des fins non statistiques. Plus récemment, lorsque des chercheurs ont découvert comment les données de recensement étaient utilisées aux États-Unis et en Europe pendant la Seconde Guerre mondiale, la communauté des statisticiens s’est engagée plus généralement à assurer une meilleure confidentialité des données.

Pour assurer la confidentialité des statistiques, le Census Bureau a fait évoluer ses procédures. Longtemps, il a choisi de ne pas publier certaines statistiques, mais, dans les années 1980, le Census Bureau a été soumis à une forte pression pour publier des données plus détaillées. Ainsi, lors du recensement de 1990, le Census Bureau a commencé à injecter du bruit dans les données publiées afin de lui permettre de publier des données sur de petites zones géographiques. Le bruit qui a été injecté n’était pas systématique, mais consistait en des modifications destinées à atténuer la visibilité des valeurs aberrantes.

Les informaticiens ont montré que ces modifications n’offraient que peu de protection et ils ont commencé à développer la « confidentialité différentielle » comme une intervention possible (voire les très bonnes explications de David Larousserie dans un article du Monde sur les avantages et limites de ces techniques). Le but est de maximiser la confidentialité et la qualité des résultats statistiques en introduisant du bruit dans les données pour éviter qu’elles ne permettent de réidentifier des personnes.

Il existe de nombreuses façons de mettre en œuvre la confidentialité différentielle, explique pédagogiquement danah boyd, mais toutes impliquent des lettres grecques servant de variables qui régissent des aspects clés du système. L’une de ces lettres – epsilon – représente le risque de perte de confidentialité dans un système de confidentialité différentielle. « Pensez-y comme à un bouton. Tournez le bouton dans un sens et les données sont plus bruyantes, mais bénéficient d’une meilleure protection de la vie privée. Si vous le tournez dans l’autre sens, le bruit diminue », mais les données deviennent plus vulnérables à la réidentification.

« La confidentialité différentielle tient 4 choses pour acquises. Premièrement, elle présume qu’il est impératif de publier des statistiques utilisables tout en protégeant la confidentialité des données sous-jacentes. Deuxièmement, elle suppose que les statistiques utilisables peuvent être comprises en termes mathématiques. Troisièmement, elle suppose que les utilisateurs de données trouvent un intérêt à connaître, comprendre et mesurer le bruit, l’erreur et l’incertitude. Quatrièmement, la confidentialité différentielle suppose que la transparence est souhaitable. »

Le Census Bureau a commencé à intégrer la confidentialité différentielle dans ses produits scientifiques en 2006, rendant ainsi disponibles pour la première fois des données auparavant inaccessibles. La communauté scientifique a applaudi. Mais le recensement décennal est différent des autres produits de données produits par le Census Bureau. Aussi, lorsque le bureau a décidé de moderniser le système de divulgation statistique utilisé pour son produit canonique, il n’a pas mesuré l’ampleur de la réaction négative qu’il recevrait. Le bureau a apprécié la possibilité d’être franc au sujet de ses procédures. Les scientifiques imaginaient que cela permettrait une meilleure gouvernance du système statistique et une meilleure prise en compte de l’incertitude. Ils pensaient que les utilisateurs seraient satisfaits. Ils ont eu tort.

Les poursuites judiciaires ont commencé avant même la publication des données du recensement. D’autres sont encore attendus. Une fois de plus, nous pouvons nous attendre à ce que la Cour suprême doive s’interroger prochainement sur ce que sont les statistiques, explique boyd. Certains opposants à la protection différentielle de la vie privée ont des préoccupations d’ordre scientifique, mais bon nombre de ceux qui contestent le droit du bureau de moderniser son système de prévention de la divulgation ne voient pas les données du recensement à travers le prisme des mathématiques. « Ils veulent que les données soient des faits, qu’elles parlent d’elles-mêmes ». Et ils considèrent que la protection de la vie privée via la confidentialité différentielle est une abomination pour avoir osé modifier les données en premier lieu. Pour compliquer encore les choses, il y a aussi des gens qui voient des opportunités politiques à combattre le bureau, quelles que soient les ramifications pour le travail statistique.

La transparence est un idéal courant en informatique, en particulier dans les domaines issus de la cryptographie, qui ont un profond engagement moral envers la transparence. De même, les mathématiciens et les informaticiens ne considèrent pas l’incertitude comme une chose à éviter, mais comme une chose à embrasser activement. Dans le cadre de cette façon de voir le monde, les progrès de la méthode scientifique visant à améliorer la qualité des données et à négocier la confidentialité des statistiques sont une aubaine pour les statistiques. Mais elles sont aussi un cauchemar politique.

Nous n’échapperons pas à la politisation des données !

L’épistémologie est l’étude de la connaissance, elle consiste à comprendre « comment nous savons ce que nous savons ». La science est la poursuite de la connaissance par le biais de méthodes et de pratiques rigoureusement définies. Historiquement, les scientifiques ont été condamnés pour hérésie et brûlés sur le bûcher, mais au 20e siècle, les scientifiques ont acquis une grande importance dans de nombreuses sociétés. Malheureusement, leur ascension n’est pas toujours bien accueillie, surtout lorsque les découvertes scientifiques sont considérées comme une menace économique ou idéologique. Dans les années 1980 et 1990, les scientifiques n’ont pas été physiquement torturés, mais leurs pratiques ont été régulièrement détournées, souvent sous le couvert d’une « science solide ».

L’abus le plus flagrant du processus scientifique s’est produit dans les domaines de la science du climat et de la santé publique, alors que l’industrie pétrolière et l’industrie du tabac s’efforçaient de semer le doute sur le consensus scientifique concernant le changement climatique et le cancer lié au tabagisme. Plus que tout, ces efforts ont perverti l’incertitude scientifique encourageant sa paralysie. Dans les années 1990, un groupe d’universitaires s’est réuni pour donner un sens à ce phénomène. Ils ont inventé le terme « agnotologie » pour décrire l’étude de l’ignorance. L’ignorance n’est pas simplement ce que nous ne savons pas encore ; elle fait également référence à la connaissance qui a été perdue et à celle qui a été volontairement polluée.

L’incertitude est au cœur du processus scientifique. Mais dans un contexte de politique publique, l’incertitude est considérée comme toxique et dangereuse. La politisation de l’incertitude pour saper le consensus scientifique au cours de cette période explique en partie pourquoi ceux qui cherchent à garantir la légitimité des statistiques fédérales rejettent souvent par défaut toute information susceptible d’ébranler la confiance dans les données. Aujourd’hui, les personnes qui s’intéressent aux données rechignent à parler d’incertitude parce que, pendant 20 ans, elles ont vu comment l’incertitude était utilisée pour saper les connaissances scientifiques et l’élaboration de politiques fondées sur des preuves.

Les données de recensement sont le produit d’un travail scientifique. Elles sont également l’infrastructure de notre société, au cœur d’innombrables politiques et pratiques. « Des vies dépendent de ces données. Des économies dépendent de ces données. La santé publique dépend de ces données. » Ceux qui utilisent les données de recensement veulent savoir qu’ils peuvent avoir confiance en ces données, qu’ils peuvent s’appuyer sur ces données dans leurs calculs. Les scientifiques qui travaillent sur ces données sont obsédés par la qualité, mais ils n’ont jamais été en mesure de produire des données parfaites. « Pourtant, plus ces données sont politisées, plus on attend d’elles qu’elles soient parfaites. Et plus on s’attend à ce qu’elles soient parfaites, plus les personnes investies dans la légitimité des données sont censées supprimer toute discussion sur l’incertitude, le bruit et l’erreur. » Ce faisant, une illusion est née.

L’illusion de la perfection, cet imaginaire statistique

« En m’appuyant sur les travaux d’autres chercheurs, je ne peux m’empêcher de considérer cette illusion comme un type d’imaginaire statistique. Dans mon esprit, un imaginaire statistique se forme lorsque des personnes construisent collectivement une vision de ce que sont les données et de ce qu’elles pourraient être. Par exemple, lorsque les auteurs de la Constitution ont imaginé de procéder à un recensement pour ancrer une démocratie et sa représentation, ils ont créé un imaginaire statistique. Les entreprises produisent également des imaginaires statistiques. Par exemple, lorsque les entreprises créent des discours parlant de tous les avantages du « big data » et de l’IA, elles produisent un imaginaire. »

Les imaginaires statistiques n’ont pourtant pas besoin d’être des fantasmes farfelus. Ils ne doivent même pas être des illusions ; ils peuvent être profondément ancrés dans la pratique, enracinés dans des objectifs pragmatiques et réalisés par des systèmes techniques. Mais ils peuvent aussi se détacher de la pratique lorsque l’illusion de ce que les statistiques devraient être est plus attrayante que la réalité de ce qu’elles sont. L’apprentissage automatique est un outil puissant, mais le fantasme selon lequel l’apprentissage automatique peut résoudre tous les problèmes de société est déconnecté de la réalité.

« La clé d’une science des données responsable est de garder l’imaginaire statistique sous contrôle ». De nombreuses personnes célèbres ont parlé des dangers de mentir à travers les statistiques, de contorsionner les statistiques pour dire des choses inappropriées. Il existe également un danger de produire un imaginaire statistique qui ne peut être réalisé. Une science des données responsable nous oblige à fonder ces conversations. Oui, les données doivent être solides. Mais les logiques techniques, culturelles et politiques qui entourent l’analyse et l’utilisation des données doivent l’être tout autant.

« Toutes les données sont fabriquées ». Elles ne sont ni immanentes, ni trouvées. L’idée que les données puissent être le produit d’un acte de comptage apolitique est chaleureuse et floue. Mais il s’agit d’une illusion. Et cette illusion masque la manière dont les catégories de données sont politiquement contestées, dont les choix en matière de collecte et de traitement nécessitent des décisions humaines. « ,Mais le plus grand problème de cette illusion est qu’elle encourage les personnes impliquées dans le travail sur les données à ignorer les limites des données afin d’apaiser un idéal de faits objectifs. Les données ne peuvent pas être traitées comme des acquis. Leurs imperfections et leur contexte doivent être pris en compte ».

Pour des données incertaines et des usages responsables !

S’engager dans l’incertitude est une entreprise risquée. Les gens ont peur de s’engager dans l’incertitude. Ils ne savent pas comment s’y prendre. Et ils s’inquiètent de la politisation de l’incertitude. Mais nous atteignons un point de bascule. En ne s’engageant pas dans l’incertitude, les imaginaires statistiques sont de plus en plus déconnectés de la pratique statistique, ce qui sape de plus en plus la pratique statistique. Et cela menace la capacité de faire du travail statistique en premier lieu. Si nous voulons que les données aient de l’importance, la communauté scientifique doit contribuer à dépasser la politisation des données et de l’incertitude pour créer un imaginaire statistique capable de prendre en compte les limites des données.

« En tant que chercheurs techniques et scientifiques du monde entier, vous avez tous un rôle à jouer », exhorte danah boyd. « Nous devons tous à nos communautés respectives de garantir un avenir plus responsable en matière de données ». « Beaucoup d’entre vous se sont déjà engagés à produire des métadonnées sur des ensembles de données afin de rendre visibles les caractéristiques de ces données. Cela devrait être une pratique courante. Mais allez un peu plus loin… Comment faites-vous pour comprendre comment les données sont utilisées ? Et que faites-vous pour vous assurer que les données sont utilisées de manière responsable ? »

La politisation des données climatiques et des données sur le cancer il y a 20 ans aurait dû être un avertissement, rappelle boyd. La politisation des données est désormais omniprésente. Elle menace la légitimité de l’infrastructure de données de la démocratie. Elle menace la capacité à comprendre les crises de santé publique. Elle menace la capacité des individus, des entreprises et des gouvernements à prendre des décisions éclairées.

Beaucoup d’entre vous ici aujourd’hui sont des constructeurs d’outils qui aident les gens à travailler avec des données. « Plutôt que de présumer que ceux qui utilisent vos outils ont une vision claire de leurs données, comment pouvez-vous créer des fonctionnalités et des méthodes qui garantissent que les gens connaissent les limites de leurs données et les utilisent de manière responsable ? Vos outils ne sont pas neutres. Les données que vos outils aident à analyser ne le sont pas non plus. Comment pouvez-vous créer des outils qui invitent à une utilisation responsable des données et qui permettent de voir quand les données sont manipulées ? Comment pouvez-vous contribuer à la création d’outils de gouvernance responsable ? »

« Certains d’entre vous ici aujourd’hui sont des chercheurs critiques, qui regardent tout cela se dérouler. Nous avons tous vu des technologies être utilisées pour mettre en œuvre des abus et réifier des inégalités structurelles. Mais soyons également prudents. Dans certains contextes, nos critiques sont détournées pour saper les infrastructures de données qui défendent la démocratie et les droits civils. Le contexte est important. Oui, nous devons examiner d’un œil critique la façon dont la technologie soutient les systèmes de pouvoir. Mais nous devons également être conscients de ceux qui profitent du doute et de l’affaiblissement de la science et des statistiques. »

Les données de recensement sont un canari dans la mine de charbon. Les controverses entourant le recensement de 2020 ne vont pas disparaître à court terme. L’imaginaire statistique des données précises, parfaites et neutres a été rompu. Et il n’y a aucun moyen de remettre le proverbial génie dans la bouteille. Rien de bon ne sortira de la tentative de trouver une nouvelle façon d’ignorer l’incertitude, le bruit et l’erreur. La réponse à l’utilisation responsable des données ne consiste pas à réparer une illusion. Il s’agit d’envisager et de projeter de manière constructive un nouvel imaginaire statistique, les yeux grands ouverts. Cela signifie que tous ceux qui s’intéressent à l’avenir des données doivent contribuer à ancrer notre imaginaire statistique dans la pratique, dans les outils et dans les connaissances. « La science responsable des données ne concerne pas seulement ce que vous faites, mais aussi ce que vous faites faire à tous ceux qui travaillent avec des données ».

Les données sont des artefacts politiques comme les autres

Derrière cette invitation puissante à interroger notre conception des données, danah boyd pointe d’autres. Dans l’édition précédente de sa newsletter, danah boyd interrogeait plus avant les limites de la visualisation des données par exemple. Elle expliquait notamment que la visualisation est profondément une question de communication. « Les choix que vous faites pour produire une visualisation déterminent la façon dont elles seront perçues. Le spécialiste en visualisation de données a le pouvoir de façonner nos perceptions. Ce qui signifie qu’il n’y a pas de visualisation neutre, pas plus qu’il n’y a de données neutres. La question pour le spécialiste en visualisation de données consiste donc à savoir ce qu’il souhaite transmettre. » Le journalisme aimerait lui aussi s’imaginer en reporter neutre, alors qu’il ne cesse de devoir prendre des décisions sur les priorités qu’il donne à certaines informations sur d’autres et sur la manière dont il va communiquer ces informations. Shannon dans sa théorie de l’information le disait d’une autre manière. L’enjeu n’est pas tant ce que le communicateur essaie de dire que ce que le destinataire est capable d’entendre. « La perte de paquets est inévitable. Le communicateur doit donc organiser l’information de manière à ce que, même avec du bruit dans le système, le destinataire puisse recevoir le message voulu. » Pour danah boyd, se concentrer sur la parole ou l’écoute forme les deux extrémités d’un spectre. Si la presse a toujours été attentive au contexte, c’est-à-dire à la manière dont les gens peuvent recevoir une histoire, aujourd’hui, elle a de moins en moins de contrôle sur celui-ci, puisque nombre de contenus ne sont plus reliés à une hiérarchie de l’information, mais deviennent de plus en plus indépendants les uns des autres.

« Les données ne parlent pas d’elles-mêmes. Elles ne sont jamais neutres. Elles ont des biais et des limites, des vulnérabilités et des incertitudes. Lorsqu’elles sont placées en position de pouvoir, elles sont souvent déformées et déformées d’innombrables façons. » Apprendre à voir véritablement les données est difficile, notamment parce que leurs faiblesses ne sont pas toujours évidentes à décoder. La visualisation peut contribuer à révéler leurs faiblesses ou les masquer.

Il y a quelques années, alors qu’elle donnait un cours d’introduction à la science des données, elle faisait travailler ses étudiants sur des données de police de la ville de New York et leur posait une question simple : quel est l’âge moyen des personnes arrêtées. Très vite la réponse fusait (27 ans) et quand elle leur demandait si c’était exact, ceux-ci émettaient mille hypothèses sociales pour en tirer du sens. Mais en leur demandant de faire une distribution des données, ils se sont rendu compte que la grande majorité des gens dans les données n’avaient pas d’âge. En comparant cette variable à celle de la date de naissance, ils se sont rendu compte que les deux variables ne correspondaient pas. L’âge est une très mauvaise clef d’entrée dans ces données. La première leçon était apprise : il est essentiel de saisir la faiblesse des données avant de leur poser des questions. « Lorsque vous construisez vos outils, quelles hypothèses faites-vous sur vos données ? Comment aidez-vous ceux qui cherchent à donner un sens aux données à en voir les limites ? Comment amadouer les données pour qu’elles montrent leurs faiblesses ? Comment encouragez-vous les utilisateurs de données à voir l’incertitude ? Ce sont des choix. »

Les données démographiques américaines sont ainsi classées géographiquement, par sexe et race. Autant de classements bien souvent difficiles. Elles ne sont pas les seules à être problématiques dès qu’on les distribue en catégories. Si nos manières de segmenter les données peuvent être guidées par des formules mathématiques, le choix de créer des segments est très directement déterminé par des considérations sociales. Une fois les catégories créées, il faut traiter les données qui ne correspondent pas aux catégories et également traiter les données qui sont déformées par les catégories, notamment à des fins politiques. Nos sociétés sont pleines d’inégalités. Or, souligne boyd, « bien que les gens imaginent l’informatique comme un grand perturbateur, l’ironie veut que nombre de nos pratiques informatiques soient davantage obsédées par la réification des catégories créées par les humains que par leur perturbation ».

L’apprentissage automatique n’est rien d’autre qu’un moyen pour identifier des catégories socialement construites et il consiste à les identifier informatiquement dans des systèmes qui, généralement, les amplifient. D’où le fait que l’IA soit si controversée. Ainsi, les systèmes apprennent rapidement que les infirmières sont des femmes et les médecins des hommes. Ils n’ont pas appris ici un fait intrinsèque, mais un fait socialement construit. Lorsqu’un modèle présentant ce biais est ensuite placé dans un système qui l’utilise, alors il a tendance surtout à renforcer ce biais. Que se passe-t-il alors ? Quand vous visualisez des données contenant des préjugés, faut-il alors concevoir un outil pour les révéler ou pour les réifier ?

Pour boyd, quand on crée une visualisation, nous devons tenir compte de la façon dont ce travail peut-être déformé pour favoriser l’ignorance, pour favoriser des perceptions erronées… « La désinformation et l’information erronée ne sont pas simplement des attaques contre le discours politique ; ce sont des attaques épistémiques conçues pour saper toutes les formes de preuves », rappelle-t-elle (« L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », rappellait Ethan Zuckerman – @EthanZ – récemment, nous invitant à nous maintenir dans l’impuissance en nous battant pour la vérité plutôt que contre le pouvoir). Pour danah boyd, ceux qui produisent des visualisations de données doivent penser comme un pirate et réfléchir à la manière de sécuriser leur travail de visualisation pour qu’il ne devienne pas un outil de désinformation.

boyd explique qu’elle est tombée amoureuse de la visualisation de données quand elle a réalisé qu’elle pouvait aider à voir des informations complexes sous un meilleur jour, comme c’est le cas notamment des visualisations interactives. « Les visualisations sont des outils puissants. Elles nous permettent d’explorer les données, de donner un sens à ce que nos données peuvent cacher sur elles-mêmes. Elles nous permettent de communiquer des données, en révélant des aspects des données qui sont difficiles à saisir. Elles peuvent également être utilisées pour affirmer l’autorité, de manière à la fois productive et dangereuse. »

Les entreprises sont dans leur pire état lorsque la conscience interne qu’elles ont d’elles-mêmes est en désaccord maximal avec la perception externe de l’entreprise. C’est par exemple le cas actuellement de Facebook. Une bonne communication consiste à aligner ces perceptions internes et externes. Le soir de l’élection de 2016, le New York Times a présenté une visualisation absurde de la probabilité de victoire de chaque candidat. Elle était binaire et montrait que Hillary Clinton allait gagner. La victoire de Trump était dans la marge d’erreur pourtant, mais ce n’est pas ce qu’a montré la visualisation. Lorsqu’on construit un outil de visualisation, trop souvent, on souhaite le montrer dans toute sa splendeur. C’est oublier que les visualisations ont du pouvoir. Elles savent transmettre des informations et amplifier certaines interprétations. Elles sont des artefacts politiques comme les autres, conclut-elle en encourageant les concepteurs à une grande humilité et à une grande responsabilité.

Image : Quelques heures avant les résultats de l’élection de 2016, les prévisions en direct du New York Times annoncent que Hillary Clinton a 82 % de chance de devenir présidente des Etats-Unis.

Les données ou la démocratie ?

Prenons encore un peu plus de hauteur, sur les enjeux de la production de données et leurs limites.

Le contrôle, la circulation et le traitement des données sont au cœur des pratiques de nos sociétés. Mais elles restent profondément opaques : nous en savons bien moins sur ceux qui recueillent les données (et comment) qu’ils n’en savent sur nous, rappelle la professeure de droit de Yale, Amy Kapczynski (@akapczynski) en introduction d’un imposant dossier sur les données et la démocratie publié par l’Institut Knight de l’université de Columbia (@knightcolumbia). Reste que ces techniques mobilisées ne sont pas sans biais et erreurs qui reproduisent et ancrent des réalités sociales plus discriminantes qu’autre chose. « Notre position dans les réseaux numériques façonne profondément nos chances dans la vie, d’une manière que nous ne comprenons que très peu et qui soulève des préoccupations importantes pour nous tous. Les pratiques de notation et de tri ne constituent pas seulement nos identités et notre accès aux médias sociaux, mais façonnent également notre capacité à accéder au crédit, à l’emploi, au logement et aux soins médicaux. Les implications sont également structurelles. Une nouvelle « fracture du big data » est apparue : « Ceux qui ont accès aux données, à l’expertise et à la puissance de traitement sont positionnés pour s’engager dans des formes de tri de plus en plus sophistiquées qui peuvent être « de puissants moyens de créer et de renforcer des différences sociales à long terme [ou nouvellement générées]. » Les défis des technologies et des formes de pouvoir qu’elles encapsulent est un nouveau défi à nos démocraties qui reposent sur des formes de partage de pouvoir, qui semble moins évident quand celui-ci, structurellement, ne le permet pas, estime Kapczynski. La datafication de nos sociétés adresse de nouveaux défis à nos démocraties.

Image : l’article introductif de Amy Kapczynski pour le Knight Institute.

Tout d’abord, les données ne sont pas seulement un matériel à traiter, mais jouent un rôle dans le rapport au peuple qui est censé gouverner. Si les données alimentent depuis longtemps les démocraties modernes, la collecte et les traitements sont désormais au cœur de nos fonctionnements démocratiques, rappelle la professeure de droit. Reste à comprendre comment ces pratiques peuvent incarner et intégrer des valeurs démocratiques, alors qu’elles sont fondamentalement opaques et techniques. Elle évoque justement l’exemple du recensement – danah boyd signe d’ailleurs avec l’historien Dan Bouk (danbouk qui tient un blog sur la question du rencensement) un autre article sur la question du bureau du recensement -, et souligne que les arbitrages sur qui compter, qui peut utiliser les données… ont toujours fait l’objet de conflits. L’évolution des choix opérés est clairement liée à des contextes politiques et idéologiques rappelant qu’il n’y a pas de neutralité technique, même dans les chiffres. Même constat quand on regarde les questions électorales et leurs implications, qui vont du découpage des circonscriptions aux modalités de vote, jusqu’aux formes les plus sophistiquées de ciblages politiques… L’exploitation des données semble transformer et accélérer « la politique comme marché », amplifiant les hiérarchies sociales existantes. Pour les professeurs de droit Bertrall Ross (@bertrall_ross) et Douglas Spencer – dans un article qui n’a pas encore été publié par le Knight -, l’accès à des données de plus en plus granulaires sur les électeurs est corrélé à un moindre investissement politique dans la mobilisation des électeurs à faible revenu, parce que ces derniers ont des taux de vote plus faibles et sont donc considérés comme de mauvais investissements, explique Kapczynski. Pour Ross et Spencer, le risque est que la baisse de la participation électorale des plus pauvres s’autorenforce. Pire, soulignent-ils, à l’ère du microciblage et de l’accès différencié aux données, l’accès et l’ouverture aux données pourraient renforcer l’exclusion plus que la limiter, défaire les projets politiques solidaires… Un plus grand accès aux données ne se traduira pas automatiquement par un élargissement de la démocratie ou par un gouvernement plus fiable ou plus digne de confiance, expliquent-ils avec inquiétude.

Le second enjeu repose sur le défi qu’adresse le secret des calculs au projet démocratique. « Nous ne pouvons pas obtenir les informations dont nous avons besoin sur les données et les systèmes d’IA en insistant simplement sur une « transparence » passive et sans médiation. Si l’accès aux données doit servir des objectifs publics, il devra être actif, sensible aux structures de pouvoir sous-jacentes et, dans de nombreux cas, conditionnel. » L’optimisme sur le potentiel libérateur qu’on a connu sur l’open access et la transparence sans limites, est derrière nous. La transparence et l’ouverture ne peuvent pas, à elles seules, créer la responsabilité et l’équité !

L’accès aux données ne signifie pas non plus accéder à des informations fiables. La transparence relève d’une forme d’idéologie, comme l’expliquait David Pozen dans un article sur la dérive idéologique de la transparence (.pdf). L’utilisation des données qui relève de l’ouverture est profondément intriquée dans des structures de pouvoir, notamment au profit de ceux qui disposent d’accès à ces données et des capacités de traitement pour les faire parler et agir. L’ère algorithmique génère surtout de nouveaux obstacles à l’accès à l’information, notamment, à nouveau, pour ceux qui sont le plus démunis, rappelle très justement Amy Kapczynski. Face à la complexité des processus et systèmes à forte intensité de données, les profanes sont laissés sur le bord de la route. « La complexité et le secret de conception ne sont qu’un aspect du problème. À mesure que les processus technologiques et de gouvernance sont devenus plus complexes, les données ont fait l’objet d’une protection juridique plus forte. » L’accès aux processus est plus compliqué que jamais du fait des secrets sur les techniques de calcul et impacte jusqu’au secteur public qui utilise des systèmes privés. La protection de la vie privée et celles relatives à la liberté d’expression sont trop souvent mobilisées pour rejeter les demandes d’information et rendent souvent impossible ou difficile la régulation publique sur les décisions de filtrage qu’opèrent les plateformes. Pour John Bowers (@john_bowers_), Elaine Sedenberg (@Elaine_Said) et Jonathan Zittrain (@zittrain), il est essentiel que les plateformes ouvrent des accès aux chercheurs, expliquent-ils dans un article sur la responsabilité des plateformes. Dans un article sur les limitations de l’accès aux données introduites par le RGPD en Europe, Mathias Vermeulen (@mathver) montre que là aussi, les chercheurs peinent à accéder aux données. Hannah Bloch-Wehba (@HBWHBWHBW) souligne quant à elle les risques que les fournisseurs privés d’outils d’analyses risquent de renforcer l’opacité des services publics et préconise des réformes sur les pratiques de passation de marchés publics qui obligeraient les contractants à l’ouverture.

Enfin, la série s’interroge également sur la gouvernance des données. Pour l’instant, les données ont été « légalement construites comme faisant partie d’un « domaine public » ouvert à la capture » par ceux qui peuvent les capturer, comme l’explique Amy Kapczynski dans The law of informational Capitalism. Au final, cette conception des données produit une forme de consentement automatisé et des conditions d’utilisation qui ne protègent pas vraiment la vie privée. D’autres contributeurs encore, comme Julie Cohen (@julie17usc), Frank Pasquale (@FrankPasquale), Aziz Huq (@aziz_huq) et Mariano-Florentino Cuéllar avancent de nombreux arguments pour démontrer l’incapacité des approches individualisées et fondées sur le consentement à permettre aux utilisateurs de comprendre ce qu’il sera fait des données qu’ils consentent à partager. « Organiser un régime réglementaire autour des droits de contrôle individuels », note Julie Cohen, « implique une structure de gouvernance atomistique et post hoc. Les utilisateurs individuels qui affirment leurs préférences pour des options prédéfinies sur des tableaux de bord modulaires n’ont ni le pouvoir ni la capacité de modifier les réseaux invisibles et préconçus d’arrangements techniques et économiques dans le cadre desquels leurs données circulent entre de multiples parties. » « Les approches structurelles, qui ne sont pas basées sur le consentement ou organisées par des logiques de choix individuels, et les approches qui sont capables d’affirmer et de s’occuper des formes structurées du pouvoir du réseau, sont essentielles pour démocratiser notre ère de données intensives. » Pasquale et Cohen préconisent donc de s’écarter radicalement des modèles réglementaires existants.

Kiel Brennan-Marquez et Daniel Susser (@internetdaniel) soutiennent que l’émergence de la phase « plateforme » du capitalisme remet en question l’existence même des marchés tels que nous les connaissons, ainsi que leur relation avec la liberté et l’efficacité. La surveillance et l’influence comportementale rendues possibles par la techno soulignent qu’il est peu probable que les marchés améliorent la liberté.

Concrètement, les enjeux que pose l’imposant dossier coordonné par Amy Kapczynski souligne que les données vont transformer en profondeur nos démocraties. Quel type de démocratie créons-nous depuis les nouvelles technologies ? Est-ce vraiment celle que nous voulons ? Ce qui est sûr, c’est que nous ne répondrons pas à ces questions sans interroger profondément et précisément ce que modifie notre rapport aux données et aux traitements quand ils sont partout autour de nous.

Hubert Guillaud

Le journaliste philosophe David Weinberger (@dweinberger, blog) étudie depuis longtemps les effets d’internet sur la connaissance. Il est actuellement écrivain en résidence (« à temps partiel et temporaire ») chez Google (et il tient un autre blog sur le sujet de l’apprentissage automatisé, lié à sa résidence). Pour le magazine Aeon (@aeonmag), il tente d’expliquer l’impact que le Machine Learning risque d’avoir sur la connaissance et sur notre rapport au monde. Son dernier livre, Everyday Chaos : Technology, Complexity, and How We’re Thriving in a New World of Possibility (Le chaos quotidien : technologie, complexité et comment nous nous épanouissons dans un nouveau monde de possibilité, non traduit, Harvard Business Review Press, 2019), est également consacré à ce sujet.

« Dans ses bons jours, le monde ressemble à un chemin de fer bien géré : les choses se passent selon des principes, des lois, des règles et des généralisations que nous, humains, comprenons et pouvons appliquer à des cas particuliers. Nous pardonnons les retards occasionnels des trains, car ils sont les exceptions qui confirment la règle. Mais à d’autres moments, nous faisons l’expérience d’un monde qui ressemble à un carambolage sur une autoroute. Les mêmes lois s’y appliquent, mais il y a tellement de facteurs à prendre en compte qu’on ne peut prédire le prochain carambolage et que nous ne pouvons pas expliquer les « détails » de celui-ci – détails qui pourraient permettre pourtant à une voiture de s’en sortir avec une aile tordue, alors qu’une autre exploserait en boule de feu. »

Nous vivons dans un monde dans lequel les interdépendances entre d’innombrables particularités dépassent le pouvoir d’explications des règles qui les déterminent. D’un côté, on maudit un résultat, de l’autre, il nous émerveille.

L’apprentissage automatique pourrait révéler que le monde quotidien est plus accidentel que régi par des règles. « Si tel est le cas, c’est parce que l’apprentissage automatique tire son pouvoir épistémologique de son absence de généralisations que nous, les humains, pouvons comprendre ou appliquer ».

« L’opacité des systèmes d’apprentissage automatique soulève de sérieuses inquiétudes quant à leur fiabilité et leur tendance à la partialité. Mais le constat brut qu’ils fonctionnent pourrait nous amener à une nouvelle compréhension et expérience de ce qu’est le monde et de notre rôle dans celui-ci. »

Et le philosophe de rappeler, avec beaucoup de clarté et de pédagogie, que l’apprentissage automatique fonctionne d’une manière radicalement différente de la programmation traditionnelle. « Les programmes traditionnels sont en effet l’apothéose de la compréhension du monde et de l’expérience », puisqu’ils reposent sur des règles, à l’image de notre compréhension d’un chemin de fer bien géré. Dans un programme traditionnel qui reconnaît des chiffres écrits à la main, le programmeur doit indiquer à l’ordinateur que 1 s’écrit comme une ligne droite verticale, 8 avec deux cercles l’un sur l’autre… Cela peut fonctionner correctement, mais le programme risque de mal reconnaître un pourcentage élevé de chiffres écrits par des mains malhabiles dans un monde imparfait. Les modèles d’apprentissage automatiques sont au contraire des programmes écrits par des programmes qui apprennent à partir d’exemples. Pour créer un modèle d’apprentissage automatique capable de reconnaître des chiffres écrits à la main, les développeurs ne disent rien à la machine des formes de ces chiffres. Ils lui donnent des milliers d’exemples de chiffres manuscrits, chacun étiqueté correctement du nombre qu’ils représentent. Le système découvre alors des relations statistiques entre les pixels qui composent les images partageant une même étiquette. Une série de pixels en ligne plus ou moins verticale ajoute un poids statistique à l’image en tant que 1, et diminue la probabilité qu’il s’agisse d’un 3.

« Dans les applications réelles d’apprentissage automatique, le nombre de réponses possibles peut dépasser de loin les 10 chiffres, la quantité de données à prendre en compte est vraiment énorme et les corrélations entre les points de données sont si complexes que nous, les humains, sommes souvent incapables de les comprendre. Par exemple, le métabolisme humain est un ensemble incroyablement complexe d’interactions et d’effets interdépendants. Imaginez donc que l’on crée un système d’apprentissage automatique capable de prédire comment le système du corps humain va réagir à des causes complexes. » Ce modèle devient alors l’endroit où médecins, chercheurs, profanes et hypocondriaques se rendent pour poser des questions et jouer à « Et si ? ». Le modèle devient alors la source la plus importante de connaissances sur le corps humain, même si nous ne pouvons pas comprendre comment il produit ses résultats.

Le risque d’un monde inexplicable

Deux histoires sont alors possibles. La première affirme que l’inexplicabilité est un inconvénient avec lequel nous devons apprendre à vivre afin d’obtenir et vivre avec les résultats utiles et probabilistes que l’apprentissage automatique génère. La seconde affirme que l’inexplicabilité n’est pas un inconvénient, mais une vérité ! Les outils d’apprentissage automatique fonctionnent parce qu’ils sont meilleurs que nous pour lire un monde trop complexe pour nous. Le succès de cette technologie nous apprend que le monde est la véritable boîte noire.

L’apprentissage automatique se déploie partout. Il est certes imparfait – notamment du fait qu’il peut amplifier les préjugés de nos sociétés -, mais nous continuons à l’utiliser quand même du fait des résultats qu’il génère. Le fait que l’apprentissage automatique réalise des exploits sans appliquer de règles est surprenant, voire gênant, pour nous, humains, tant nous avons une préférence pour les règles plutôt que pour les détails. Programmer un système pour jouer au jeu de Go sans qu’on lui indique les règles du jeu, mais en lui donnant des centaines de millions de mouvements à analyser semble assez contre-intuitif. Reste que l’apprentissage automatique est devenu bien meilleur que nous pour jouer au Go. Le processus de l’apprentissage automatique ne part pas de généralisations et ne produit pas de généralisations et ne sait pas produire d’interprétation généralisante. Il ne sait que traiter un cas par rapport à des millions d’autres, en généralisant à partir de millions de données. Ainsi, si un identificateur d’écriture n’a pas généralisé ce qu’il a appris des échantillons qui lui ont été donnés, il échouera lamentablement à catégoriser les caractères qu’il n’a jamais vus auparavant. Son incapacité à généraliser en fait un modèle inutile. Mais sa capacité à généraliser dépend toujours d’exemples spécifiques.

Les généralisations que produisent les modèles d’apprentissage automatique sont très différentes des généralisations que nous utilisons, nous humains, pour expliquer des particularités. « Nous aimons les généralisations traditionnelles, parce que (1) nous pouvons les comprendre ; (2) elles permettent des conclusions déductives ; et (3) nous pouvons les appliquer à des cas particuliers. Or, les généralisations produites par l’apprentissage automatique (1) ne sont pas toujours compréhensibles ; (2) sont statistiques, probabilistes et principalement inductives ; et (3) littéralement et pratiquement, nous ne pouvons généralement pas appliquer les généralisations qu’il produit, sauf en exécutant le modèle d’apprentissage automatique. De plus, les généralisations d’un modèle de machine learning peuvent être étrangement particulières : un motif de veines dans un scanner rétinien peut annoncer un début d’arthrite, mais seulement s’il y a 50 autres facteurs avec des valeurs spécifiques dans le dossier médical global et ces 50 facteurs peuvent varier en fonction de leur interrelation. C’est comme si vous vous demandiez comment votre voiture a évité de graves dommages lors de cette collision entre plusieurs voitures : la voiture a dû surmonter tellement de « si », de « et » et de « ou » que l’événement ne se réduit pas à une règle compréhensible que vous pourriez exprimer ou appliquer proprement à une autre situation. Ou encore, c’est comme les indices d’un meurtre mystérieux qui ne désignent le tueur que lorsqu’ils sont pris ensemble, d’une manière qui ne peut être généralisée et appliquée à d’autres affaires de meurtre. »

« Notre rencontre avec les modélisations basées sur l’apprentissage automatique ne nie pas l’existence de généralisations, de lois ou de principes. Elle nie qu’elles soient suffisantes pour comprendre ce qu’il se passe dans un univers aussi complexe que le nôtre. Les particularités contingentes, chacune affectant toutes les autres, écrasent le pouvoir explicatif des règles et le feraient même si nous connaissions toutes les règles. »

Jusqu’à présent, les lois de la science ont répondu à nos besoins. Ce que nous connaissons des lois de la gravité nous permet de procéder aux calculs nécessaires. Nous n’avons pas besoin d’une connaissance exhaustive et impossible de l’univers pour cela. Les lois et règles de la physique nous permettent de simplifier suffisamment le monde pour le comprendre, le prévoir, voire le contrôler, sans avoir besoin de nous intéresser au chaos des particularités et de leurs relations entre elles. Avec l’apprentissage automatique, nous disposons désormais d’une technologie de prédiction et de contrôle qui découle directement des innombrables interactions chaotiques simultanées de la totalité. Cette technologie a pourtant un écueil : si elle nous donne une maîtrise accrue, elle ne nous apporte pas la compréhension. Mieux, son succès même attire l’attention justement sur ce qui échappe à notre compréhension.

Pour David Weinberger, « l’apprentissage automatique pourrait briser l’engouement de l’Occident pour la certitude comme signe de la connaissance ». Comme les résultats de l’apprentissage automatique sont probabilistes, la certitude totale des résultats est bien souvent une cause de scepticisme à l’égard d’un modèle. Par nature, les résultats probabilistes de l’apprentissage automatique comportent un certain degré d’inexactitude. Nous avons désormais des systèmes puissants capables de tirer des conclusions d’innombrables détails interconnectés, même si leurs modalités nous restent impénétrables. À terme, le plus réel ne sera peut-être plus le plus immuable, le plus général, le plus connaissable… Le réel ne sera plus alors l’événement le plus simple, mais bien sa complexité même.

Le fossé de la compréhension

En 2019, à la sortie du livre, Weinberger développait la même idée sur son blog sur Medium. Pour lui, l’apprentissage automatique élargit le fossé entre la connaissance et sa compréhension. Longtemps nous avons pensé qui si nous travaillions assez durement, si nous pensions assez clairement, l’univers nous livrera ses secrets, car il est connaissable… « Mais avec l’apprentissage automatique, nous commençons à accepter que la véritable complexité du monde nous dépasse et dépasse de loin les lois et les modèles que nous concevons pour l’expliquer » Or, rappelle-t-il, nous nous considérons comme des créatures créées par Dieu et dotées de la capacité à recevoir la révélation de la vérité. Depuis la Grèce antique, nous nous définissons comme les animaux rationnels capables de voir la logique et l’ordre sous l’apparent chaos du monde. L’apprentissage automatique nous invite à remiser cette idée fondamentale. Nous ne sommes peut-être pas aussi bien adaptés à la rationalité de notre univers que nous le pensions. « L’évolution nous a donné des esprits réglés pour la survie et seulement accessoirement pour la vérité. » Pour Weinberger, nous sommes confrontés à une désillusion, à une compréhension nouvelle de nos limites, mais désormais dotés d’un pouvoir pour les dépasser. « Plutôt que de devoir toujours ramener notre monde à une taille que nous pouvons prévoir, contrôler et avec laquelle nous nous sentons à l’aise, nous commençons à élaborer des stratégies qui tiennent compte de la complexité de notre monde. »

Weinberger évoque ainsi l’utilisation des tests A/B (voir également ce que nous disions du potentiel et des limites de l’A/B testing). Il rappelle que lors de la première campagne présidentielle d’Obama, ses équipes n’ont cessé d’utiliser ces techniques pour améliorer l’engagement des visiteurs de son site web. Ses équipes ne savaient pas pourquoi certaines améliorations fonctionnaient, mais elles n’en avaient pas besoin. Il suffisait de le mesurer et de le constater. En fait, nombre de résultats de tests A/B ne s’expliquent pas, notamment quand ils montrent qu’un fond vert a plus d’effet qu’un fond bleu. Nous n’avons pas toujours le cadre mental qui explique pourquoi une version d’une publicité fonctionne mieux qu’une autre par exemple. Il est probable que les explications soient liées à des contextes précis, à des préférences multiples, fugaces et très spécifiques. « Les raisons peuvent être aussi variées que le monde lui-même ». « Pensez au lancer d’un ballon de plage. Vous vous attendez à ce que le ballon fasse un arc de cercle en se déplaçant dans la direction générale dans laquelle vous l’avez lancé, car notre modèle mental – l’ensemble des règles qui régissent la façon dont nous pensons que les choses interagissent – tient compte de la gravité et de l’élan. Si la balle va dans une autre direction, on ne rejette pas le modèle. Vous supposez plutôt que vous avez manqué un élément de la situation ; peut-être y avait-il un coup de vent, ou que votre main a glissé ».

« C’est précisément ce que nous ne faisons pas pour les tests A/B. Nous n’avons pas besoin de savoir pourquoi. » Nous n’avons pas besoin de savoir pourquoi une photo en noir et blanc, un fond vert plutôt que bleu ou une étiquette « En savoir plus » ont augmenté les dons à une campagne particulière. Nous n’avons pas même à savoir si les leçons que nous avons tirées de la publicité d’un démocrate s’avèrent ne pas fonctionner pour son adversaire républicain – et il est fort possible que ce ne soit pas le cas – ce n’est pas grave non plus, car il est assez peu coûteux d’effectuer d’innombrables tests A/B.

« Le test A/B n’est qu’un exemple de technique qui nous montre discrètement que les principes, les lois et les généralisations ne sont pas aussi importants que nous le pensions. » Au final, la complexité démontre une forme d’efficacité.

L’apprentissage automatique et le test A/B ont trois choses en commun : elles sont énormes, elles sont connectées, elles sont complexes. Leur échelle – leur immensité – leur permet d’atteindre un niveau de détail inégalé. L’un comme l’autre – contrairement à nous – se nourrissent de détails et d’unicité. La connectivité est également essentielle, notamment parce qu’elle est à l’origine même de leur complexité. « Les connexions entre les très nombreux éléments peuvent parfois conduire à des chaînes d’événements qui se terminent très loin de leur point de départ. D’infimes différences peuvent faire prendre à ces systèmes des virages inattendus. »

« Mais, nous n’utilisons pas ces technologies parce qu’elles sont énormes, connectées et complexes. Nous les utilisons parce qu’elles fonctionnent. »

L’efficacité des systèmes : une appréciation contextuelle

Cette efficacité intrinsèque cependant semble une limite que ces deux tribunes n’interrogent pas. Une efficacité pour quoi et pour qui ? Nous avons pour notre part souvent pointé les limites tautologiques de l’efficacité (par exemple, dans « Qu’est-ce que l’informatique optimise ? »).

Pointons donc vers une derrière tribune de David Weinberger qui revient sur les erreurs de l’apprentissage automatique. Cette efficacité des systèmes, c’est nous qui devons la régler, la borner, souligne-t-il.

De nombreux systèmes d’apprentissage automatique sont des classificateurs. Ils trient et classent des objets en fonction de leurs résultats. « Cette photo doit-elle être placée dans le panier des photos de plage ou non ? Cette tache sombre sur un scanner médical doit-elle être classée comme une excroissance cancéreuse ou autre chose ? » Les machines prennent des décisions sur la base de l’examen de milliers voire de millions d’exemples qui ont déjà été classés de manières fiables, entraînés. Reste que tous les systèmes font des erreurs de classements. « Un classificateur d’images pourrait penser que la photo d’un désert est une photo de plage. »

Les classificateurs font deux grands types d’erreurs. « Un classificateur d’images conçu simplement pour identifier les photos de plages peut, par exemple, placer une image du Sahara dans la catégorie « Plage » ou placer une image de plage dans la catégorie « Pas une plage ». » Les premières sont des « fausses alarmes » (les spécialistes parlent de faux positifs) et les secondes sont des « cibles manquées » (les spécialistes parlent de faux négatifs). Les taux de fausses alarmes et de cibles manquées sont importants. Dans le cas d’un scanner corporel au contrôle de sécurité d’un aéroport, celui-ci déclenche souvent des alarmes de sécurité alors que les personnes ne sont pas une menace pour la sécurité. Il ne s’agit pas nécessairement de mauvais réglages : les scanners sont réglés de manière à générer assez fréquemment de fausses alarmes. Ils sont réglés pour privilégier les fausses alarmes plutôt que les cibles manquées. L’exemple montre que fausses alarmes et cibles manquées sont interreliées et que les choix que l’on fait peser à un système dépendent des objectifs qu’on en attend, du contexte de son déploiement.

En ce sens, l’efficacité dépend donc du contexte et des réglages auxquels on procède. Fausses alarmes et cibles manquées peuvent être coûteuses, à la fois pour celui qui opère le système, comme pour ceux qui sont opérés par le système. Ces ajustements entre fausses alarmes et cibles manquées amènent à un autre niveau d’erreur, explique Weinberger : le niveau de confiance du système. Le choix de ces ajustements, la machine, elle ne peut pas vraiment y répondre. Ce sont donc les concepteurs qui décident de ce qu’ils attendent du système, des compromis à faire pour obtenir un résultat plus ou moins fiable, efficace. C’est ici que les discussions et les conversations difficiles ont lieu. « L’une des conséquences les plus utiles de l’apprentissage automatique au niveau social n’est peut-être pas seulement qu’il nous oblige, nous les humains, à réfléchir sérieusement et à voix haute à ces questions, mais que les conversations requises reconnaissent implicitement que nous ne pourrons jamais échapper entièrement à l’erreur. Au mieux, nous pouvons décider comment nous tromper de manière à atteindre nos objectifs et à traiter tout le monde aussi équitablement que possible. » Au mieux !

Pour le dire simplement, malgré ses qualités, ses performances, l’apprentissage automatique ne nous enlève pas, nous humains, du dilemme qu’il construit. Nous avons encore accès aux paramètres. C’est à nous de les fixer, c’est-à-dire de les préciser, de les réparer, de les borner ! Et donc de dire où ces systèmes peuvent être utiles et où ils ne devraient pas régir le monde.

Hubert Guillaud

« Si vous n’avez pas accès à votre score ou si vous ne savez pas qu’un score est calculé, quelle possibilité d’action vous reste-t-il ? » Aucune, explique une excellente vidéo du Data Justice Lab (@DataJusticeLab) – et on pourrait d’ailleurs ajouter, que savoir qu’on est calculé ou comment ne vous donne pas pour autant de possibilité d’actions, hélas !

Le problème de la multiplication des « scores de données » comme outils de gouvernance des administrés, explique le laboratoire de recherche de l’Ecole de journalisme de l’université de Cardiff, c’est que les citoyens ont très peu d’informations sur le déploiement de ces systèmes de scoring : ce qui empêche, pour le moment, tout débat public sur leur utilité et leurs biais. L’autre problème, bien sûr, de ces nouvelles modalités de gouvernance des usagers par les services publics (mais également par des systèmes privés), interroge les indicateurs produits (voir notamment notre article « Peut-on limiter l’extension de la « société de la notation » ?) Qu’est-ce qu’on mesure depuis ces scores ? Quelles caractéristiques sont utilisées pour déterminer des comportements ou des risques ? Et comment ces scores déterminent-ils l’affectation de ressources relative aux risques calculés ? Le problème, bien sûr, c’est que ces scores prennent bien plus en compte des facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales, ils prennent plus facilement en compte l’absentéisme des élèves que les problèmes de désorganisation à l’école…

Ces systèmes portent toujours plus d’attention sur les individus que sur les causes structurelles des problèmes sociaux, dénonce avec justesse le Data Justice Lab. Le risque, bien sûr, c’est de produire une modification profonde des relations des organismes publics avec les citoyens ou des entreprises avec leurs employés en accusant toujours les comportements individuels plutôt que les défaillances structurelles ou organisationnelles !

Scores de données : la responsabilité individuelle plutôt que les défaillances structurelles

Dans un rapport (.pdf) (qui date de décembre 2018) coordonné par Lina Dencik (@LinaDencik), Arne Hintz (@arne_hz), Joanna Redden et Harry Warne, le Data Justice Lab s’est intéressé en profondeur à l’avènement de ces « scores de données » dans les services publics du Royaume-Uni. Le rapport livre plusieurs études de cas (qui portent sur des systèmes liés à la fraude sociale, à la santé, à la protection de l’enfance, aux services sociaux comme à la police), mais souligne surtout la grande carence d’informations sur les déploiements de ces systèmes, que ce soit sur les objectifs des systèmes, les données utilisées, tout comme sur les résultats produits.

Le Data Justice Lab alerte également sur l’étendue de la collecte et du partage de données opérés par ces projets, leur manque criant de transparence, le fait qu’ils soient souvent produits sans consentement des publics cibles, sans garde-fous éthiques, sans garanties ni modalités de contestation, sans association des usagers… et surtout bien sûr, le fait qu’étiqueter quelqu’un à risque consiste essentiellement à cibler et stigmatiser les plus fragiles.

L’analyse de données automatisée est promue dans un contexte économique de baisse budgétaire, de maîtrise des finances publiques et d’amélioration des services publics. Mais, l’introduction de l’analyse de données dans les services publics conduit surtout à réduire les soins, les prestations sociales et les droits, sans que les personnes concernées n’aient la possibilité de comprendre ou contester ces mesures, comme l’ont montré les travaux de Virginia Eubanks. Ces analyses de données reposent sur des pratiques de catégorisation, de segmentation, d’évaluation et de classement des populations en fonction de divers critères dans le but d’allouer les services en conséquence de ces critères et d’identifier des risques ou comportements spécifiques. Le scoring, c’est-à-dire le résultat d’analyse de ces critères, produit des indicateurs qui permettent de rendre les catégorisations effectives. Le scoring est utilisé depuis longtemps dans le secteur financier et le crédit où on utilise non seulement des données « socialement orientées » mais également, de plus en plus, des données comportementales (usages des téléphones mobiles par exemple) ou sociales (analyse des réseaux relationnels par exemple). Ces scores se sont ensuite répandus dans les services publics, notamment dans le secteur éducatif aux États-Unis, dans la mesure de risques juridiques, les outils de contrôle aux frontières, dans la santé et les politiques sociales liées à l’enfance et la famille. Au Royaume-Uni, l’analyse et l’utilisation des scores sont, pour l’instant encore, peu documentées. La Commission de la science et de la technologie de la Chambre des communes dans un rapport (.pdf) recommande au gouvernement de produire, maintenir et publier une liste des algorithmes utilisés par les autorités, notamment là où leur impact social est majeur. Dans les faits, il semble que nous soyons encore assez loin.

Dans leur étude, le Data Justice Lab revient sur plusieurs outils déployés en Grande-Bretagne. À défaut de les observer tous, intéressons-nous à l’un d’entre eux.

À Bristol, le centre d’analyse intégré vise à permettre aux services municipaux de traiter les familles dans leur ensemble, plutôt que chaque service indépendamment. Le programme Troubled Families, lancé en 2011, vise à aider les familles en proie à d’innombrables difficultés… Pour cela, le centre a construit une base de données (Think Family) avec des informations provenant de 35 ensembles de données concernant 54 000 familles. Le but : offrir une compréhension « holistique » des familles confrontées aux problèmes sociaux.

Depuis la création de cet outil d’agrégation de données, la ville a déployé des outils de modélisation prédictive… Parmi les données collectées, il y a des informations de police, des informations scolaires (sur les absences et les exclusions notamment), des informations provenant de l’assistance sociale, de santé… Le centre d’analyse achète également des données de partenaires privés (sur les évolutions socio-démographiques des quartiers notamment). Le centre produit un score de risque pour chaque jeune de sa base de données, basé sur des données d’entraînements provenant de seulement 31 victimes confirmées des années précédentes.

Le rapport souligne que le modèle repose essentiellement sur des données négatives (fréquentation scolaire, violence domestique…) excluant des données contextuelles (par exemple, le fait qu’un enfant soit actif dans des associations, même si sa fréquentation scolaire est plus problématique). Quelque 450 travailleurs sociaux ont accès au système. Il pointe également que les résultats de ce modèle ne dispensent pas de l’avis de professionnels, mais visent surtout à permettre de comprendre les difficultés à venir pour favoriser des interventions en amont.

Le système n’est pourtant pas si optimal qu’il le promet. Par exemple, l’équipe du centre n’a pas la possibilité de corriger les données qui proviennent d’autres services, même quand elles posent problèmes. L’autre enjeu est que le système influe sur les pratiques de travail des travailleurs sociaux, notamment sur le rapport aux enfants que les scores produisent en créant des risques de mauvaise interprétation… Le vrai problème, c’est bien souvent la sur-réaction aux données, comme l’expliquait Ben Green. L’autre difficulté, c’est que le système génère ses propres boucles de rétroactions. Par exemple, un travailleur social peut avoir tendance à prévenir la police du risque élevé affecté à un enfant, mais dans le modèle lui-même, le contact avec la police est lui-même un facteur qui élève le risque ! Exemple typique de boucles de rétroactions où les scores s’alimentent les uns les autres, au risque de produire des indices encore plus problématiques qu’ils ne sont ! Enfin, rappellent les auteurs du rapport, un système de ce type oublie le travail préventif et proactif, pour favoriser des réactions à des seuils et niveaux de risques. Il concentre le travail sur certains cas, au détriment des autres. Dans un contexte d’austérité et de ressources limitées, le risque est de ne travailler qu’à partir de certains scores, qu’à certains niveaux de vulnérabilité, que depuis des alertes… Enfin, bien sûr, si le système peut identifier des besoins, reste à savoir si les structures d’aides à l’enfance peuvent y répondre ! Le risque, bien sûr, c’est qu’à mesure qu’elles perdent en moyens, les seuils d’alertes s’élèvent… Enfin, comme le pointait une étude que nous avions relayée sur les systèmes d’identification automatisés des enfants à risques par les services à l’enfance britanniques, aucun de ces systèmes de prédiction des risques ne donne de résultats probants.

Le rapport consacre également plusieurs pages au rôle que jouent des ensembles de données privées dans ces projets à destination de services publics. Il détaille notamment le cas d’Experian, une agence d’évaluation du crédit à la consommation qui dispose d’un outil de segmentation géodémographique – moteur de la personnalisation publicitaire, comme l’expliquait Tim Wu dans son livre, Les marchands d’attention – lui permettant de trier la population en segments. Mais c’est également le cas d’entreprises comme Xantura, Callcredit et Capita qui fournissent des services de profilage, de vérification d’identité ou d’évaluation des risques. Né dans les années 60, le développement des techniques de géodémographie a été financé par le ministère américain du Logement pour parvenir à mieux cibler les subventions au logement, avant d’être étendu à des usages plus commerciaux. Dans les années 80, ces travaux ont été adaptés au Royaume-Uni par Richard Webber afin de produire une classification des quartiers (Webber a fondé la division micromarketing d’Experian). Pour ses promoteurs, la géodémographie consiste à dire que l’endroit où l’on vit compte pour comprendre les valeurs, choix et comportements des consommateurs. Elle utilise de nombreuses données pour placer chaque citoyen dans une catégorie en fonction du quartier où il vit. Dans le secteur public, les autorités publiques, et surtout locales, intègrent de plus en plus souvent des données géodémographiques pour affiner les leurs. Mosaic, le produit de classement géodémographique d’Experian, classe les individus en 15 grands groupes et 66 types. Reste que si les services utilisent, les chercheurs soulignent qu’on ne sait pas grand-chose des données mobilisées par ces entreprises, ni les méthodes d’analyses qu’elles y appliquent. Experian estime détenir des informations sur 49 millions des 63 millions d’adultes du Royaume-Uni… et sait produire des taux de correspondance à 50 % avec Facebook et 35 % pour Twitter.

Vers des systèmes sans évaluation qui transforment les problèmes sociaux en problèmes individuels

La dernière partie du rapport donne la parole à différents groupes de la société civile que les auteurs ont rencontré, des associations britanniques qui travaillent dans le domaine des droits numériques, des droits sociaux, de l’éducation en les interrogeant sur leur compréhension de ces systèmes (comme Defend Council Housing, Disabled People Against Cuts, Netpol, Big Brother Watch, Open Rights Group, Involve, Liberty,British Association of Social Workers). Pour l’essentiel, celles-ci se montrent inquiètes de ces évolutions, à la fois en ce qui concerne l’étendue de la collecte, du partage, le risque de partialité et de discrimination, la possibilité de ciblage, de stigmatisation, de stéréotypie de groupes, le manque de transparence, de consentement, d’information… L’inquiétude porte notamment sur une forme de « maximisation des données » qui consiste à collecter toujours plus de données et à accroître leur partage sans grandes limites, quel que soit le caractère sensible des données. Or, nombreux rappellent que la minimisation des données est essentielle pour répondre à cette tendance. Les personnes calculées et les associations s’inquiètent de cette fluidification des données : les communautés de migrants par exemple s’inquiètent de voir leurs statuts d’immigration divulgués quand ils se rendent à l’hôpital et que celui-ci puisse être utilisé pour les exclure des soins ou les dénoncer aux services sociaux ou de police… et ont donc tendance à renoncer à se rendre dans certains services publics. Autres constats que dressent les associations, celle de la transformation du travail, notamment des travailleurs sociaux, qui passent de plus en plus de temps à collecter et renseigner les données. Les systèmes transforment la façon dont les problèmes et les solutions sont définis. Or, bien souvent, les systèmes mis en place pensent que les données sont la solution, plutôt que de s’interroger sur pourquoi et comment elles peuvent y contribuer. Beaucoup d’acteurs sont préoccupés par cette collecte extensive et plus encore par la situation de monopole qu’elle crée, renforçant la nature asymétrique du pouvoir entre les autorités et les administrés. Bien sûr, les acteurs de la société civile sont très inquiets des effets de stigmatisation, de ciblage, de stéréotypie et de discrimination que renforcent ces outils. « Les personnes bénéficiant de l’aide sociale ont toujours été particulièrement visées (par le contrôle social) et cela semble s’aggraver », estime Big Brother Watch. De quel droit étiquetons-nous quelqu’un à risque uniquement parce qu’il appartient à une famille pauvre ?, s’inquiète l’Open Rights Group. Sans compter que l’étiquetage a tendance à être durable si ce n’est permanent. Tous s’inquiètent du manque de transparence des systèmes, des critères, des calculs. Quant au consentement, il est bien souvent arraché sans que les familles n’en saisissent les implications ou ne puissent en fait s’y opposer. Tous les groupes de la société civile souhaitent une meilleure réglementation, mais peinent à en formuler les règles qui seraient nécessaires. Pour tous pourtant, ces systèmes sont politiques. L’exploitation des données est profondément liée à l’austérité. Le but n’est pas de les utiliser au service des gens, mais bien de construire une approche très technologique de la politique dans une forme d’hypersurveillance des plus en difficultés.

Dans leurs conclusions, les chercheurs soulignent la difficulté à évaluer les différents systèmes mis en place, du fait qu’aucune procédure standard n’est mise en œuvre et que leurs usages mêmes peuvent être très différents d’un acteur l’autre. Certains s’en servent pour maximiser l’information, d’autres pour calculer de nouvelles informations. Reste que tous ces systèmes se mettent en place dans des contextes d’austérité, c’est-à-dire visent à utiliser les données pour mieux définir les ressources, mais sans que ces enjeux d’affectation des ressources ne soient posés en regard du déploiement de ces systèmes de calcul. Nous entrons dans des services « riches en données, mais pauvres en ressources », comme s’en inquiétait Dan McQuillan pour Open Democracy. Si ces systèmes laissent souvent à ceux qui y accèdent des modalités d’appréciation, la limitation des ressources et la déqualification des personnels font que ces résultats limitent considérablement leur appréciation. Pour les calculés en tout cas, la manière (et les raisons) de mise en œuvre de ces systèmes reste insaisissable. Le manque de transparence demeure un problème majeur. Quand, il y a quelques modalités d’organisation de la transparence, celles-ci sont insuffisantes pour remédier à l’asymétrie de pouvoir entre les institutions et les citoyens… En tout cas, elle ne conduit pas à des possibilités de recours efficaces.

Pour les chercheurs, il est plus que nécessaire d’ouvrir ces systèmes à des audits citoyens et à des formes de participation du public. À nouveau, nombre de ces systèmes visent d’une manière disproportionnée une partie particulière de la population : ceux qui font appel aux services sociaux. Pour les chercheurs, il est nécessaire de mieux équilibrer l’utilisation des données et notamment mieux comprendre les situations où elles ne sont pas nécessaires et quand elles risquent de produire des utilisations qui vont au-delà de leurs objectifs, même ceux qui semblent vertueux, comme une vision plus intégrée des bénéficiaires. Enfin, il y a une hypothèse sous-jacente aux développements de ces systèmes : celle que l’information conduit à agir, mais sans que les actions produites par les scores soient elles-mêmes définies ! Produisent-elles des mesures plus préventives ou plus punitives ? Comment ces actions sont-elles évaluées et décidées ? Quels effets produit l’étiquetage des populations ? Et plus encore, quels effets produisent ces étiquetages de risque dans des chaînes de systèmes ?… Il est aussi nécessaire d’observer le réductionnisme que ces données produisent au détriment de la connaissance sociale et réelle des personnes, permettant à des opérateurs d’agir sans qu’ils aient la connaissance des contextes particuliers des personnes cibles. Enfin, bien sûr, ces systèmes privilégient des calculs et des réponses individuelles sans que soit interrogée la démission des réponses collectives ou structurelles que ces réponses atomisées induisent. Par exemple, nous courons le risque de mesurer l’impact des absences scolaires, mais pas les lacunes d’un accompagnement scolaire défaillant, car non financé. Ces systèmes renforcent finalement les corrélations sur les causalités et transforment les problèmes sociaux en problèmes toujours plus individuels. Les individus ne sont plus vus comme des participants à la société, mais uniquement comme des risques. Pire, bien souvent ces systèmes disqualifient les professionnels qui sont en première ligne avec ces publics… comme si finalement les données pouvaient remplacer leurs évaluations, leurs expériences, leurs compréhensions des contextes réels des familles.

Illustrons ces constats d’un autre exemple pour nous aider à comprendre. De l’autre côté de l’Atlantique, le toujours excellent Data & Society (@datasociety) vient lui de publier un rapport sur la surveillance des personnels de soins à domicile. En effet, l’État fédéral a lancé une application mobile de vérification électronique des visites (EVV) permettant de surveiller à la fois les personnels de soins et ceux qui bénéficient de leurs aides, bien souvent deux populations l’une comme l’autre marginalisées. Pour la chercheuse Alexandra Mateescu (@cariatidaa), ces systèmes de contrôle, très intrusifs, privilégient des formes de normalisation et d’efficacité au détriment des expériences vécues et des réalités de terrain. Ces applications enregistrent les heures et les déplacements des personnels de soin à domicile. L’application de suivi a rendu le travail des travailleurs du soin plus difficile et a tendu les relations entre les travailleurs et les bénéficiaires, par exemple en informant les aidants que les fonds des bénéficiaires étaient insuffisants alors qu’ils ne l’étaient pas. Ces systèmes exigent des validations permanentes et contraignantes, plusieurs fois par jour. Déployés au prétexte de fraudes – sans que leurs niveaux ne soient jamais évalués -, ces systèmes de contrôle produisent des erreurs, au détriment de ceux qui prodiguent le soin comme de leurs patients, expliquaient Virginia Eubanks et Alexandra Mateescu cet été dans une tribune pour The Guardian. Dotée de fonctions de géolocalisation (pour vérifier que les travailleurs à domicile se rendent bien au domicile des bénéficiaires), l’application signale par exemple automatiquement le fait de s’éloigner du domicile des bénéficiaires, comme pour les emmener à un rendez-vous chez le médecin, et demande de le justifier. Au final, nombre de bénéficiaires ne souhaitent plus bouger de chez eux, de peur que ces signalements ne leur fassent perdre les prestations de soins à domicile dont ils bénéficient. Une surveillance qui risque de miner le droit à l’autonomie des personnes dépendantes, rappellent les chercheuses. Le système ne surveille finalement pas seulement le personnel qui dispense des soins, mais également ceux qui en bénéficient, explique une association qui mène campagne contre la généralisation du système. Le système a également produit des retards de paiement généralisés. Rappelons au passage que l’Arkansas, où ont eu lieu les premiers déploiements de ce système, avait déjà été épinglé pour des problèmes relatifs à des systèmes d’évaluation des besoins des personnes handicapées en 2016 (voir notre article « L’État automatisé au risque d’une crise de légitimité »). Pourtant, tous les systèmes de surveillance des personnels qui fournissent des soins à domicile ne sont pas conçus de la même manière. En Californie, le syndicat des travailleurs domestiques et l’organisation pour les droits des personnes handicapées ont collaboré pour produire un système qui ne recueille pas de données de déplacements ni n’enregistre les heures passées en temps réel. En Virginie, la géolocalisation est facultative et exempte les aidants familiaux du système. En étant conçus sans prendre en compte les besoins réels des personnes, en produisant du surcontrôle, ces systèmes produisent surtout du mépris envers les populations qu’ils sont censés adresser.

Le risque, bien sûr, c’est que ces formes d’hypersurveillance se démultiplient. L’association Coworker (@teamcoworker) a récemment publié un rapport (.pdf) (et une base de données des plateformes et applications de surveillance au travail) qui revient sur l’explosion des outils d’analyse et de gestion des travailleurs. Des outils qui sapent et contournent les réglementations en matière de travail et qui ne sont pas transparents sur les données qu’ils collectent et la manière dont ils en tirent profit. Ce secteur des « Little Tech », comme les appelle CoWorker – mais qui relèvent bien plus du « bossware » – qui collecte des données sur les travailleurs, approfondit et accélère une forme d’ubérisation généralisée de l’emploi. Ce secteur met concrètement en œuvre l’infrastructure qui fait tourner l’économie, les lieux de travail et les marchés de l’emploi. Cette Little Tech qui outille notamment l’économie des petits boulots, produit des technologies d’amélioration de la productivité, en exploitant des données sensibles, sans rémunérer davantage les travailleurs, et bien souvent, en portant atteinte à leur sécurité, et sans prévenir des formes de discriminations. « L’industrie technologique n’est pas puissante à cause des produits qu’elle développe, mais parce qu’elle restructure fondamentalement les marchés du travail (…) par une surveillance sans contrôle ».

Hubert Guillaud

MAJ : Eve Zellickson (@zel_eve) pour Points, le magazine de Data & Society revient sur le vol des pourboires par les plateformes de l’économie des petits boulots. Amazon a été condamné à payer 61,7 millions de dollars pour vol de pourboire à ses chauffeurs ! Les chauffeurs ont fini par remarquer que les pourboires étaient à la baisse et s’en sont plaint. Amazon leur a répondu individuellement en soutenant qu’ils recevaient 100 % des pourboires, alors que l’entreprise les utilisait en partie pour améliorer le salaire de base que gère l’application. Zellickson note que les chauffeurs sont habitués à être en relation avec un support peu réactif face aux problèmes qu’ils rencontrent, hormis pour la livraison elle-même. Le problème de l’absence de communication réciproque et de processus clair de résolutions de conflits, dans ces applications, est au cœur de bien des problèmes, souligne la chercheuse. Signalons que ce problème ne touche pas qu’Amazon.

Suite de notre tentative à saisir les transformations en cours du système de santé en regardant les enjeux que posent l’exploitation des données de santé.

S’affranchir de notre consentement ?

La confidentialité des données de santé est toujours critique, rappelions-nous. Le problème ou le risque, c’est que pour que les acteurs de la santé puissent mieux les utiliser, nous soyons demain confrontés à un « consentement présumé »… C’est-à-dire, comme c’est devenu la règle pour le don d’organe, que l’on passe d’une règle par défaut où il fallait consentir au don d’organe, à une règle par défaut où celui-ci est consenti : c’est notre refus qui doit être explicitement formulé. Ce « nudge » consiste à profiter de l’inertie de nos comportements comme de l’absence ou de la carence d’information. C’est d’ailleurs ce qui est annoncé pour le lancement de l’Espace de santé numérique qui sera ouvert à l’ensemble des Français au premier janvier 2022. Cet espace de stockage de documents médicaux entre patients et médecins sera créé systématiquement par défaut (si vous souhaitez le refuser, il faudra le signaler dans un temps relativement court). Le risque c’est que nous soyons doucement contraints à l’utiliser. Notre médecin sera certainement incité à y déposer des documents et sera peut-être intéressé à nous pousser à l’utiliser (comme les pharmaciens ont intérêt à ce que vous consentiez à partager les données qu’ils utilisent). Nous voilà obligés par les plus proches acteurs du soin à aller dans leur intérêt pour notre plus grand bien ! Bien sûr, d’autres acteurs y auront très certainement accès sous prétexte de recherche et d’amélioration des systèmes de soins. Certes, on nous le vend comme un espace sur lequel nous aurons la main, puisque nous pourrons choisir de partager ou non des données de santé avec d’autres acteurs, via des applications. Mais le risque est que nous y soyons surtout contraints sous couvert de commodité, poussés par des professionnels de santé qui eux aussi, par commodité, seront poussés à l’utiliser.

Boulard, Favier-Baron et Woillet dans leur livre fustigent avec raison ce « consentement présumé ». La mise en production de nos données de santé via des systèmes d’autorisation d’accès vise à inciter professionnels et usagers à l’alimenter. Nous voici en train de glisser dans une forme de « techno-régulation » sur laquelle notre possibilité d’action est réduite, c’est-à-dire dans un mode de prescription de comportements spécifiques par la technologie plus que par le droit. La feuille de route de la numérisation de la santé s’impose dans l’urgence, comme pour mieux court-circuiter tout débat public. Notre seule liberté semble désormais de consentir. « Le débat ne porte pas en amont sur la légitimité d’une plateformisation de la santé, mais se situe déjà sur l’impératif d’acceptation ». C’est oublier pourtant qu’« une relation de soin n’est pas un rapport de force », comme le rappelait avec beaucoup d’humanité le médecin Martin Winckler (@MartinWinckler, blog) dans son roman, Le Chœur des Femmes.

« Au final, l’État se déleste de ses prérogatives et négocie des accords en sous-traitant de plus en plus de missions à des acteurs privés », à l’image de Doctolib qui s’est retrouvé en charge de l’accès à la vaccination.

Vers une médecine de données… au détriment de la relation

À terme, à nouveau, le risque est que ces plateformes produisent une médecine sans médecins ni malades, qui ne cherchent que des sujets à risques, en ne produisant pour cela que des corrélations. Nous entrons dans une logique « excessivement statistique », mettent en garde les auteurs. Une logique qui risque de produire une marginalisation de la relation entre le patient et le médecin. Le traitement très industriel et très numérique que nous avons connu avec l’épidémie de Covid illustre parfaitement ce point. L’entendement du médecin comme du patient ont été mis au ban. Nous avons été sommés de nous éloigner de nos médecins par des systèmes de soins industriels, fait de SMS, de mail et de bases de données… pensés pour passer à l’échelle plus que pour nous rapprocher du soin.

Dans cette logique à faire parler nos données, « l’anonymat est inconcevable ». Si nous ne sommes plus que nos données, malgré les appels à l’anonymisation et à la pseudonymisation toujours faillibles, nul ne semble plus avoir le droit, dans ces espaces, de ne pas être identifié. Afin que nous soyons faussement en maîtrise (d’autorisation des accès à nos données) ou afin d’associer les données (via le NIR, le numéro de sécurité sociale), le risque d’identifications par-devers nous est fort.

Mais surtout, derrière le but de produire une médecine numérique, prédictive, personnelle, ciblée, individualisée… s’impose une négation de leur logique mutualiste, collectiviste et éminemment personnelle et relationnelle… Pourtant, comme le suggère le médecin Gérard Reach dans un rapport pour l’Académie nationale de médecine, la médecine n’est pas réductible à des arbres décisionnels, c’est d’abord et avant tout un rapport humain. Notre santé n’est pas une question de détection d’anomalies, mais au contraire de compréhension d’innombrables irrégularités. Et les auteurs de rappeler avec le philosophe Georges Canguilhem qu’on ne peut objectiver le passage entre Le normal et le pathologique…

Avec les données, le risque d’une santé hypernormative

En médecine, nous sommes pourtant, certainement plus qu’ailleurs, dans le domaine des « hétérotaxies », c’est-à-dire un domaine de connaissance où nos innombrables différences ne font pas nécessairement pathologies, à l’image de ceux qui ont des organes mal placés sans nécessairement en avoir des conséquences fonctionnelles. La normativité et l’objectivité d’une médecine purement numérique tiennent certainement d’une quête vaine. Or, dans la production de données de santé fluides, du patient au régulateur, le risque est de produire des nomenclatures, des classifications dures, nécessaires à la standardisation et à l’interopérabilité des systèmes d’informations médicaux. Le risque, c’est de « surmédicaliser des pans entiers de la population au bénéfice des industries pharmaceutiques » et de limiter l’autonomie de diagnostic et de possibilité de médication des médecins ! Or, rappellent les auteurs, les conceptions américaines de la psychiatrie par exemple sont loin d’être homogènes et partagées chez nous. C’est un peu comme quand on évalue la cause d’un décès, elle est bien souvent multiple et ne peut se réduire à une seule case et cause. Or, par nature, la production de données, pour qu’elles s’agrègent et discutent les unes avec les autres, nécessite des normalisations. Le risque, c’est qu’elles s’imposent partout selon des codifications strictes, au détriment de l’appréciation clinique et locale. C’est là tout l’enjeu de gestion de données que politise InterHop notamment, en opposant des données de santé produites pour l’ensemble du secteur et des données de santé d’abord produites à l’échelle locale, pour répondre aux spécificités et enjeux de chaque service, plutôt qu’au pilotage du système de soin.

Comme le rappellent très bien Boulard, Favier-Baron et Woillet : « Plus on éloigne les données de leur lieu de collecte, plus on les décontextualise en prenant le risque de mal les interpréter. En retour, c’est l’application des algorithmes au soin qui devient moins précise. En effet, en éloignant géographiquement le lieu de collecte du lieu de traitement, on perd le bénéfice d’un aller-retour correctif entre les algorithmes et la pratique réelle des soins sur de vrais patients. » Un constat qui n’est pas sans rappeler les préceptes défendus par le Data Feminism ou le Design Justice qui nous invitent à revenir à des données relationnelles plutôt qu’à leur exploitation extractiviste.

Le livre de Boulard, Favier-Baron et Woillet a le mérite d’aller loin dans les conséquences que la transformation numérique fait peser sur la santé, qui n’est pas un changement de régime, mais bien un changement de nature auquel nous assistons !

Ils soulignent surtout l’idéologie qui la guide. Derrière la logique de l’ouverture et de l’interconnexion des données de santé sous couvert « d’innovationnite », se masque un solutionnisme de l’austérité et de la marchandisation. Et de conclure en rappelant la force des préconisations du collectif InterHop : garder la donnée, les solutions logicielles et terminologiques au plus près du lieu de soin pour mieux décorréler le soin de l’idéologie de la réduction des coûts. Le conseil citoyen de la surveillance biométrique de l’Ada Lovelace Institute, où des citoyens ont fait des préconisations en matière de surveillance des données physiologiques de santé, l’a dit dans ses recommandations : interdire purement et simplement l’autorisation de revente des informations biométriques à tout tiers, garantir la représentativité démocratique des solutions technologiques et surtout que le consentement présumé ne puisse pas remplacer le consentement éclairé.

Dans une note pour l’Institut Rousseau » (@InstitRousseau), Ophélie Coelho @OphelieCoelho), dresse le même constat : aujourd’hui, le consentement présumé est trop large. Qu’acceptons-nous vraiment ? Trop souvent, nos données peuvent être utilisées pour produire des analyses statistiques, du profilage, des produits de données, de la recherche… Pour elle, nous devrions amender le RGPD afin de ne plus rendre possible le traitement compatible avec les finalités initiales, tant la marge d’interprétation laissée aux plateformes est large – comme c’est le cas avec l’exemple d’IQVIA qui explique profiter de l’exception de recherche alors que son innovation est bien un produit commercial.

Pour Boulard, Favier-Baron et Woillet, plus radicaux encore, il est nécessaire d’exclure les acteurs pharmaceutiques et assurantiels des plateformes – et on pourrait d’ailleurs imaginer aller plus loin en excluant les données de santé des produits assurantiels, comme l’imagine (bien timidement encore) le Crédit Mutuel en annonçant renoncer au questionnaire médical lors de la souscription d’un crédit immobilier.

Dans la première de ses 12 mesures pour la présidentielle, l’économiste Gaël Giraud (@GaelGiraud_CNRS) propose une dotation en moyens de chaque hôpital en fonction de la population desservie ainsi que le conventionnement sélectif pour les médecins afin de les pousser à s’installer dans les zones les moins dotées, comme pour s’affranchir d’un pilotage par des données trop précises, afin de reprendre de la hauteur politique. Ces deux propositions ont une vertu manifeste : celle de piloter les données depuis des objectifs partagés, plutôt que de seulement piloter depuis les données. Pour le dire plus clairement, l’enjeu semble bien de fixer par exemple des seuils du nombre de lits d’hôpital par services et unités selon la population qu’ils couvrent, plutôt que de les piloter uniquement par la demande. Si nous ne définissons pas combien de lits nous devrions disposer, le risque est qu’ils soient toujours réduits à et par leur calcul. Sans objectifs, les traitements des données n’ont pas de sens !

Derrière la modernisation de notre santé, le risque est bien celui d’une étrange dépossession. Audrey Boulard, Engène Favier-Baron et Simon Woillet nous rappellent qu’on ne joue pas avec la santé et encore moins avec nos données de santé. À l’heure où celles-ci sont pourtant devenues le jeu du passe sanitaire lui-même, accessible à tous, qui permettent des accès différenciés des individus aux transports, aux lieux culturels ou sportifs… À l’heure où la consultation du statut de positivité au Covid par la police a été envisagée en juillet et par les directeurs d’établissements d’enseignement en novembre (dans les projets de loi relatifs au passe sanitaire, mais ces 2 dispositions ont été très légitimement écartées par le Conseil Constitutionnel), nous voyons tous très concrètement les dangers que les plus personnelles de nos informations soient accessibles partout et par tous. À l’heure où nos données de santé sont plus protégées que jamais, elles n’ont jamais été aussi accessibles. À croire que nous sommes plongés dans un paradoxe sans issue.

Toutes les données de santé n’ont pourtant pas la même… valeur !

La journaliste scientifique de Sciences et Avenir, Coralie Lemke (@coralielemke) vient de publier elle aussi un livre sur le sujet : Ma santé, mes données (Premier Parallèle). Plus accessible, bien plus clair et factuel que celui des trois précédents, il permet de comprendre d’autres aspects du complexe problème des données de santé. Notamment que le grand enjeu de l’accès aux données de santé n’est pas tant dans celles contenues dans notre montre connectée (qu’elle caractérise comme des données « d’hygiène de vie » ou de « bien être », peu prisées par la recherche, qui ne relèvent pas directement des données de santé, mais semblent perdues dans un entre-deux législatif, comme le pointait notre dossier sur les applications de santé) ou dans les prescriptions médicales épisodiques et ponctuelles (comme quand on va consulter pour un rhume ou pour une gastro…), mais se concentre surtout dans les données liées à des maladies chroniques, au long cours… Ce sont ces « données de vie réelle » qui ont surtout de la valeur. Elles comprennent notamment les données d’essais cliniques randomisés (permettant par exemple de tester un médicament) et surtout, les soins donnés à des patients et leurs réactions dans la durée, permettant de suivre les évolutions médicales cliniques et les effets des médicaments et traitements sur le temps long. Ce n’est donc pas étonnant si c’est autour de ce type de données que se concentrent nombre de plateformes d’analyses de données, à l’image de la plateforme Darwin de Sanofi, qui contient les informations de 300 millions de patients, ou celle du laboratoire Roche produite avec Unicancer, la Fédération nationale des centres de lutte contre le cancer, pour mettre à dispositions des données oncologiques longitudinales, ou encore entre Sanofi et l’Assistance publique – Hôpitaux de Paris. Pour l’instant, bien souvent, ces entrepôts de données hospitalières sont difficiles à faire parler, notamment parce que les formats dans lesquels les données sont produites sont très loin d’être uniformes et interopérables. Plus que des données – c’est-à-dire des champs dans des tableurs – d’ailleurs, on devrait surtout parler d’informations, puisque les dossiers médicaux tiennent bien plus de fiches et documents, images et documents en PDF, dont il faut parvenir à extraire et faire parler les données avant tout.

L’un des intérêts de ces données de vie réelle explique clairement Lemke, consiste à pouvoir remplacer les groupes témoins dans les essais cliniques randomisés, c’est-à-dire ceux qui reçoivent un placebo, par des données sur des populations existantes. L’enjeu, là encore, vise à réduire les coûts réels comme moraux des essais pharmacologiques. À nouveau, l’agrégation de données de santé vise surtout à rendre la santé moins chère à produire ! L’industrialisation numérique vise partout et toujours, avant tout, à produire de nouvelles économies d’échelle et des gains de productivité.

Lemke donne d’autres exemples parlant. Notamment des partenariats entre les communautés de patients (à l’image de PatientsLikeMe, la plateforme qui regroupe quelques 800 000 patients discutant autour de plus de 2900 maladies) qui à leur tour signent des partenariats avec des laboratoires pour leur permettre d’accéder aux données relatives à certaines maladies, par exemple avec Novartis sur les personnes ayant été transplantées ou celles souffrant de sclérose en plaques, avec AstraZeneca autour des maladies respiratoires ou le cancer… En France, son homologue, Carenity (qui regroupe 500 000 malades) vend également des données ou leur accès à des membres de sa communauté pour des enquêtes. Mais c’est également le cas des plateformes de génétique personnelle comme 23andMe, Nebula Genomics ou MyHeritage, des entreprises américaines qui proposent des tests génétiques personnels et qui revendent les profils génétiques de leurs clients individuels à des laboratoires, sans que les individus soient au courant.

Si les données des capteurs de santé comme Fitbit n’intéressent pas les acteurs de la recherche médicale, elles intéressent les acteurs de l’assurance. Mais l’enjeu des Gafams n’est pas tant de mieux monétiser ce type de données que de montrer aux acteurs de la santé qu’ils disposent des outils permettant de traiter les données et de les faire parler. C’est le cas par exemple d’une récente étude sur la capacité des algorithmes de Google à analyser des images médicales pour détecter le cancer du sein… L’algorithme se révélerait plus fiable qu’un diagnostic établi par un seul médecin (mais moins que deux médecins). Reste, que là encore, ces résultats sont cependant à prendre avec beaucoup de recul, comme l’ont montré les limites de Watson pour lutter contre le cancer. Quant à l’utilisation de systèmes d’IA pour prédire les pathologies à venir des patients depuis leurs données, on peut ici rester plus circonspect encore. Certes, les gens déjà malades ont tendance à le devenir plus à mesure qu’ils le sont et à développer des maladies chroniques voire multifactorielles… mais ces constats tiennent surtout d’une tautologie.

Enfin, comme les données de bien-être, il y a bien sûr le fait que toutes les données peuvent être analysées sous l’angle de la santé, à l’image de FB qui tente d’utiliser nos données pour détecter la dépression ou le risque de suicide… Mais ici, l’enjeu est bien moins médical que commercial. « Si Facebook s’intéresse à vos posts déprimés, c’est qu’ils sont monétisables » et qu’il est finalement plus facile de vous vendre une publicité pour un objet qui vous assure un peu de réconfort : votre fragilité augmente la probabilité d’achat. Les pseudo tests-comportementaux en ligne qui permettent de revendre des pseudo-données d’analyses de votre état psychique (voir notre article « Peut-on rendre le ciblage psychologique productif ? ») à des régies publicitaires pour qu’elles placent des produits adaptés, posent des questions sur cette forme de no man’s land légal, à l’image de la plainte de l’ONG Privacy International (@privacyint) à la Cnil à l’encontre des tests psychologiques réalisés par Doctissimo.

Le point faible persistant de la sécurité des données

Dans ces grandes manœuvres autour de nos données de santé, le point faible très souvent mis en avant reste la sécurisation des données. Des rançongiciels qui attaquent les systèmes informatiques des hôpitaux, aux innombrables fuites et failles des données de santé qui se retrouvent sur le dark web… en passant par des formes d’anonymisation défaillantes, car difficiles à réaliser par nature, la sécurisation des échanges de données de nombres de plateformes est souvent prise en défaut.

Or, dans le domaine de la santé, la cybercriminalité de santé se porte bien, comme l’a rappelé en 2017 le virus WannaCry qui a notamment infecté de nombreux hôpitaux britanniques du National Health Service ou, en 2021, en France, le piratage de 491 000 dossiers de santé provenant d’ordinateurs de laboratoires de biologie médicale. Les cyberattaques sont en hausse, rappelle Lemke. « De 54 attaques rapportées en 2019, la France est passée à 192 en 2020, soit une hausse de 255 % », explique l’Agence nationale de la sécurité des systèmes d’information (ANSSI). La part des budgets informatiques correspond à 2 % du budget de fonctionnement d’un hôpital. Et celle dédiée à la sécurité est encore moindre. Pour l’ANSSI, il faudrait consacrer entre 4 et 10 % de ces budgets à la sécurité, rappelle Lemke. Nous en sommes loin !

Partout, nos données de santé sont la cible d’une prédation sans précédent, rappelle Lemke, notamment de la part des entreprises du numérique qui promettent des miracles de traitement. Le projet Nightingale de Google a permis de récolter les données de santé de 2600 établissements de soins du réseau de santé catholique américain Ascension, sans recueillir le consentement des patients. Même constat dans le partenariat entre Google et la fédération hospitalo-universitaire américaine Mayo Clinic, ou encore bien sûr l’accord entre le National Health Service britannique et Palantir… Systèmes de soins et apomédiaires, quand ils ne sont pas soumis à des contraintes fortes, comme le RGPD, n’ont aucun scrupule à l’extractivisme de nos données les plus intimes.

Autre problème quant à la sécurité de ces plateformes : leur hypercroissance les conduit à traiter avec beaucoup de légèreté les questions de sécurisation des données de santé auxquelles elles ont accès. L’anonymisation et la pseudonymisation – qui tiennent pourtant d’obligations légales – ne sont toujours optimales. Le chiffrement des données (lui aussi obligatoire), la correction des failles de sécurité… non plus, comme le montrait l’enquête d’Olivier Tesquet sur Doctolib ou celle autour du manque de sécurité des cookies de Doctolib qui permettait à Facebook de recevoir les mots clefs que les utilisateurs de Doctolib en Allemagne tapaient dans le moteur de recherche du site ! La question de la sécurisation des données de bout en bout est encore bien souvent un vaste chantier, traité encore avec trop de légèreté !

Quelles limites à la fluidification sans fin des données de santé ?

En lisant ces deux ouvrages, on peut se poser une question légitime. Faut-il fluidifier les données de santé ? Et si on répond oui à cette question, lesquelles et jusqu’où ?

Le mouvement pour l’ouverture des données, qui se présente toujours sous un couvert vertueux (l’ouverture va produire – « naturellement » – plus de connaissance, plus de démocratie…) n’est pas contrebalancé de principes qui orientent, contraignent ou limitent son action. En vérité, l’ouverture des données produit surtout des indicateurs, facilite l’élargissement des accès aux données (sans poser de questions à leurs limites) et les mesures produites renforcent une logique d’indicateurs comptables et austéritaires. Devons-nous construire un monde où toutes les données sont reliées, qui produit partout des indicateurs homogènes, distribués et concentrés à la fois ? Faut-il construire par exemple un tableau de bord de l’occupation des lits d’hôpital permettant de connaître, en temps réel, le taux d’occupation de tel service de tel hôpital et en même temps, les taux d’occupation départementaux, régionaux et nationaux ? Sans déterminer par exemple de plancher au nombre de lits par habitant (comme nous y invitait Gaël Giraud) : le pilotage par l’occupation des lits menace surtout de produire des réductions drastiques, sans fin, sans limites ! A l’image de la baisse du nombre de lits d’hospitalisation que nous avons connue depuis 20 ans.

Ce dossier et ce sujet sont compliqués. Pas étonnant que les utilisateurs n’y comprennent pas grand-chose. Bien sûr, tout à chacun peut plutôt être disposé à ce que ses données de santé servent la recherche et le progrès médical, voire même le bien mal défini « intérêt public ». Mais doit-on pour autant créer une superstructure des données de santé la plus fluide possible ? Et quid de ses autres finalités qui ne tiennent pas de la recherche, mais bien d’un contrôle et d’une marchandisation de la santé ?

Comme le souligne enfin Coralie Lemke en conclusion de son livre : si le RGPD est très protecteur en matière de données de santé, il repose entièrement sur notre consentement individuel. Nous sommes bien seuls en matière de données de santé face à la « myriade de petites lignes de jargon juridique dont sont composées les conditions générales d’utilisation à valider ». Le contrôle au citoyen le laisse finalement bien démuni et lui confie une responsabilité écrasante face à des acteurs dont les intentions le dépassent.

Reste que dans tous ces dispositifs qui se mettent en place, on constate surtout l’absence des utilisateurs, de structures pour les représenter et pour défendre leurs perspectives. Où sont les associations de patients, de consommateurs ou de défense des droits dans les nouvelles chaînes des données de santé ?

Mais surtout où sont les limites à cette « rafle des données » (ou data grab, comme le dénonce l’opposition, depuis l’été, au plan de partage des données des médecins généralistes britanniques initiés par le NHS) ? Pourquoi s’organise-t-elle depuis des données les plus agrégées possible, les plus complètes possible, les plus continues possible, les plus temps réel possible ? Cette question est toujours balayée d’un revers de la main, alors qu’elle devrait être au cœur de nos réflexions pour mieux balancer santé et respect des patients. L’espace de dialogue avec la population en tout cas, pour l’instant, est inexistant. Or, quand nous sommes au menu, c’est bien souvent que nous ne sommes pas à la table des négociations. Dans les systèmes d’échanges de données de santé, tout se fait pour nous, mais sans nous ! Comme nous y invitait les Ateliers pour la refondation du service public hospitalier, lancés en juillet 2020 à l’initiative de plusieurs collectifs des soignants et patients, ce sont bien ceux là mêmes à qui sont prodigués les soins et ceux-là mêmes qui prodiguent les soins qu’on ne voit pas dans cette mise au pas de la santé par les données. C’est certainement l’aspect le moins rassurant de cette industrialisation et de cette transformation qui s’opère.

Enfin, ultime risque et non des moindres… Celui que cette fluidification du partage de nos données fasse modèle, qu’elle se généralise à d’autres types de données, comme celles de la justice, de l’éducation ou de l’emploi… Si la raison d’une amélioration de la recherche et des indicateurs pour l’intérêt public sera peut-être moins mobilisable, on voit bien que se profile, sous couvert d’optimisation et d’efficacité, une mise en production inédite de nos données par-devers nous.

Hubert Guillaud

Dossier, les enjeux de nos données de santé :

• 1e partie : le risque d’un changement radical de notre système de santé
• 2e partie : les données plutôt que le soin

MAJ : Sur Blast, en vidéo, Audrey Boulard et Simon Woillet tentent d’éclairer les enjeux des données de santé.