« Si vous n’avez pas accès à votre score ou si vous ne savez pas qu’un score est calculé, quelle possibilité d’action vous reste-t-il ? » Aucune, explique une excellente vidéo du Data Justice Lab (@DataJusticeLab) – et on pourrait d’ailleurs ajouter, que savoir qu’on est calculé ou comment ne vous donne pas pour autant de possibilité d’actions, hélas !

Le problème de la multiplication des « scores de données » comme outils de gouvernance des administrés, explique le laboratoire de recherche de l’Ecole de journalisme de l’université de Cardiff, c’est que les citoyens ont très peu d’informations sur le déploiement de ces systèmes de scoring : ce qui empêche, pour le moment, tout débat public sur leur utilité et leurs biais. L’autre problème, bien sûr, de ces nouvelles modalités de gouvernance des usagers par les services publics (mais également par des systèmes privés), interroge les indicateurs produits (voir notamment notre article « Peut-on limiter l’extension de la « société de la notation » ?) Qu’est-ce qu’on mesure depuis ces scores ? Quelles caractéristiques sont utilisées pour déterminer des comportements ou des risques ? Et comment ces scores déterminent-ils l’affectation de ressources relative aux risques calculés ? Le problème, bien sûr, c’est que ces scores prennent bien plus en compte des facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales, ils prennent plus facilement en compte l’absentéisme des élèves que les problèmes de désorganisation à l’école…

Ces systèmes portent toujours plus d’attention sur les individus que sur les causes structurelles des problèmes sociaux, dénonce avec justesse le Data Justice Lab. Le risque, bien sûr, c’est de produire une modification profonde des relations des organismes publics avec les citoyens ou des entreprises avec leurs employés en accusant toujours les comportements individuels plutôt que les défaillances structurelles ou organisationnelles !

Scores de données : la responsabilité individuelle plutôt que les défaillances structurelles

Dans un rapport (.pdf) (qui date de décembre 2018) coordonné par Lina Dencik (@LinaDencik), Arne Hintz (@arne_hz), Joanna Redden et Harry Warne, le Data Justice Lab s’est intéressé en profondeur à l’avènement de ces « scores de données » dans les services publics du Royaume-Uni. Le rapport livre plusieurs études de cas (qui portent sur des systèmes liés à la fraude sociale, à la santé, à la protection de l’enfance, aux services sociaux comme à la police), mais souligne surtout la grande carence d’informations sur les déploiements de ces systèmes, que ce soit sur les objectifs des systèmes, les données utilisées, tout comme sur les résultats produits.

Le Data Justice Lab alerte également sur l’étendue de la collecte et du partage de données opérés par ces projets, leur manque criant de transparence, le fait qu’ils soient souvent produits sans consentement des publics cibles, sans garde-fous éthiques, sans garanties ni modalités de contestation, sans association des usagers… et surtout bien sûr, le fait qu’étiqueter quelqu’un à risque consiste essentiellement à cibler et stigmatiser les plus fragiles.

L’analyse de données automatisée est promue dans un contexte économique de baisse budgétaire, de maîtrise des finances publiques et d’amélioration des services publics. Mais, l’introduction de l’analyse de données dans les services publics conduit surtout à réduire les soins, les prestations sociales et les droits, sans que les personnes concernées n’aient la possibilité de comprendre ou contester ces mesures, comme l’ont montré les travaux de Virginia Eubanks. Ces analyses de données reposent sur des pratiques de catégorisation, de segmentation, d’évaluation et de classement des populations en fonction de divers critères dans le but d’allouer les services en conséquence de ces critères et d’identifier des risques ou comportements spécifiques. Le scoring, c’est-à-dire le résultat d’analyse de ces critères, produit des indicateurs qui permettent de rendre les catégorisations effectives. Le scoring est utilisé depuis longtemps dans le secteur financier et le crédit où on utilise non seulement des données « socialement orientées » mais également, de plus en plus, des données comportementales (usages des téléphones mobiles par exemple) ou sociales (analyse des réseaux relationnels par exemple). Ces scores se sont ensuite répandus dans les services publics, notamment dans le secteur éducatif aux États-Unis, dans la mesure de risques juridiques, les outils de contrôle aux frontières, dans la santé et les politiques sociales liées à l’enfance et la famille. Au Royaume-Uni, l’analyse et l’utilisation des scores sont, pour l’instant encore, peu documentées. La Commission de la science et de la technologie de la Chambre des communes dans un rapport (.pdf) recommande au gouvernement de produire, maintenir et publier une liste des algorithmes utilisés par les autorités, notamment là où leur impact social est majeur. Dans les faits, il semble que nous soyons encore assez loin.

Dans leur étude, le Data Justice Lab revient sur plusieurs outils déployés en Grande-Bretagne. À défaut de les observer tous, intéressons-nous à l’un d’entre eux.

À Bristol, le centre d’analyse intégré vise à permettre aux services municipaux de traiter les familles dans leur ensemble, plutôt que chaque service indépendamment. Le programme Troubled Families, lancé en 2011, vise à aider les familles en proie à d’innombrables difficultés… Pour cela, le centre a construit une base de données (Think Family) avec des informations provenant de 35 ensembles de données concernant 54 000 familles. Le but : offrir une compréhension « holistique » des familles confrontées aux problèmes sociaux.

Depuis la création de cet outil d’agrégation de données, la ville a déployé des outils de modélisation prédictive… Parmi les données collectées, il y a des informations de police, des informations scolaires (sur les absences et les exclusions notamment), des informations provenant de l’assistance sociale, de santé… Le centre d’analyse achète également des données de partenaires privés (sur les évolutions socio-démographiques des quartiers notamment). Le centre produit un score de risque pour chaque jeune de sa base de données, basé sur des données d’entraînements provenant de seulement 31 victimes confirmées des années précédentes.

Le rapport souligne que le modèle repose essentiellement sur des données négatives (fréquentation scolaire, violence domestique…) excluant des données contextuelles (par exemple, le fait qu’un enfant soit actif dans des associations, même si sa fréquentation scolaire est plus problématique). Quelque 450 travailleurs sociaux ont accès au système. Il pointe également que les résultats de ce modèle ne dispensent pas de l’avis de professionnels, mais visent surtout à permettre de comprendre les difficultés à venir pour favoriser des interventions en amont.

Le système n’est pourtant pas si optimal qu’il le promet. Par exemple, l’équipe du centre n’a pas la possibilité de corriger les données qui proviennent d’autres services, même quand elles posent problèmes. L’autre enjeu est que le système influe sur les pratiques de travail des travailleurs sociaux, notamment sur le rapport aux enfants que les scores produisent en créant des risques de mauvaise interprétation… Le vrai problème, c’est bien souvent la sur-réaction aux données, comme l’expliquait Ben Green. L’autre difficulté, c’est que le système génère ses propres boucles de rétroactions. Par exemple, un travailleur social peut avoir tendance à prévenir la police du risque élevé affecté à un enfant, mais dans le modèle lui-même, le contact avec la police est lui-même un facteur qui élève le risque ! Exemple typique de boucles de rétroactions où les scores s’alimentent les uns les autres, au risque de produire des indices encore plus problématiques qu’ils ne sont ! Enfin, rappellent les auteurs du rapport, un système de ce type oublie le travail préventif et proactif, pour favoriser des réactions à des seuils et niveaux de risques. Il concentre le travail sur certains cas, au détriment des autres. Dans un contexte d’austérité et de ressources limitées, le risque est de ne travailler qu’à partir de certains scores, qu’à certains niveaux de vulnérabilité, que depuis des alertes… Enfin, bien sûr, si le système peut identifier des besoins, reste à savoir si les structures d’aides à l’enfance peuvent y répondre ! Le risque, bien sûr, c’est qu’à mesure qu’elles perdent en moyens, les seuils d’alertes s’élèvent… Enfin, comme le pointait une étude que nous avions relayée sur les systèmes d’identification automatisés des enfants à risques par les services à l’enfance britanniques, aucun de ces systèmes de prédiction des risques ne donne de résultats probants.

Le rapport consacre également plusieurs pages au rôle que jouent des ensembles de données privées dans ces projets à destination de services publics. Il détaille notamment le cas d’Experian, une agence d’évaluation du crédit à la consommation qui dispose d’un outil de segmentation géodémographique – moteur de la personnalisation publicitaire, comme l’expliquait Tim Wu dans son livre, Les marchands d’attention – lui permettant de trier la population en segments. Mais c’est également le cas d’entreprises comme Xantura, Callcredit et Capita qui fournissent des services de profilage, de vérification d’identité ou d’évaluation des risques. Né dans les années 60, le développement des techniques de géodémographie a été financé par le ministère américain du Logement pour parvenir à mieux cibler les subventions au logement, avant d’être étendu à des usages plus commerciaux. Dans les années 80, ces travaux ont été adaptés au Royaume-Uni par Richard Webber afin de produire une classification des quartiers (Webber a fondé la division micromarketing d’Experian). Pour ses promoteurs, la géodémographie consiste à dire que l’endroit où l’on vit compte pour comprendre les valeurs, choix et comportements des consommateurs. Elle utilise de nombreuses données pour placer chaque citoyen dans une catégorie en fonction du quartier où il vit. Dans le secteur public, les autorités publiques, et surtout locales, intègrent de plus en plus souvent des données géodémographiques pour affiner les leurs. Mosaic, le produit de classement géodémographique d’Experian, classe les individus en 15 grands groupes et 66 types. Reste que si les services utilisent, les chercheurs soulignent qu’on ne sait pas grand-chose des données mobilisées par ces entreprises, ni les méthodes d’analyses qu’elles y appliquent. Experian estime détenir des informations sur 49 millions des 63 millions d’adultes du Royaume-Uni… et sait produire des taux de correspondance à 50 % avec Facebook et 35 % pour Twitter.

Vers des systèmes sans évaluation qui transforment les problèmes sociaux en problèmes individuels

La dernière partie du rapport donne la parole à différents groupes de la société civile que les auteurs ont rencontré, des associations britanniques qui travaillent dans le domaine des droits numériques, des droits sociaux, de l’éducation en les interrogeant sur leur compréhension de ces systèmes (comme Defend Council Housing, Disabled People Against Cuts, Netpol, Big Brother Watch, Open Rights Group, Involve, Liberty,British Association of Social Workers). Pour l’essentiel, celles-ci se montrent inquiètes de ces évolutions, à la fois en ce qui concerne l’étendue de la collecte, du partage, le risque de partialité et de discrimination, la possibilité de ciblage, de stigmatisation, de stéréotypie de groupes, le manque de transparence, de consentement, d’information… L’inquiétude porte notamment sur une forme de « maximisation des données » qui consiste à collecter toujours plus de données et à accroître leur partage sans grandes limites, quel que soit le caractère sensible des données. Or, nombreux rappellent que la minimisation des données est essentielle pour répondre à cette tendance. Les personnes calculées et les associations s’inquiètent de cette fluidification des données : les communautés de migrants par exemple s’inquiètent de voir leurs statuts d’immigration divulgués quand ils se rendent à l’hôpital et que celui-ci puisse être utilisé pour les exclure des soins ou les dénoncer aux services sociaux ou de police… et ont donc tendance à renoncer à se rendre dans certains services publics. Autres constats que dressent les associations, celle de la transformation du travail, notamment des travailleurs sociaux, qui passent de plus en plus de temps à collecter et renseigner les données. Les systèmes transforment la façon dont les problèmes et les solutions sont définis. Or, bien souvent, les systèmes mis en place pensent que les données sont la solution, plutôt que de s’interroger sur pourquoi et comment elles peuvent y contribuer. Beaucoup d’acteurs sont préoccupés par cette collecte extensive et plus encore par la situation de monopole qu’elle crée, renforçant la nature asymétrique du pouvoir entre les autorités et les administrés. Bien sûr, les acteurs de la société civile sont très inquiets des effets de stigmatisation, de ciblage, de stéréotypie et de discrimination que renforcent ces outils. « Les personnes bénéficiant de l’aide sociale ont toujours été particulièrement visées (par le contrôle social) et cela semble s’aggraver », estime Big Brother Watch. De quel droit étiquetons-nous quelqu’un à risque uniquement parce qu’il appartient à une famille pauvre ?, s’inquiète l’Open Rights Group. Sans compter que l’étiquetage a tendance à être durable si ce n’est permanent. Tous s’inquiètent du manque de transparence des systèmes, des critères, des calculs. Quant au consentement, il est bien souvent arraché sans que les familles n’en saisissent les implications ou ne puissent en fait s’y opposer. Tous les groupes de la société civile souhaitent une meilleure réglementation, mais peinent à en formuler les règles qui seraient nécessaires. Pour tous pourtant, ces systèmes sont politiques. L’exploitation des données est profondément liée à l’austérité. Le but n’est pas de les utiliser au service des gens, mais bien de construire une approche très technologique de la politique dans une forme d’hypersurveillance des plus en difficultés.

Dans leurs conclusions, les chercheurs soulignent la difficulté à évaluer les différents systèmes mis en place, du fait qu’aucune procédure standard n’est mise en œuvre et que leurs usages mêmes peuvent être très différents d’un acteur l’autre. Certains s’en servent pour maximiser l’information, d’autres pour calculer de nouvelles informations. Reste que tous ces systèmes se mettent en place dans des contextes d’austérité, c’est-à-dire visent à utiliser les données pour mieux définir les ressources, mais sans que ces enjeux d’affectation des ressources ne soient posés en regard du déploiement de ces systèmes de calcul. Nous entrons dans des services « riches en données, mais pauvres en ressources », comme s’en inquiétait Dan McQuillan pour Open Democracy. Si ces systèmes laissent souvent à ceux qui y accèdent des modalités d’appréciation, la limitation des ressources et la déqualification des personnels font que ces résultats limitent considérablement leur appréciation. Pour les calculés en tout cas, la manière (et les raisons) de mise en œuvre de ces systèmes reste insaisissable. Le manque de transparence demeure un problème majeur. Quand, il y a quelques modalités d’organisation de la transparence, celles-ci sont insuffisantes pour remédier à l’asymétrie de pouvoir entre les institutions et les citoyens… En tout cas, elle ne conduit pas à des possibilités de recours efficaces.

Pour les chercheurs, il est plus que nécessaire d’ouvrir ces systèmes à des audits citoyens et à des formes de participation du public. À nouveau, nombre de ces systèmes visent d’une manière disproportionnée une partie particulière de la population : ceux qui font appel aux services sociaux. Pour les chercheurs, il est nécessaire de mieux équilibrer l’utilisation des données et notamment mieux comprendre les situations où elles ne sont pas nécessaires et quand elles risquent de produire des utilisations qui vont au-delà de leurs objectifs, même ceux qui semblent vertueux, comme une vision plus intégrée des bénéficiaires. Enfin, il y a une hypothèse sous-jacente aux développements de ces systèmes : celle que l’information conduit à agir, mais sans que les actions produites par les scores soient elles-mêmes définies ! Produisent-elles des mesures plus préventives ou plus punitives ? Comment ces actions sont-elles évaluées et décidées ? Quels effets produit l’étiquetage des populations ? Et plus encore, quels effets produisent ces étiquetages de risque dans des chaînes de systèmes ?… Il est aussi nécessaire d’observer le réductionnisme que ces données produisent au détriment de la connaissance sociale et réelle des personnes, permettant à des opérateurs d’agir sans qu’ils aient la connaissance des contextes particuliers des personnes cibles. Enfin, bien sûr, ces systèmes privilégient des calculs et des réponses individuelles sans que soit interrogée la démission des réponses collectives ou structurelles que ces réponses atomisées induisent. Par exemple, nous courons le risque de mesurer l’impact des absences scolaires, mais pas les lacunes d’un accompagnement scolaire défaillant, car non financé. Ces systèmes renforcent finalement les corrélations sur les causalités et transforment les problèmes sociaux en problèmes toujours plus individuels. Les individus ne sont plus vus comme des participants à la société, mais uniquement comme des risques. Pire, bien souvent ces systèmes disqualifient les professionnels qui sont en première ligne avec ces publics… comme si finalement les données pouvaient remplacer leurs évaluations, leurs expériences, leurs compréhensions des contextes réels des familles.

Illustrons ces constats d’un autre exemple pour nous aider à comprendre. De l’autre côté de l’Atlantique, le toujours excellent Data & Society (@datasociety) vient lui de publier un rapport sur la surveillance des personnels de soins à domicile. En effet, l’État fédéral a lancé une application mobile de vérification électronique des visites (EVV) permettant de surveiller à la fois les personnels de soins et ceux qui bénéficient de leurs aides, bien souvent deux populations l’une comme l’autre marginalisées. Pour la chercheuse Alexandra Mateescu (@cariatidaa), ces systèmes de contrôle, très intrusifs, privilégient des formes de normalisation et d’efficacité au détriment des expériences vécues et des réalités de terrain. Ces applications enregistrent les heures et les déplacements des personnels de soin à domicile. L’application de suivi a rendu le travail des travailleurs du soin plus difficile et a tendu les relations entre les travailleurs et les bénéficiaires, par exemple en informant les aidants que les fonds des bénéficiaires étaient insuffisants alors qu’ils ne l’étaient pas. Ces systèmes exigent des validations permanentes et contraignantes, plusieurs fois par jour. Déployés au prétexte de fraudes – sans que leurs niveaux ne soient jamais évalués -, ces systèmes de contrôle produisent des erreurs, au détriment de ceux qui prodiguent le soin comme de leurs patients, expliquaient Virginia Eubanks et Alexandra Mateescu cet été dans une tribune pour The Guardian. Dotée de fonctions de géolocalisation (pour vérifier que les travailleurs à domicile se rendent bien au domicile des bénéficiaires), l’application signale par exemple automatiquement le fait de s’éloigner du domicile des bénéficiaires, comme pour les emmener à un rendez-vous chez le médecin, et demande de le justifier. Au final, nombre de bénéficiaires ne souhaitent plus bouger de chez eux, de peur que ces signalements ne leur fassent perdre les prestations de soins à domicile dont ils bénéficient. Une surveillance qui risque de miner le droit à l’autonomie des personnes dépendantes, rappellent les chercheuses. Le système ne surveille finalement pas seulement le personnel qui dispense des soins, mais également ceux qui en bénéficient, explique une association qui mène campagne contre la généralisation du système. Le système a également produit des retards de paiement généralisés. Rappelons au passage que l’Arkansas, où ont eu lieu les premiers déploiements de ce système, avait déjà été épinglé pour des problèmes relatifs à des systèmes d’évaluation des besoins des personnes handicapées en 2016 (voir notre article « L’État automatisé au risque d’une crise de légitimité »). Pourtant, tous les systèmes de surveillance des personnels qui fournissent des soins à domicile ne sont pas conçus de la même manière. En Californie, le syndicat des travailleurs domestiques et l’organisation pour les droits des personnes handicapées ont collaboré pour produire un système qui ne recueille pas de données de déplacements ni n’enregistre les heures passées en temps réel. En Virginie, la géolocalisation est facultative et exempte les aidants familiaux du système. En étant conçus sans prendre en compte les besoins réels des personnes, en produisant du surcontrôle, ces systèmes produisent surtout du mépris envers les populations qu’ils sont censés adresser.

Le risque, bien sûr, c’est que ces formes d’hypersurveillance se démultiplient. L’association Coworker (@teamcoworker) a récemment publié un rapport (.pdf) (et une base de données des plateformes et applications de surveillance au travail) qui revient sur l’explosion des outils d’analyse et de gestion des travailleurs. Des outils qui sapent et contournent les réglementations en matière de travail et qui ne sont pas transparents sur les données qu’ils collectent et la manière dont ils en tirent profit. Ce secteur des « Little Tech », comme les appelle CoWorker – mais qui relèvent bien plus du « bossware » – qui collecte des données sur les travailleurs, approfondit et accélère une forme d’ubérisation généralisée de l’emploi. Ce secteur met concrètement en œuvre l’infrastructure qui fait tourner l’économie, les lieux de travail et les marchés de l’emploi. Cette Little Tech qui outille notamment l’économie des petits boulots, produit des technologies d’amélioration de la productivité, en exploitant des données sensibles, sans rémunérer davantage les travailleurs, et bien souvent, en portant atteinte à leur sécurité, et sans prévenir des formes de discriminations. « L’industrie technologique n’est pas puissante à cause des produits qu’elle développe, mais parce qu’elle restructure fondamentalement les marchés du travail (…) par une surveillance sans contrôle ».

Hubert Guillaud

MAJ : Eve Zellickson (@zel_eve) pour Points, le magazine de Data & Society revient sur le vol des pourboires par les plateformes de l’économie des petits boulots. Amazon a été condamné à payer 61,7 millions de dollars pour vol de pourboire à ses chauffeurs ! Les chauffeurs ont fini par remarquer que les pourboires étaient à la baisse et s’en sont plaint. Amazon leur a répondu individuellement en soutenant qu’ils recevaient 100 % des pourboires, alors que l’entreprise les utilisait en partie pour améliorer le salaire de base que gère l’application. Zellickson note que les chauffeurs sont habitués à être en relation avec un support peu réactif face aux problèmes qu’ils rencontrent, hormis pour la livraison elle-même. Le problème de l’absence de communication réciproque et de processus clair de résolutions de conflits, dans ces applications, est au cœur de bien des problèmes, souligne la chercheuse. Signalons que ce problème ne touche pas qu’Amazon.