18.10.2024 à 16:24
robinson
La Quadrature travaille depuis des années sur les algorithmes utilisés par les administrations et les services sociaux, et en particulier sur l’algorithme de « scoring » de la Caisse nationale d’allocations familiales (CNAF). Il a fallu d’abord batailler contre l’administration pour obtenir la communication du code source, avant de publier en novembre 2023 l’analyse de la version n-1 de cet algo, la CNAF ayant refusé de fournir le code de l’algorithme en usage aujourd’hui. Et ce 16 octobre, La Quadrature et 14 autres associations de défense des droits attaquent donc l’algorithme de la CNAF devant le Conseil d’État, pour discrimination et surveillance excessive.
Cet algorithme analyse chaque mois les données personnelles (et intimes) de 13 millions de foyers touchant des allocations familiales, soit environ 32 millions de personnes en France, pour leur attribuer un « score de risque ». Si ce score est trop élevé, un contrôle est déclenché.
La CNAF présente cet outil comme un « algorithme de lutte contre la fraude ». En réalité, l’algorithme n’est évidemment pas capable de détecter des fraudes, qui supposent un mensonge intentionnel impossible à traduire en calcul. En revanche, que peut faire un algorithme ? Il peut identifier les personnes les plus susceptibles d’avoir reçu des « indus » ou des « trop-perçus », c’est-à-dire des sommes supérieures à ce que le calcul de leurs droits leur destine. Comment ? En identifiant les personnes dont la situation est la plus susceptible de provoquer des erreurs de déclaration. Qui sont ces personnes ? Celles qui changent souvent d’adresse, de travail, de situation familiale, qui sont mères célibataires, qui bénéficient de minima sociaux ou ont de faibles revenus. C’est-à-dire celles dont la vie est la plus marquée par la précarité.
Voici comment, sous couvert de « lutter contre la fraude », on traque systématiquement les personnes en difficulté.
L’analyse du code source a confirmé sans ambiguïté la fonction discriminatoire de cet algorithme. Les critères choisis et leur pondération ciblent de façon délibérée les personnes les plus précaires : famille monoparentale, bénéficiaires du RSA, personnes sans emploi, au domicile instable, etc.
Cette discrimination, couplée à une surveillance de masse (près de la moitié de la population française est concernée), nous ont poussées à saisir le Conseil d’État. Si vous voulez comprendre le raisonnement juridique qui structure le recours, tout est dans le communiqué de la coalition. Et si vous voulez suivre notre campagne de long cours contre les algorithmes administratifs, visitez notre page France Contrôle.
Lire le communiqué : https://www.laquadrature.net/2024/10/16/lalgorithme-de-notation-de-la-cnaf-attaque-devant-le-conseil-detat-par-15-organisations/
Notre campagne Technopolice a cinq ans. Félix Tréguer, chercheur et membre de La Quadrature, raconte à la première personne, dans Technopolice, la surveillance policière à l’ère de l’intelligence artificielle, ce long travail d’enquête collective sur les pratiques de surveillance numérique de la police, depuis la découverte de « l’observatoire du Big Data de de la tranquillité publique » de Marseille fin 2017, jusqu’à la légalisation de la VSA par la loi Jeux Olympiques en 2023, en passant par le récit étonnant et éclairant du quotidien d’un policier dans la ville de Denver au Colorado.
Croisant les analyses politiques et sociologiques, les enquêtes de terrain et les chiffres, l’ouvrage analyse la Technopolice comme un fait social complexe, qui met en jeu des idéologies politiques, des ambitions industrielles, des fantasmes policiers, au prise avec des problèmes matériels, économiques et humains. Et si vous voulez rencontrer l’auteur et lui poser des questions, le site recense les nombreuses rencontres en librairie à venir pour les mois d’octobre, novembre et décembre.
Lire l’article : https://www.laquadrature.net/202fondateur4/10/11/parution-du-livre-technopolice/
Le 16 septembre dernier, La Quadrature du Net et le collectif local Le nuage est sous nos pieds ont organisé une conférence de presse pour alerter au sujet de la construction d’un data center géant dans l’agglomération de Marseille : gourmand en énergie et en eau potable, ce projet s’incrit dans une logique d’inflation numérique dispendieuse, dont la nécessité n’est jamais questionnée ni soumise à la délibération démocratique de la population qu’elle touche directement. Lisez le communiqué du collectif Le nuage et sous nos pieds sur notre site.
Lire le communiqué : https://www.laquadrature.net/2024/09/16/conference-de-presse-a-marseille-contre-les-data-centers/
Livre « Technopolice »
Algo de la CNAF
Data center à Marseille
Divers
16.10.2024 à 12:13
bastien
En cette veille de journée mondiale du refus de la misère, 15 organisations de la société civile attaquent l’algorithme de notation des allocataires des Caisses d’Allocations Familiales (CAF) en justice, devant le Conseil d’État, au nom du droit de la protection des données personnelles et du principe de non-discrimination. Ce recours en justice contre un algorithme de ciblage d’un organisme ayant mission de service public est une première.
Cet algorithme attribue à chaque allocataire un score de suspicion dont la valeur est utilisée pour sélectionner celles et ceux faisant l’objet d’un contrôle. Plus il est élevé, plus la probabilité d’être contrôlé·e est grande. Chaque mois, l’algorithme analyse les données personnelles des plus de 32 millions de personnes vivant dans un foyer recevant une prestation CAF et calcule plus de 13 millions de scores. Parmi les facteurs venant augmenter un score de suspicion on trouve notamment le fait d’avoir de faibles revenus, d’être au chômage, de bénéficier du revenu de solidarité active (RSA) ou de l’allocation adulte handicapé (AAH). En retour, les personnes en difficulté se retrouvent sur-contrôlées par rapport au reste de la population.
Notre recours devant le Conseil d’État porte tant sur l’étendue de la surveillance à l’œuvre que sur la discrimination opérée par cet algorithme envers des allocataires déjà fragilisé·es dans leurs parcours de vie. En assimilant précarité et soupçon de fraude, cet algorithme participe d’une politique de stigmatisation et de maltraitance institutionnelle des plus défavorisé·es. Les contrôles sont des moments particulièrement difficiles à vivre, générateurs d’une forte charge administrative et d’une grande anxiété. Ils s’accompagnent régulièrement de suspensions du versement des prestations, précédant des demandes de remboursements d’indus non-motivés. Dans les situations les plus graves, des allocataires se retrouvent totalement privé·es de ressources, et ce en toute illégalité. Quant aux voies de recours, elles ne sont pas toujours compréhensibles ni accessibles.
Alors que l’utilisation de tels algorithmes de notation se généralise au sein des organismes sociaux, notre coalition, regroupant des organisations aux horizons divers, vise à construire un front collectif afin de faire interdire ce type de pratiques et d’alerter sur la violence dont sont porteuses les politiques dites de « lutte contre la fraude sociale ».
« Cet algorithme est la traduction d’une politique d’acharnement contre les plus pauvres. Parce que vous êtes précaire, vous serez suspect·e aux yeux de l’algorithme, et donc contrôlé·e. C’est une double peine. » déclare Bastien Le Querrec, juriste à La Quadrature du Net.
Associations requérantes:
Retrouvez l’ensemble de nos travaux sur la numérisation des administrations sociales et la gestion algorithmique des populations sur notre page de campagne France contrôle.
11.10.2024 à 12:00
startuffenation
Technopolice, la surveillance policière à l’ère de l’intelligence artificielle paraît aujourd’hui aux éditions Divergences. Dans ce livre, Félix Tréguer, membre de La Quadrature du Net et chercheur associé au Centre Internet & Société du CNRS, fait le récit personnel d’un engagement au sein du collectif Technopolice. Mêlant les anecdotes de terrain aux analyses issues des sciences humaines et sociales, il retrace les mécanismes qui président à la technologisation croissante du maintien de l’ordre et de la gestion urbaine.
Voici le résumé du livre, disponible dans votre librairie de quartier.
« Drones, logiciels prédictifs, vidéosurveillance algorithmique, reconnaissance faciale : le recours aux dernières technologies de contrôle se banalise au sein de la police. Loin de juguler la criminalité, toutes ces innovations contribuent en réalité à amplifier la violence d’État. Elles referment nos imaginaires politiques et placent la ville sous contrôle sécuritaire. C’est ce que montre ce livre à partir d’expériences et de savoirs forgés au cours des luttes récentes contre la surveillance policière. De l’industrie de la sécurité aux arcanes du ministère de l’Intérieur, de la CNIL au véhicule de l’officier en patrouille, il retrace les liens qu’entretient l’hégémonie techno-solutionniste avec la dérive autoritaire en cours. »
Retrouvez toutes les dates dans l’agenda public de La Quadrature.
« Lorsque vient notre tour de parler, Martin et moi montons sur l’estrade. Face à l’amphi bondé, face aux képis et aux costumes-cravate, face au commandant Schoenher et à la futurologue de la préfecture de police, face au préfet Vedel et aux cadres d’Idemia ou de Thales, il nous faut déjouer le piège qui nous est tendu. Dans le peu de temps qui nous est imparti, nous leur disons que nous savons. Nous savons que ce qu’ils attendent, c’est que nous disions ce que pourraient être des lois et des usages « socialement acceptables » [s’agissant de la reconnaissance faciale]. La même proposition vient alors de nous être faite par le Forum économique mondial et le Conseil national du numérique. Un peu plus de transparence, un semblant de contrôle par la CNIL, une réduction des biais racistes et autres obstacles apparemment »techniques » auxquels se heurtent encore ces technologies, et l’on croit possible d’assurer un compromis »éthique » entre la défense automatisée de l’ordre public et l’État de droit.
Mais nous leur disons tout net : la reconnaissance faciale et les autres technologies de VSA [vidéosurveillance algorithmique] doivent être proscrites. Plutôt que de discuter des modalités d’un »encadrement approprié », nous exprimons notre refus. Nous leur disons que, pour nous, la sécurité consiste d’abord en des logements dignes, un air sain, la paix économique et sociale, l’accès à l’éducation, la participation politique, l’autonomie patiemment construite, et que ces technologies n’apportent rien de tout cela. Que sous prétexte d’efficacité, elles perpétuent des logiques coloniales et déshumanisent encore davantage les rapports qu’entretiennent les bureaucraties policières à la population. »
….
« Le glissement de l’urbanisme cybernétique vers des applications techno-sécuritaires semble irrésistible. Début 1967, aux États-Unis, une autre commission lancée par le président Johnson et dirigée par l’ancien ministre de la Justice de Kennedy, Nicholas Katzenbach – qui rejoindra d’ailleurs IBM en 1969 et y fera une bonne partie de sa carrière – a, elle aussi, rendu un rapport sur la montée des « troubles à l’ordre public » (…). C’est un programme d’ampleur qui est proposé : édiction d’un plan national de R&D qui devra notamment se pencher sur l’approche des politiques pénales en termes de « système », relevés statistiques couplés au déploiement d’ordinateurs et à la géolocalisation des véhicules de police pour optimiser voire automatiser l’allocation des patrouilles et s’adapter en temps réel à la délinquance, automatisation de l’identification biométrique par empreintes digitales, technologies d’aide à la décision dans le suivi des personnes condamnées, etc. La pensée techno-sécuritaire infuse l’ensemble des recommandations. Et l’on remarquera au passage combien la police du futur des années 1960 ressemble à la nôtre. Comme si le futur, lui non plus, ne passait pas. »
…
« Lorsque la technologie échoue à rendre la police plus précise ou efficace dans la lutte contre la délinquance, cela ne signifie pas qu’elle ne produit pas d’effets. Constater un tel échec doit plutôt inviter à déplacer le regard : l’une des principales fonctions politiques dévolues aux technologies ne consiste pas tant à produire de la « sécurité publique » qu’à relégitimer l’action de la police, à redorer le blason de l’institution en faisant croire à un progrès en termes d’efficience, d’allocation des ressources, de bonne gestion, de transparence, de contrôle hiérarchique. Il en va ainsi depuis la fin du XIXe siècle et le début de la modernisation de la police, lorsque le préfet Lépine mettait en scène l’introduction de nouveaux équipements, les bicyclettes ou les chiens de police. C’est aussi une dimension centrale des premiers chantiers informatiques des années 1960 que de rationaliser une administration perçue comme archaïque. Reste que cette promesse d’une police rendue plus acceptable, transparente ou légitime grâce à la technologie est toujours trahie dans les faits. »
…
« Tandis que l’extrême droite s’affirme de manière toujours plus décomplexée partout dans le champ du pouvoir, ces processus grâce auxquels les élites libérales gèrent la dissonance cognitive induite par leur complicité objective avec la spirale autoritaire en cours forment l’un des rouages les plus efficaces du fascisme qui vient. »
09.10.2024 à 14:06
bastien
Les Jeux Olympiques et Paralympiques se sont achevés il y a un mois. Alors que les rues de Marseille ou de Paris et sa banlieue sont encore parsemées de décorations olympiennes désormais désuètes, les promoteurs de la surveillance s’empressent d’utiliser cet événement pour pousser leurs intérêts et légitimer la généralisation des dispositifs de vidéosurveillance algorithmique (VSA). Si nous ne sommes pas surpris, cette opération de communication forcée révèle une fois de plus la stratégie des apôtres de la Technopolice : rendre à tout prix acceptable une technologie dont le fonctionnement reste totalement opaque et dont les dangers sont complètement mis sous silence. Les prochains mois seront cruciaux pour peser dans le débat public et rendre audible et visible le refus populaire de ce projet techno-sécuritaire.
Comme prévu, la vidéosurveillance algorithmique a été largement déployée pendant les Jeux Olympiques. Il le fallait bien, puisque c’est au nom de ce méga événement sportif qu’a été justifiée l’« expérimentation » de cette technologie d’analyse et de détection des comportements des personnes dans l’espace public. Pour rappel, la loi du 19 mai 2023 relative aux Jeux Olympiques et Paralympiques de 2024 a permis aux préfectures d’autoriser un certain nombres d’acteurs à déployer des logiciels dopés à l’« intelligence artificielle » sur les images des caméras publiques afin de repérer un certain nombre de comportements soi-disant « suspects » et déclencher des alertes auprès des agents de sécurité ou des forces de l’ordre.
Contrairement à ce que le nom de la loi indique, cette capacité de mettre en place une surveillance algorithmique dépasse largement le moment des seuls Jeux Olympiques. Les policiers peuvent ainsi réquisitionner la VSA pour des « manifestations sportives, récréatives ou culturelles qui, par l’ampleur de leur fréquentation ou par leurs circonstances, sont particulièrement exposées à des risques d’actes de terrorisme ou d’atteintes graves à la sécurité des personnes ». Or, ce critère de « risque » a rapidement été apprécié de façon très large. La VSA a été déployée à l’occasion de concerts, de matchs de foot, de festivals ou encore lors du défilé du 14 juillet. Également, la durée de l’expérimentation dépasse largement celle des seuls Jeux et s’étend jusqu’en mars 2025. La ville de Cannes a ainsi annoncé qu’elle déploiera la VSA à l’occasion de cinq événements à venir : les NRJ Music Awards, le Marathon des Alpes-Maritimes, le marché de Noël, le feu d’artifice du Nouvel An et… le Marché international des professionnels de l’immobilier 2025. On le comprend, il ne s’agit pas tant de prouver un lien avec un risque particulier pour la sécurité que de trouver un prétexte pour tester ces technologies.
Mais revenons aux Jeux et à ce moment de « vraie vie » selon les termes employés par Emmanuel Macron. Que s’y est-il passé ? D’abord, les algorithmes de détection de l’entreprise Wintics ont été déployés dans 46 stations de métros et 11 gares SNCF ou RER. Comme cela avait déjà pu être le cas pour d’autres expérimentations, les stations concernées n’avaient parfois aucun rapport avec les lieux où se déroulaient les épreuves des Jeux. De nouveau, les acteurs de la surveillance tordent le cadre juridique pour le plier à leurs volontés. Aussi, alors que les pouvoirs publics sont tenus d’informer les personnes filmées qu’elles sont transformées en cobayes, ceux-ci se sont contentés du service minimum. Des petites affichettes ont été placardées dans le métro, peu visibles pour les passant⋅es dont le regard était davantage incité à lire une propagande sécuritaire « légèrement » plus grande.
Ensuite, la VSA s’est étendue aux images de l’espace public aux alentours de 11 sites des Jeux Olympiques (comme le Stade de France ou la Place de la Concorde). Pour cette surveillance des rues, la préfecture de police n’a publié que le 30 juillet au soir l’autorisation préfectorale nécessaire à cette expérimentation, qui avait pourtant débuté… le 26 juillet. Comme on suivait cela de près, nous avons déposé une plainte auprès la CNIL, et ce afin de la pousser à faire son travail en sanctionnant l’État pour ces quatre jours de surveillance illégale. Les mêmes dispositifs de VSA ont ensuite été renouvelés lors des Jeux Paralympiques pour prendre fin le 9 septembre dernier. Depuis cette date, la course à la promotion de ces outils a repris de plus belle au sein des acteurs du système de surveillance qui n’hésitent pas à jouer des coudes pour imposer leur agenda.
Théoriquement, la loi sur les JO prévoit que cette « expérimentation » de VSA soit soumise à une évaluation par un comité créé pour l’occasion, regroupant expert·es de la société civile, parlementaires et policiers. Ce comité est chargé d’analyser l’efficacité et l’impact de cette technologie selon des critères prévus par décret. Un rapport doit ensuite être remis au Parlement, le 31 décembre 2024 au plus tard. Si nous n’avions déjà que peu d’espoir quant à la capacité pour le comité de travailler de manière indépendante et d’être entendu dans ses conclusions, il n’empêche que celui-ci existe. Le Parlement a en effet choisi de conditionner une éventuelle pérennisation du cadre expérimental de la loi JO à son évaluation. Un garde-fou minimal dont le Conseil constitutionnel a souligné l’importance pour assurer toute éventuelle pérennisation du dispositif, qui serait alors à nouveau soumise à un examen de constitutionnalité.
Cela n’empêche pourtant pas les promoteurs de la VSA de placer leurs pions en communiquant de manière opportuniste afin de faire pression sur le comité d’évaluation et l’ensemble des parlementaires. Ainsi, le 25 septembre dernier, le préfet de police et ancien ministre Laurent Nuñez a ouvert le bal lors d’une audition par les député⋅es de la commission des lois. Sans apporter aucun élément factuel étayant ses dires, sans même faire part des très probables bugs techniques qui ont certainement émaillé le déploiement d’algorithmes de VSA qui pour certains étaient testés pour la première fois à grande échelle, il affirme alors que la VSA aurait d’ores et déjà « démontré son utilité », et appelle à sa prorogation. Et il s’emploie à minimiser les atteintes pour les libertés publiques : le préfet de police assure ainsi qu’il ne s’agirait en aucun cas de surveillance généralisée mais d’une simple aide technique pour trouver des flux anormaux de personnes. Comme si la légalisation des cas d’usage les plus problématiques de la VSA, dont la reconnaissance faciale, n’étaient pas l’un des objectifs des promoteurs de la Technopolice. Même le journal Le Monde s’est inquiété de cette déclaration de Nuñez dans un éditorial dénonçant la technique du « pied dans la porte » utilisée par le préfet.
Ensuite est venu le tour du gouvernement. Dans sa déclaration de politique générale, Michel Barnier a prononcé la phrase suivante, floue au possible : « Le troisième chantier est celui de la sécurité au quotidien : les Français nous demandent d’assurer la sécurité dans chaque territoire. Nous généraliserons la méthode expérimentée pendant les Jeux olympiques et paralympiques. ». À aucun moment le Premier ministre ne précise s’il a en tête la VSA ou la concentration ahurissante de « bleus » dans les rues, ou d’autres aspects du dispositif policier massif déployé cet été. Cela n’a pas empêché France Info de publier un article largement repris dans les médias annonçant, sur la base de cette déclaration, que le gouvernement envisageait de prolonger l’expérimentation de la vidéosurveillance algorithmique. En réalité, il s’agissait d’une « interprétation » venant du ministère de l’Intérieur, pressé d’imposer l’idée d’une pérennisation, quitte à faire fi du cadre légal de l’évaluation (le nouveau ministre Bruno Retailleau ayant bien fait comprendre que le respect du droit n’était pas sa tasse de thé). Résultat de cette opération d’intox de Beauvau : Matignon, soucieux de ne pas froisser le comité, « rectifie » auprès de France Info et affirme que le gouvernement attendra bien le rapport du comité. Bref, des petites phrases et des rétropédalages qui permettent au final au gouvernement de miser sur les deux tableaux : d’un côté, il tente de préempter le débat en imposant d’emblée la perspective d’une pérennisation et, de l’autre, il s’efforce de sauver les apparences, en laissant entendre qu’il suivra scrupuleusement le processus défini dans la loi. Reste qu’à Beauvau et très certainement aussi à Matignon, la pérennisation de la VSA est un objectif partagé. Le désaccord, si désaccord il y a, semblerait plutôt porter sur le tempo des annonces.
Tout ceci nous rappelle une chose : la bataille qui se joue maintenant est celle de l’acceptabilité de la VSA. Il s’agit pour les pouvoirs publics de fabriquer le consentement de la population à une technologie présentée comme évidente et nécessaire, alors qu’elle porte en elle un projet d’accaparement sécuritaire de l’espace public, de discrimination et de contrôle social, portés à la fois par une industrie de la surveillance en croissance et un régime de moins en moins démocratique.
Pour vous informer sur la VSA et vous y opposer, retrouvez notre brochure sur le sujet et d’autres ressources sur notre page de campagne. Et pour soutenir notre travail, n’hésitez pas à faire un don.