Aux Etats-Unis, la fronde contre le développement des détecteurs automatiques des numéros de plaques d’immatriculations est forte. Si quelques caméras Flock ont été vandalisées, ce sont surtout nombre de conseils municipaux abonnés au système qui rejettent et résilient leurs contrats avec l’entreprise qui les installe, suite notamment aux révélations de l’utilisation du système par l’ICE, la police qui de l’immigration américaine, qui s’en sert pour traquer les étrangers sans lien avec des infractions de circulations. 

Pour faire face à la fronde, Flock a fini par réagir et a annoncé une série de changements dans les modalités de partage d’information avec les forces de l’ordre américaine. Des changements surtout cosmétiques, ironise Gizmodo. L’entreprise, en effet, propose désormais que par défaut, la durée de conservation des informations passe de 30 à 7 jours. Mais en fait, précise l’entreprise, « les forces de l’ordre peuvent prolonger ou réduire cette période. Chaque collectivité continuera de choisir la durée de conservation adaptée à sa stratégie de sécurité publique et conforme aux politiques locales ou étatiques. » Elle annonce également un dispositif supplémentaire (le mode « Preuve ») qui permettra à la police de conserver « des données LAPI (systèmes de Lecture automatisée de plaques d’immatriculation) spécifiques à titre de preuve pour une enquête en cours, dans un stockage à long terme ». L’ACLU (American Civil Liberties Union) a publié une réponse moqueuse (« Flock semble davantage viser à résoudre un problème d’image qu’à s’attaquer aux atteintes majeures à la vie privée et aux autres préjudices engendrés par ses produits ») et maintient sa campagne invitant les citoyens à agir pour « se débarrasser du Flock » (Get the Flock out). L’Institut pour la Justice a pour sa part publié une base de données pour recenser les abus d’utilisation des systèmes de lecture automatisée de plaques d’immatriculation. L’ACLU rappelle que si Flock souhaite évaluer l’efficacité de son outil et notamment mieux surveiller les usages abusifs qu’en fait la police, l’entreprise devrait le soumettre à l’analyse d’un évaluateur indépendant. Flock a déjà par le passé annoncé des mesures de sécurité liées au motif de recherche, mais elles n’ont produit aucune amélioration, bien au contraire. Comme, le rappelle Gizmodo, « il est difficile d’imaginer qu’une personne prête à détruire une caméra Flock changera d’avis simplement parce que la durée recommandée de conservation des données passe de 30 à 7 jours ». 

Dans un entretien à la BBC, le PDG de Flock, Garrett Langley, ajoute qu’il s’est rallié à l’idée d’organisations telles que l’ACLU et l’Electronic Frontier Foundation (EFF), selon lesquelles la police devrait disposer d’un numéro de dossier en cours pour pouvoir consulter les données de Flock. Pour Cooper Quentin, de l’EFF, « les requêtes dans les bases de données [de lecteurs automatiques de plaques d’immatriculation], devraient impérativement faire l’objet d’un mandat judiciaire ». Ce n’est pas le cas. 

Alors que le gouvernement américain surveille activement sur les réseaux sociaux les publications anti-Flock devenues virales, rapporte 404 media, et menace le site DeFlock, qui cartographie la présence des caméras, son initiateur, Will Freeman, rappelle qu’il n’a jamais appelé à neutraliser les caméras ni à masquer les plaques d’immatriculation, contrairement à ce qu’affirment les récents bulletins des forces de l’ordre. Le vandalisme montre surtout que les gens sont mécontents de voir ces systèmes installés à leur insu ou sans leur consentement. Mais le sabotage semble surtout assez anecdotique, bien moindre en tout cas que la contestation qui pousse les citoyens à demander des comptes aux autorités locales qui tissent des partenariats avec l’entreprise Flock. 

Comme l’explique une enquête de New Republic sur la montée de la contestation contre les systèmes de caméras LAPI, « Flock constitue un système de surveillance de masse d’une puissance – et d’une rentabilité – stupéfiante. Ses caméras LAPI sont utilisées par plus de 1 000 entreprises et environ un tiers des 18 000 services de police des États-Unis ». L’ACLU l’estime à le nombre de caméras de surveillance des plaques d’immatriculations déployées aux Etats-Unis à 90 000. Quant à l’entreprise, elle a généré un chiffre d’affaires de 285 millions de dollars en 2024. Le géant du capital-risque Andreessen Horowitz a récemment valorisé l’entreprise à 7,5 milliards de dollars. 

Alors qu’il valorise son entreprise en promettant rien de moins que l’élimination de la criminalité des Etats-Unis d’ici une décennie, l’année dernière, Garrett Langley a qualifié DeFlock d’« organisation terroriste ». A l’heure où les actions de résistance anti-tech sont devenues, aux Etats-Unis, une menace terroriste, Will Freeman répond que son site, DeFlock, est surtout un outil de transparence. 

Les études (2019 et 2024), jusqu’à présent, montrent surtout que l’efficacité des caméras à prévenir le crime est plus que douteuse. « En 2022, l’entreprise s’est vantée que ses caméras à San Marino, en Californie, avaient entraîné une baisse de 80 % des cambriolages en cinq mois ; Forbes a révélé par la suite que les cambriolages avaient en réalité augmenté dans les années suivant l’installation des caméras de Flock ». « Même si les caméras et le réseau de surveillance de Flock contribuent à élucider certains crimes, les critiques estiment que le prix à payer en matière de vie privée est trop élevé. La police a été prise en flagrant délit d’utilisation illégale des données de Flock pour localiser une femme cherchant à avorter, pour traquer et harceler des individus, surveiller des manifestations ou prêter main-forte aux services d’immigration de l’ICE pour arrêter des individus depuis de simples suspiscions. » 

« Au minimum, cette surveillance de masse implique le suivi, sans mandat, de toute personne circulant sur la voie publique », a averti l’ACLU. « Au pire, elle instaure un État policier numérique où les forces de l’ordre […] peuvent traquer manifestants, opposants politiques, immigrés, patients et autres personnes non soupçonnées de crime, et utiliser ces informations pour leur nuire. »

Une contestation de droite comme de gauche

Sous la pression populaire d’opposants à Flocks, locaux et actifs, « Austin, au Texas, a suspendu son programme Flock en juin dernier face à la contestation locale, tandis qu’Evanston, dans l’Illinois, y a mis fin en août. Selon la NPR, au moins 30 localités « ont soit désactivé leurs caméras Flock, soit annulé leurs contrats depuis le début de l’année 2025 ». » A Ithaca, les manifestations ont fait reculer la police. Par des pétitions, des interventions publiques et des tribunes dans la presse locale, le collectif local, Flock Off, a quelque peu freiné les activités de l’entreprise. En octobre, le bureau du shérif du comté a cessé de partager les données Flock avec les comtés collaborant avec l’ICE. En février, suite à une  manifestation devant l’hôtel de ville, la police locale a réduit le nombre de services avec lesquels elle partageait les données. « À bien des égards, cela prouve qu’au niveau local, la démocratie peut encore fonctionner », estime le responsable du groupe Flock Off local. Le prochain objectif de Flock Off est de faire résilier purement et simplement le contrat passé avec la ville.

« Si les groupes opposés à Flock émergent généralement de bastions progressistes, certains États dirigés par des républicains ont également pris des mesures pour restreindre la surveillance par ces systèmes. Les libertariens, en particulier, s’opposent à Flock : le magazine libertarien Reason a publié plusieurs articles critiquant l’entreprise, qu’il accuse de mener un programme de surveillance de masse orwellien », rapporte New Republic. 

Le New York Times s’est également intéressé à « ces caméras que la police adore et que les citoyens détestent ». Au Texas, rapportent les journalistes Fernando Alfonso III et Kashmir Hill, « il est un point sur lequel progressistes et conservateurs s’accordent : ils ne veulent pas de caméras braquées sur leurs voitures ». Pourtant, les Américains sont habitués à la vidéosurveillance. « Ils en installent sur leurs sonnettes et les acceptent au coin des rues, dans les bureaux et les restaurants ». Mais, ce qui distingue les caméras Flock, rappellent les journalistes, « c’est qu’elles sont connectées entre elles, formant un vaste réseau national interrogeable ; cette situation surprend souvent les habitants – qui ignoraient que leurs autorités locales avaient souscrit à ce service – et suscite des craintes d’une surveillance digne de « Big Brother ». De plus, il est difficile de ne plus les voir une fois qu’on a commencé à les remarquer. » Le Texas est devenu un baromètre, estiment les journalistes. « Flock a commencé à vendre ses services aux services de police début 2020, en installant quelques dizaines de caméras dans une banlieue de Houston. Six ans plus tard, 700 services de police texans ont passé contrat avec l’entreprise. L’opposition regroupe des progressistes inquiets de la surveillance gouvernementale, des conservateurs méfiants à l’égard de l’extension du pouvoir de l’État, ainsi que des citoyens et des élus soucieux de leur vie privée et préoccupés par les possibles dérives du réseau. » A l’image de Hannah Foust, qui vit à Carrollton (Texas), qui a commencé à publier des messages sur les lecteurs de plaques d’immatriculation dans des groupes Reddit et a lancé une pétition en ligne pour obtenir le retrait de ces caméras de sa commune. Devant le conseil municipal, elle explique : « Je ne commets aucun délit, mais je ne veux pas nécessairement que quiconque – et encore moins des agences gouvernementales ou une entreprise privée – puisse voir où je dépose mes enfants, quel itinéraire je privilégie pour me rendre au travail, si je préfère H-E-B ou Kroger, ou quel lieu de culte je fréquente. » À travers le Texas, l’opposition à ces caméras transcende les clivages partisans. Les contrats de Flock ont ​​été résiliés aussi bien à Austin, ville progressiste, qu’à Bandera, une localité conservatrice de la région de Hill Country comptant environ 900 habitants. « Au Congrès, Keith Self, un républicain dont la circonscription se situe au nord de Dallas, a déposé un projet de loi en juillet. Ce texte imposerait aux agences fédérales chargées de l’application de la loi d’obtenir un mandat avant d’accéder aux données collectées par les systèmes de surveillance étatiques et locaux – notamment les lecteurs de plaques d’immatriculation – ou de les interroger. » Pour un colonel de l’armée à la retraite et ancien juge de comté, « nous sommes en train de basculer vers un État de surveillance », estime-t-il, en flirtant avec des dénonciations que l’on retrouve dans les pire propos conspirationnistes d’extrême-droite, comme ceux que colporte, à longueur d’émission, la War Room de Steve Bannon.

Flock, la plateforme d’hypersurveillance des déplacements

« Flock facture environ 3 000 dollars par caméra et par an, a précisé M. Langley. En contrepartie, l’entreprise installe et entretient les caméras, fournit une base de données consultable répertoriant tous les véhicules qui passent devant elles et envoie des alertes si les caméras repèrent des voitures figurant sur une liste de surveillance prioritaire – comme la base de données du FBI recensant les véhicules volés et les plaques d’immatriculation associées à des personnes disparues ou recherchées. Ces dernières années, grâce aux progrès de l’intelligence artificielle, Flock a ajouté une fonctionnalité permettant de rechercher des voitures en fonction de leur marque, de leur type, de leur couleur ou de détails spécifiques, tels que des autocollants sur le pare-chocs ou des dommages visibles.» 

« Pour effectuer une recherche, les agents précisent le type de délit, allant de la cruauté envers les animaux à l’homicide. Ils saisissent ensuite un numéro de plaque d’immatriculation ou une description du véhicule ainsi qu’un lieu, ou optent simplement pour l’option par défaut : « Tous les réseaux sélectionnés ». La recherche affiche les images des voitures correspondantes, en indiquant précisément l’heure et le lieu où elles ont été repérées, ainsi que le service de police auquel appartenaient les caméras. Par défaut, les photos prises par les caméras sont supprimées au bout de 30 jours, bien que les services de police puissent modifier la durée de conservation.

Si un service de police souhaite accéder à d’autres caméras ailleurs dans l’État ou dans le pays, il doit partager l’accès aux siennes. La plupart des organismes effectuent des recherches et partagent des informations à l’échelle nationale. » 

L’éditorialiste et animateur de télévision de droite radicale américain Tucker Carlson, qui pourrait être candidat à la prochaine élection présidentielle américaine, s’est récemment moqué de l’assimilation faite par M. Langley entre un projet de cartographie participative et le terrorisme. Carlson a déclaré n’avoir pris conscience que récemment de l’ampleur du réseau Flock après avoir consulté le site de DeFlock ; il a confié au New York Times que cette découverte l’avait « horrifié ». Il s’est dit surpris qu’un système de surveillance aussi vaste ait pu se développer en suscitant si peu d’attention de la part du public… Tant et si bien que le PDG de Flock a depuis présenté ses excuses pour ses propos assimilant le site DeFlock au terrorisme. 

« Que l’on soit libertarien, conservateur, partisan du mouvement MAGA ou progressiste, tout le monde a des objections à l’encontre de Flock », a déclaré Chad Marlow de l’ACLU. Reste que si l’opposition au Texas attire peut-être l’attention, elle n’a pas freiné la croissance de Flock. À travers l’État, de nouvelles villes signent des contrats plus rapidement que d’autres ne les résilient, a indiqué Jennifer Szimanski, porte-parole de la Combined Law Enforcement Associations of Texas, un syndicat de police représentant plus de 28 000 agents. Selon elle, la raison repose sur les résultats impressionnants du réseau. Certains services de police texans ont retrouvé des centaines de véhicules volés après avoir installé ces caméras, a-t-elle précisé, et dans les petites municipalités, les vols dans les véhicules ont pratiquement cessé. Pour elle, le risque d’utilisation abusive du système par les policiers texans n’était pas plus élevé qu’avec les autres bases de données auxquelles ils ont accès, et que Flock fournissait un historique de chaque recherche, précisant qui l’avait effectuée et pour quel motif.

La possibilité de rechercher n’importe quel véhicule circulant sur les routes du pays est certes pratique pour les autorités, mais Barry Friedman, professeur de droit et directeur du Policing Project, soutient que la création d’une vaste base de données sur les déplacements des Américains est inconstitutionnelle : « il s’agit d’une collecte de données indiscriminée, et non d’une surveillance ciblant des infractions spécifiques ». « Si le quatrième amendement existe, c’est parce que l’on estimait que le gouvernement ne devrait pas pouvoir s’en prendre à n’importe qui, même en l’absence de tout acte répréhensible. » 

Jusqu’à présent, les tribunaux ont rejeté cette interprétation, tout en laissant entendre que la situation pourrait évoluer à mesure que la technologie se généralise. Dans une affaire où des habitants avaient poursuivi la ville de Norfolk (Virginie) pour l’installation de 172 caméras Flock, un juge fédéral a statué que les lecteurs de plaques pourraient un jour devenir si omniprésents que leur utilisation s’apparenterait à une surveillance de masse indiscriminée et inconstitutionnelle, mais que ce n’était pas encore le cas. « Je ne pense pas que les juges réalisent que le pays est désormais couvert par ces dispositifs et qu’ils sont tous interconnectés », a déclaré Sid Thaxter, de l’Association nationale des avocats de la défense pénale.

En attendant, la police américaine invite les agents à ne plus mentionner le fait qu’ils ont eu recours à une technologie de détection automatique des numéros de plaques d’immatriculations dans leur rapports ou auprès des personnes qu’ils appréhendent, rapporte 404media. « Lorsque les forces de l’ordre utilisent Flock pour procéder à une arrestation dans le comté de Wapello, en Iowa, elles ne souhaitent pas que la personne concernée le sache. Une politique d’utilisation des caméras de lecture automatique de plaques du comté ordonne explicitement à la police de garder ce dispositif secret. » Un moyen de rendre encore plus invisible les abus que Flock annonce vouloir limiter. 

Pour Tech Policy Press, Jake Laperruque responsable du projet « Sécurité et surveillance » au sein du Center for Democracy & Technology (CDT), « les systèmes de lecture automatisée de plaques d’immatriculation en général, et le fournisseur de premier plan Flock en particulier, sont confrontés à un moment de prise de conscience publique aux États-Unis. Cette technologie de surveillance provoque des réactions négatives majeures dans tout le pays et devient un sujet de campagne majeur ». Mais pour Laperruque, les risques actuels liés à la vie privée liés aux systèmes de détection des plaques d’immatriculation ne sont que la pointe de l’iceberg et vont s’étendre considérablement dans les années à venir. « À moins qu’ils ne soient sérieusement maîtrisés, ces systèmes deviendront un outil de surveillance de masse bien plus répandu qu’aujourd’hui ». La raison, notamment : de nouvelles fonctionnalités ajoutées à Flock à partir d’analyses automatisées par l’agence fédérale des douanes créant des alertes sur des comportements de conduite suspects et signalant des véhicules à arrêter, rapporte AP News. Un comportement innocent au volant, comme prendre une route secondaire, conduire à des heures indues ou se rendre dans un endroit inhabituel, pourrait devenir des motifs de contrôle. 404 media a révélé également que les vidéos captées par les caméras étaient utilisées pour identifier des formes ou des conducteurs. Une fonctionnalité de recherche en texte libre permet de trouver des personnes tatouées ou portant des maillots de sport spécifiques ; ces recherches incluent parfois l’origine ethnique de la personne visée. A terme, connectée à la reconnaissance faciale, elle pourrait permettre de rechercher des personnes partout sur les routes. « Ces systèmes risquent fort de se transformer en un « œil omniscient » permettant de rechercher n’importe quel type de véhicule, d’objet ou de personne, avec la même facilité que nous recherchons aujourd’hui des mots dans un fichier texte ». Reste à savoir s’il faut limiter ce pouvoir par une accréditation judiciaire pour chercher dans ces images, comme le propose Laperruque ou limiter le développement du réseau. 

Wired rappelle que Flock Safety, géant de la surveillance des véhicules, affirme depuis des années que sa technologie « ne peut ni reconnaître, ni identifier, ni suivre des individus ». Ses pages dédiées à la confiance du public assurent aux clients que la technologie est conçue pour des enquêtes spécifiques, au cas par cas, et « non pour surveiller les gens ». Ce n’est plus le cas, notamment via l’ajout d’innombrables outils qui donnent accès « aux métadonnées des caméras, aux dossiers d’arrestation, aux dossiers d’enquête, aux journaux d’appels, aux résultats d’analyses balistiques ainsi qu’à des bases de données commerciales contenant des numéros de sécurité sociale, dates de naissance, numéros de téléphone, adresses e-mail, informations sur les proches et les associés ». Les requêtes préconfigurées d’OS Investigate, le logiciel de Flock, inversent la logique de recherche. « Un agent n’a plus besoin de plaque, de nom ou d’infraction pour lancer une recherche : il lui suffit d’indiquer un lieu, une période et un schéma comportemental, et le système identifie les personnes correspondant à ces critères. » Pour utiliser ce moteur de recherche, Flock propose des requêtes préconfigurées, comme «« Trouve-moi des témoins en te basant sur les véhicules les plus aperçus dans [tel quartier] au cours des [X derniers jours] durant [telle plage horaire quotidienne] ». Un agent remplit les champs vides et valide la demande. Le résultat est une liste de plaques d’immatriculation que d’autres outils du logiciel convertissent ensuite en noms et adresses de domicile.»

« Dix-neuf de ces requêtes visent à identifier des schémas comportementaux plutôt qu’à consulter un dossier spécifique. Quatorze d’entre elles ne nécessitent ni plaque d’immatriculation, ni nom, ni description physique ; l’agent indique simplement un lieu, un créneau horaire et un comportement.

Certaines requêtes ciblent des véhicules ayant visité au moins trois commerces dans une ville en trois jours, plusieurs banques en une semaine ou plusieurs stations-service entre minuit et 5 heures du matin. Aucune de ces cinq requêtes ne mentionne de cible ou d’incident précis.

L’outil utilisé pour ces recherches intègre un filtre qui exclut les bus, les semi-remorques, les fourgonnettes utilitaires et les remorques ; ainsi, un livreur visitant cinq magasins est retiré de la liste, tandis qu’un conducteur ordinaire effectuant la même tournée y figure toujours. Ce type de recherche s’applique également aux déplacements interurbains : véhicules ayant quitté une ville pour une autre avant d’y revenir dans la semaine, ayant effectué plusieurs allers-retours sur une période de 14 jours ou ayant traversé trois zones successivement.»

Flock se défend en expliquant que ce produit en cours de développement ne proposera pas à terme toutes ces fonctionnalités lors de son lancement commercial. Pour Jay Stanley de l’ACLU : « Nous assistons à un déploiement agressif de l’IA par Flock ; on observe, à certains égards, une frontière très mince entre ce qui est techniquement possible et ce qui est réellement mis en œuvre. » Pour Chad Marlow, avocat à la tête de la campagne « Get The Flock Out » de l’ACLU, le danger est de passer de : « Voyez-vous des schémas criminels ? à Trouvez-moi des schémas criminels, car ces requêtes donneront des résultats différents ». Le risque est de glisser très vite au moment où un agent demandera à une IA quelles personnes elle considère comme les plus susceptibles de commettre des crimes. « Elle ne se fondera pas sur une norme juridique de suspicion criminelle, mais sur ses propres critères internes. » Le code définit déjà les filtres auxquels la requête sera soumise. Le logiciel de Flock associe des recherches de véhicules à des interrogations de fichiers de police classant les individus selon le sexe, la race, l’origine ethnique, la taille, le poids, la corpulence, ainsi que la présence de cicatrices, de marques distinctives et de tatouages. Une fonction permet d’effectuer une recherche uniquement à partir d’une description, en ciblant des enregistrements correspondant à des critères tels que « homme, environ 1,80 m, sweat à capuche noir, tatouage sur l’avant-bras » à proximité d’un lieu donné. L’outil permet à l’agent de délimiter ces critères en choisissant un rayon d’action ou en dessinant des formes libres sur une carte. Selon Stanley, cette pratique s’apparente étroitement à la question examinée par la Cour suprême des États-Unis en juin dernier : la Cour a alors statué que les individus conservent un droit à la vie privée concernant les données retraçant leurs déplacements et que le quatrième amendement s’applique lorsque la police réclame ces informations à une entreprise. Dans le cas présent, les services de police achètent directement cette capacité technologique, ouvrant la voie à des recherches exploratoires (fishing expeditions) d’une ampleur inédite.

L’année dernière, un policier du Texas a effectué des recherches sur plus de 83 000 caméras à travers le pays pour retrouver une femme ayant pratiqué un avortement elle-même, selon des journaux de recherche obtenus initialement par 404 Media. Une enquête récente du Washington Post a révélé qu’une cinquantaine d’agents de police avaient été inculpés ou accusés d’usage abusif des systèmes de lecture de plaques d’immatriculation : 26 d’entre eux les utilisaient pour surveiller leur épouse, leur petite amie, leur ex-compagne ou des femmes qu’ils souhaitaient rencontrer. En août dernier, les autorités de régulation de l’Illinois ont conclu que Flock avait enfreint la loi de l’État en menant un programme pilote – aujourd’hui suspendu – qui donnait au service des douanes et de la protection des frontières accès aux caméras situées dans l’État.

Flock laisse à ses clients le soin de définir la plupart des règles. Les responsables des services décident qui obtient des identifiants, si les données des caméras doivent être partagées au-delà des limites de la ville ou de l’État, et s’il convient d’activer les paramètres proposés par l’entreprise pour prévenir les abus. L’outil d’audit, conçu pour repérer les schémas suspects dans les recherches effectuées par un service, a été lancé en avril 2026 en tant qu’option activable par les forces de l’ordre. Or, selon le Washington Post, de nombreux services de police ont jusqu’à présent peu surveillé les recherches qu’accomplissent leurs agents sur ces systèmes.

L’Electronic Frontier Foundation a examiné des ensembles de données portant sur plus de 12 millions de recherches enregistrées sur une période de 10 mois ; elle a constaté qu’environ 20 % d’entre elles ne mentionnaient qu’un terme vague tel que « enquête », « suspect » ou « requête ». Plus de 50 services ont effectué des centaines de recherches dont le champ « motif » faisait référence à des manifestations.

Comment réguler le changement de nature de la surveillance ?

« Flock ambitionne bien au-delà de la simple lecture automatique des plaques d’immatriculation ; l’objectif est de devenir une plateforme numérique pour le maintien de l’ordre », explique Bob Ferguson, gouverneur de Washington, à l’origine d’une proposition de loi pour réguler le déploiement des caméras. « Nous sommes à l’aube de l’ère de la police automatisée et la capacité à créer des chatbots en langage naturel capables d’effectuer des recherches dans d’immenses bases de données deviendra bientôt la norme. »

Pour Jason Pye, du Due Process Institute, il y a peu de preuves que ces technologies contribuent à faire baisser la criminalité. Il rappelle que, contrairement à ce qu’affirme l’administration Trump, la criminalité violente américaine est en baisse depuis les années 90 (758,2 crimes pour 100 000 habitants en 1991 contre 348,6 en 2024). La raison de cette baisse n’est pas unique, elle n’est pas liée uniquement à l’augmentation de l’incarcération (qui s’est stabilisée dans les années 2000 alors que la criminalité a continué à chuter), mais également à l’amélioration des perspectives économiques, aux mutations des marchés de la drogue, voire même au vieillissement de la population. Si des études montrent que les LAPI peuvent aider la police à identifier des véhicules volés, à générer des pistes d’enquête et, parfois, à élucider des crimes. Établir qu’ils jouent un rôle significatif dans la baisse de la criminalité observée après 2020 est une tout autre affaire, bien plus complexe à démontrer. 

Et Pye de citer deux études portant sur l’effet des LAPI : la première note que le déploiement à Atlantic City est associé à une baisse des fusillades, des vols de véhicules et des atteintes aux bien, mais sans reconnaître que le déploiement des caméras puisse être le seul facteur explicatif. La seconde passe en revue l’ensemble des recherches sur le sujet et montre que les preuves que ces systèmes génèrent des avantages plus larges en matière de lutte contre la criminalité restent mitigées. Pye observe ensuite Atlanta, qui compte plus de 3000 systèmes Flock. Or, malgré ce réseau de surveillance sans précédent, les taux d’élucidation des crimes ne se sont pas améliorés. « Par exemple, une arrestation a eu lieu dans 54,3 % des cas d’homicide en 2021. En 2025, seuls 48 % des homicides ont été élucidés. Il existe toutefois des catégories de crimes pour lesquelles les taux d’élucidation se sont améliorés, notamment les cambriolages et les vols dans des véhicules. » De plus, malgré l’un des plus importants réseaux de surveillance des Etats-Unis, le taux de crimes violents à Atlanta a augmenté entre 2024 et 2025 (mais a beaucoup diminué, elle aussi, depuis au moins 2011). Cela ne signifie pas que les LAPI n’apportent rien à la sécurité publique, estime Pye. Ils peuvent être efficaces pour certaines tâches ou certains crimes, mais cela ne signifie pas qu’ils soient à l’origine de la baisse de la criminalité aux Etats-Unis. Et quand bien même ce serait le cas, la question de savoir quel niveau de surveillance l’Amérique est-elle prête à accepter en contrepartie de sa sécurité reste entière, estime Pye. Qui rappelle qu’avec ces systèmes, « il n’est pas nécessaire d’être soupçonné d’un crime pour que les autorités disposent potentiellement d’un relevé indiquant que votre voiture se trouvait à proximité d’une manifestation politique, d’une église, d’une armurerie, d’une clinique médicale ou du domicile d’un tiers. Il s’agit d’une forme de surveillance fondamentalement différente de celle d’un policier vérifiant ponctuellement une plaque d’immatriculation sur l’autoroute ». Le problème, c’est bien le caractère amplificateur de la surveillance que produit la mise en réseau des caméras et la possibilité de les interroger. « Cette situation soulève des questions quant aux personnes habilitées à consulter ces données, aux justifications requises pour effectuer une recherche, à l’étendue du partage de l’information, à la durée de conservation des données et aux conséquences d’une utilisation abusive du système – une éventualité inévitable. Ces questions ne disparaissent pas pour autant du simple fait que les systèmes de lecture automatique de plaques d’immatriculation aident parfois la police à élucider des crimes. » Reste que c’est « une chose qu’un agent de police voit votre voiture traverser un carrefour. C’est tout autre chose qu’un réseau de caméras enregistre discrètement chaque apparition de votre véhicule, stocke ces informations et les rend consultables dans le temps et entre différentes juridictions ». « La question est de savoir si le gouvernement devrait pouvoir exploiter des millions, voire des milliards, d’observations publiques ordinaires et légales pour en faire une carte détaillée et consultable des déplacements des personnes, sans aucun soupçon individualisé ni contrôle significatif ». 

« Supposons que des preuves plus solides finissent par démontrer que Flock prévient certains crimes. Je resterais néanmoins mal à l’aise avec ce compromis. La sécurité publique est importante, certes, mais ce n’est pas le seul critère essentiel dans une société libre. Le respect de la vie privée et l’autonomie sont tout aussi importants. Pouvoir vaquer à ses occupations quotidiennes sans que le gouvernement n’enregistre discrètement ses déplacements est fondamental. Les caméras de Flock ne se limitent pas aux personnes soupçonnées d’avoir commis des crimes. Elles collectent des informations sur tous les automobilistes qui passent devant elles, dont l’immense majorité n’a absolument rien fait de mal.

Bien sûr, ces informations peuvent être utiles à la police. C’est précisément ce qui rend la question si complexe. Presque n’importe quel système de surveillance peut améliorer la sécurité publique s’il fournit au gouvernement davantage d’informations sur nous. Installez suffisamment de caméras à des endroits stratégiques, conservez suffisamment de données et donnez-y accès à un nombre suffisant d’agences : tôt ou tard, ces informations contribueront à résoudre des crimes. L’argument selon lequel « le gouvernement pourrait trouver cela utile un jour » est un critère inacceptable pour déterminer le niveau de surveillance que les Américains sont prêts à tolérer. » Pour Pye, la surveillance omniprésente ne devrait pas devenir une composante normale de la vie américaine. 

Pour The Conversation, le philosophe et criminologue de l’Institut catholique de Lille, Tony Ferri, rappelait que c’est la nature des systèmes de surveillance, quels qu’ils soient, de s’étendre (même si dans son article, il n’évoque pas les dispositifs de lecture automatisés des plaques d’immatriculation). « Un dispositif de contrôle naît pour une cible précise, dans un contexte qui rend son acceptation facile » (…) « puis, par la force de son infrastructure technique désormais disponible, il s’étend, se prolonge, se banalise, bien au-delà de sa justification initiale ». Pris isolément, ces solutions peuvent paraître légitimes. Mais, comme le disait la CNIL elle-même dans un avis de 2022 : « ces outils ne constituent pas une simple évolution technologique, mais une modification de la nature des dispositifs ». Un changement de nature et pas seulement de degré, face auquel nous avons pour l’instant bien peu de réponses pour en limiter la déflagration à l’encontre des libertés publiques.

Ah, oui, les systèmes LAPI se déploient également en France, même si pour l’instant, ce n’est pas avec la même intensité qu’aux Etats-Unis (on compterait 700 lecteurs en France mis en œuvre par la police nationale, la gendarmerie et les douanes, sans compter ceux des municipalités et des acteurs privés, comme les opérateurs de parkings et d’autoroute). Depuis 2024, un système de traitement central a été mis en place. En 2026, le récent projet de loi RIPOST renforce leur utilisation (par exemple à des fins administratives sans avoir à justifier d’une enquête spécifique), étend le régime d’infraction permettant leur consultation ainsi que la durée de conservation des informations à un an, comme s’en inquiétait, bien légitimement, la Quadrature du Net. La plateforme d’hypersurveillance des déplacements se porte bien chez nous aussi !

Hubert Guillaud

Dans un petit livre très historique – Des règles sur mesure : généalogie du profilage algorithmique (Amsterdam, 2026) -, le philosophe du droit, Nathan Genicot, retrace l’histoire des débats autour du déploiement des principaux systèmes de profilage, à savoir les systèmes d’analyse psychologique au travail, les systèmes de calcul de risque assurantiels et les systèmes d’obtention de crédits bancaires. Et ce qui me semble très éclairant dans cet essai, c’est de constater combien les débats, plus riches que ceux que nous pouvons avoir aujourd’hui sur ces sujets, ont été perdus. Et plus encore, qu’ils ne semblent pas plus avoir été résolus hier qu’ils ne le sont aujourd’hui. Le profilage semble embourbé dans ses limites sans parvenir à ouvrir de voies pour les résoudre. 

La rationalité statistique est au fondement des Etats modernes, rappelle Genicot à la suite d’Alain Desrosières (La politique des grands nombres, La découverte, 1993), d’Alain Supiot (La gouvernance par les nombres, Fayard, 2015) ou encore de Theodore Porter (The Rise of Statistical Thinking, 1820-1900, Princeton University Press, 2020). Mais elle est également au fondement de l’intelligence artificielle. Les statistiques permettent à la fois de quantifier le social et de le prédire, de profiler chacun « sous le prisme d’attributs qu’il partage avec d’autres ». Nous sommes non seulement statistifiés, mais également comparés. Le profilage dont nous sommes l’objet, bien souvent par devers nous, consiste à prédire notre comportement depuis la comparaison avec celui des autres à partir des régularités du passé. Partout, nous sommes notés, prédits, quelque soit la marge de certitude ou d’incertitude des traitements et inférences. Le calcul est normalisé, naturalisé par un score, une note. Que ce soit pour s’assurer, emprunter, se loger, obtenir un emploi, recevoir des allocations, être mis en relation avec d’autres…  Pour Genicot, ce profilage, ce scoring, les appariements qui en découlent, sont des techniques de régulation, des outils de gouvernementalité. Mais, alors que la loi s’applique à tous de la même façon, le profilage, lui, permettrait de s’adapter aux caractéristiques de chacun. Pour le philosophe du droit, il promet d’individualiser le droit pour « pleinement réaliser le principe d’égalité », pour produire des « règles sur mesure ». Tout l’enjeu du livre consiste justement à vérifier cela. Est-ce que le profilage remplit cette promesse ? Est-ce qu’il rend la justice plus juste ? 

Des débats de calculs

Pour déplier ses constats, Genicot observe trois milieux où se déploient, presque concomitant des techniques de profilage : le travail, l’assurance et le crédit. Dans chaque secteur, Genicot révèle, extirpe des archives les débats de l’époque. Et ceux-ci sont étonnement nourris. Les calculs d’alors viennent avec des questions. La science balbutiante s’interroge, quand l’ingénierie d’aujourd’hui semble avancer comme un rouleau compresseur, sans vraiment s’interroger des défaillances que ses calculs produisent ou des limites que la statistique atteint, comme le relevait danah boyd il y a quelques années (et qui vient de donner lieu à un livre qui sera publié le 29 septembre aux presses de l’université de Chicago, Data Are Made, Not Found: A Story of Politics, Power, and the Civil Servants Who Saved the US Census). 

Les pratiques de profilage, rappelle-t-il, sont antérieures à la naissance de l’informatique, même si l’informatique va leur permettre de se déployer et de s’étendre sans commune mesure. Les premières classifications sont produites pour distinguer les capacités des élèves en créant des tests mentaux et d’aptitudes avec la psychologie différentielle. Les mathématiques servent alors à mesurer l’intensité et la qualité des sensations, la vitesse de réaction… pour mesurer les différences interindividuelles et caractériser les populations en marge de la société : les aliénés, les criminels, les pauvres, les anormaux. Derrière ces tentatives pour améliorer la justice en permettant aux politiques publiques de s’adapter aux profils de chacun s’amalgame des capacités de discriminations inédites porté par tout un courant eugéniste comme le montrera le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme (Odile Jacob, 1997) ou plus récemment Kate Crawford dans son Contre-atlas de l’intelligence artificielle  (Zulma, 2022, voire également notre critique). Les tests mentaux visent à diagnostiquer les enfants anormaux dans le contexte de l’instauration de l’obligation scolaire, avec, pour ses promoteurs, une volonté d’améliorer la justice sociale. 

Le terme même de profilage naît pour décrire cette mise en nombre des individus, en 1909 et s’accompagne, dès l’origine, d’un mode de production graphique pour relier les résultats aux différents tests. Au-delà de l’école, les tests vont rapidement être appliqués à l’orientation et à la sélection professionnelle, pour mieux faire correspondre les profils psychologiques aux métiers. Genicot, en plongeant par exemple dans les travaux de Jean-Maurice Lahy, dans les années 30, nous montre que les ingénieurs de l’IA n’ont rien inventé. On produit des tests psychologiques sur deux groupes de travailleurs, les bons et les mauvais (selon une distinction déjà pleine de biais, puisqu’elle ne repose que sur l’appréciation de chefs de services et le nombre de fautes professionnelles recensées) pour produire des métriques distinctives. Test qu’on peut ensuite faire passer à tout requérant pour mesurer si ses caractéristiques sont plus proches de l’un ou l’autre groupe. On tente de mesurer l’énergie, l’endurance, la concentration, la capacité d’initiative… via des tests psychométriques qui ne vont cesser de s’affiner. On les fait passer à une galerie de métiers pour tenter d’identifier ce qui singularise chaque secteur… Le profilage est dès l’origine une comparaison aux attributs statistiques des autres. « L’essence du profilage consiste à prédire une variable cachée (ici : une aptitude) de manière probabiliste, c’est-à-dire sur la base de caractéristiques (ici : les résultats obtenus à des tests psychotechniques) qui sont fortement corrélées à cette variable ». On le voit, malgré leurs efforts à « désubjectiver les méthodes d’appréciation », ces techniques les réifient. Les conditions sociales sont invisibilisées dans les capacités des individus : « le profilage réduit des situations sociales à des propriétés individuelles » et les biais de l’entité qui profilent sont passés sous silence. 

Pas étonnant que ces tests professionnels soient donc contestés. Leur caractère discriminatoire en termes de genre, de niveau social, d’origine… se dévoile à mesure que ces profilages se répandent. Les tests d’aptitudes professionnels montrent par exemple que 58% des Américains blancs les réussissent contre seulement 6% des personnes noires. Les débats pour rétablir l’équité se démultiplient alors. Faut-il différencier ces tests selon l’âge, le genre, l’origine ? Ce n’est qu’en 1991 que les Etats-Unis tranchent en prohibant les pratiques d’ajustement des scores selon l’appartenance à un groupe protégé. Mais si le débat est tranché, il n’est pas réglé. J’ai l’impression que l’enjeu de corriger les biais reste entier. Aujourd’hui encore, on ne sait pas vraiment comment les corriger. Comme si les débats, tranchés par le droit, les avait arrêtés, sans stopper les pratiques ni les problèmes afférents. 

Avec le développement du numérique, le profilage va s’amplifier. Le big data permettant de démultiplier le profilage psychologique, malgré toutes les limites de ces tests, comme nous le disaient il y a quelques années déjà le psychologue Alexandre Saint-Jevin. En fait, le profilage va également s’étendre, comme celui des chercheurs d’emploi, initié au prétexte de mieux les accompagner et qui va surtout servir à les sanctionner et faire peser sur eux des contraintes plus importantes (sans que ce contrôle ne produise aucun horizon, comme nous disions en disséquant Chômeurs, vos papiers (Raisons d’agir, 2023), qui soulignait l’inefficacité du contrôle du chômage). Il va conduire également à un recrutement de plus en plus automatisé, où les systèmes calculent (un peu n’importe comment il faut le dire) la correspondance d’un CV à une annonce. Pour Genicot, la « logique corrélationnelle » se répand et s’impose partout, jusque dans l’évaluation des employés sur leurs lieux de travail. L’appréciation des individus par des variables qui ne lui sont jamais propres se couple d’une comparaison statistique des résultats de chacun évalués par rapport à ceux d’un groupe. Le profilage tient tout entier dans ce rapport étrange de soi aux autres, où les limites des métriques utilisées sont invisibilisées par les ratios et indicateurs produits. Comme si finalement les chiffres pouvaient assurer d’une neutralité de façade, d’une neutralité dont les limites ne sont plus interrogées. Les scores de risques sont partout défaillants, il n’empêche qu’ils ne cessent d’être produits et utilisés, comme nous le pointions en lisant Jathan Sadowski.  

En observant les débats du monde assurantiel comme ceux du secteur bancaire, Nathan Genicot montre les mêmes ambiguïtés. 

Quelles discriminations acceptons-nous ?

La sélection des assurés et la tarification des primes sont depuis longtemps rattachées au calcul de probabilités. L’assurance va prendre son essor au XVIIIe siècle après l’essor de l’arithmétique politique qui invente un siècle plus tôt les premières tables de mortalité qui décrivent le nombre de décès par âge. Le risque assurantiel s’est longtemps apprécié au niveau du groupe, plus qu’au niveau individuel, là où la condition de chacun est affectée par la condition des autres. Il faudra néanmoins attendre la loi de 1898 qui impose au patron d’indemniser les salariés victimes d’accidents du travail, pour faire de l’assurance le gage de la réparation. Les assureurs se mettent à sélectionner les risques qu’ils veulent couvrir comme les assurés. Ils comprennent vite que « plus le profilage est affiné, c’est-à-dire plus il y a sélection et tarification différenciées, moins il y a de solidarité ». Une constance simple que tout le monde semble avoir oublié à l’ère du Big Data. 

A défaut de parvenir à identifier d’autres attributs pertinents, l’âge s’impose souvent comme une catégorie principale, notamment pour l’assurance vie. Genicot souligne que le débat a été constant entre individualisation et solidarité. L’assurance n’a cessé de chercher des variables pertinentes. Derrière ces débats, on en voit poindre un autre, plus philosophique s’il en était : quelles segmentations – et donc quelles discriminations – acceptons-nous en tant que société ? Et lesquelles refusons-nous ? Si tout le monde semble accepter celle de l’âge, la discrimination de genre ou sociale par exemple le sont bien moins. Et les débats sur la discrimination d’origine, aux Etats-Unis, décalque des rapports de domination de la société, sont nourris. L’intégration du comportement et du mode de vie aujourd’hui dans le calcul assurantiel reste souvent polémique, à raison, puisqu’il incrimine l’individu et masque les différences créées par les rapports sociaux. 

Comme partout ailleurs, les assureurs produisent des scores pour calculer l’assurabilité de chacun. Les assureurs ne vont cesser de développer un discours pour justifier la segmentation qui leur profite en promouvant des calculs qui seraient dénués de connotation morale, alors que nombre d’entre eux vont user et abuser de pratiques problématiques, par exemple en tenant compte de la domiciliation pour faire grimper les primes des populations racisées par rapport à celles des riches (et blanches) banlieues américaines. Pourtant souligne Genicot, malgré les critiques acerbes contre les pratiques du secteur, peu de monde interroge « la prétention à atteindre l’objectivité dans l’évaluation des risques actuariels. La pertinence du recours aux classifications ne fait, à peu de choses près, pas l’objet de débats ». Pire, comme le soulignait la sociologue Greta Krippner, l’individualisation du risque semble bien plus la conséquence de la lutte contre les pratiques discriminatoires des marchés de l’assurance plutôt que liée à l’émergence du néolibéralisme. Bon, cela ne signifie pas pour autant que l’évolution du capitalisme est absente de la segmentation assurantielle. Celle est stimulée par la liberté tarifaire, et renforcée par les progrès de l’informatique qui va permettre de démultiplier les variables et de faire disparaître les discriminations derrières la complexité des critères. 

La régulation va bien sûr s’inviter dans ces innombrables débats, par exemple en encadrant les tarifs pour prémunir l’exclusion de certains publics, ou en écartant certaines formes de segmentation les plus criantes et problématiques, comme celles sur la religion, le sexe, l’origine ethnique ou la génétique… mais sans remettre en cause nombre de pratiques problématiques. En fait, derrière les débats nourris, la société semble n’être pas parvenue à fourbir de règles claires ne permettant pas les contournements. L’interdiction de faire des distinctions de genre par exemple n’a pas conduit à limiter les possibilités de segmentations, mais à conduit à utiliser des critères plus précis, comme s’y essaie l’assurance avec la prise en compte des comportements, à l’image de la conduite automobile elle-même. Une personnalisation dans laquelle l’assurance oublie sa fonction initiale : celle de mutualiser les risques. 

Genicot rappelle pourtant que l’assurance, pour fonctionner, doit reposer sur une segmentation modérée. Même constat quant au calcul du crédit et de son risque, né lui aussi avec l’essor des techniques statistiques. Dès l’origine, portés par les grands magasins pour faciliter la consommation, ceux-ci déploient des formulaires standardisés pour classer les performances de remboursements des clients. Là encore, « l’apparente objectivité de la classification n’empêche pas la présence d’une large part d’arbitraire dans l’attribution de la note ». Si la standardisation s’impose pour réduire le pouvoir discrétionnaire des agents, la statistique va s’y imposer dès les années 50 en développant des scores pour évaluer les capacités de remboursements de chacun. Enfin, pas seulement. A mesure qu’ils se déploient, là encore, les scores se complexifient, cachant dans leurs critères leurs innombrables jugements moraux et sociaux. En 1963 par exemple, les variables d’un fournisseur de score prennent en compte toute information disponible : le taux de crédit déjà engagé et les revenus bien sûr, mais aussi le statut marital et la profession, en passant par le fait d’être syndiqué. Derrière cette complexification des scores, c’est assurément notre compréhension commune qui s’éloigne, et avec elle, notre capacité à les réguler. Les innombrables facteurs pris en compte servent à obfusquer la discrimination raciale ou de classe à l’oeuvre. On apprend à utiliser des variables très éloignées des nécessités, simplement parce qu’elles peuvent être de bons prédicateurs, comme le fait d’avoir déjà un compte bancaire, ce qui est le cas de 87% de ceux qui paient leurs échéances de crédits… au risque que ces calculs accentuent les biais inhérents. Pas étonnant que, désormais, les économistes eux-mêmes estiment que les banques ne savent plus prêter à ceux qui en ont besoin. C’est comme si, à mesure qu’ils se perpétuent, les calculs se radicalisaient d’eux-mêmes. Comme l’IA semble s’écrouler à mesure qu’elle s’entraîne sur les données qu’elle produit, les calculs de la société semblent s’effondrer sur eux-mêmes à force d’être usés. Les scores de crédits, dont le célèbre Fico Score qui naît en 1956, se développent pourtant dans un contexte de compétition forte, promettant d’élargir le crédit aux plus pauvres. Il s’impose vite comme une métrique universelle… et immuable.

L’informatisation va permettre de renchérir le score de nouvelles variables, notamment cette des cartes de paiements électroniques qui permet de rendre les notes de risques dynamiques. Genicot rappelle que les notes ont une fonction disciplinaire. Elles font penser qu’elle dépend du comportement de chacun quand elles masquent d’abord des enjeux sociaux et de classe. Pire, malgré leurs lacunes intrinsèques, elles sont désormais utilisées pour d’innombrables autres services au prétexte d’un « besoin commercial légitime » : pour louer un logement, pour assurer une voiture, pour être embauché… « Tous utilisent la note de crédit comme un proxy, un indictateur du trait de comportement qu’ils cherchent à évaluer (tel que le fait d’être un bon locataire ou un bon employé) ». Le score de crédit devient un « outil de mesure de la moralité », alors qu’il est surtout, comme le disait Frank Pasquale dans Black Box Society (Fyp, 2015) opaque, arbitraire et discriminatoire. Les scores ne servent pas tant à clarifier les choses, disait-il, mais à les rendre plus obscures. 

Or, les scores modifient le réel qu’ils entendent décrire. Et à mesure que leur usage s’étend, radicalisent leurs effets. « Une mauvaise note entraînera un taux d’intérêt plus élevé, c’est-à-dire des conditions de remboursement plus difficiles pour la personne débitrice, ce qui accroîtra sa précarité économique. Si la note est prise en compte par des bailleurs ou des employeurs, l’incidence de cet effet de boucle sera d’autant plus significative. Une personne qui, à cause d’une mauvaise note, ne trouve pas d’emploi ou ne parvient pas à se loger, aura du mal à rembourser ses crédits et verra sa note diminuer encore davantage ». C’est en cela que les calculs se radicalisent, qu’ils renforcent le « lumpenscoretariat » qu’évoquaient Marion Fourcade et Kieran Healy. 

Là encore, des régulations seront votées pour encadrer les pratiques, mais sans vraiment parvenir à agir autrement qu’en limitant les pratiques les plus discriminantes. Derrière la neutralité des scores se cache l’accélération des biais. Même un score qui ne reposerait que sur les capacités financières des individus, serait foncièrement problématique puisque les capacités à rembourser sont loin d’être équitablement distribuées. Si l’enjeu est bien de prêter de l’argent aux gens, le score, par nature, vise bien plus à limiter le prêt qu’autre chose. Pas étonnant qu’on se retrouve donc avec des organismes bancaires incapables de faire leur métier : prêter de l’argent à ceux qui en ont besoin ! L’information sur les décisions de crédits prises par les organismes, sur leur distribution, la mesure de leur équité… elle est bien souvent inaccessible. Les critères des scoring ou l’étendu des situations où ils sont utilisés également. Les innombrables données peuvent être désormais utilisées comme des prédicteurs de votre capacité de remboursement, également. Partout, l’opacité du scoring est la règle. Quand on voit par exemple le nombre de gens débancarisés, on se dit que les scores de crédit semblent surtout avoir appris, eux, à masquer leurs lacunes. 

Le risque d’un droit… sur mesure

L’essai de Nathan Genicot est bien plus sage que ma lecture énervée. Il souligne néanmoins combien les modèles statistiques et algorithmiques s’imposent dans tous ces secteurs « pour optimiser la prise de décision en se substituant au jugement humain ». Ils imposent l’idée que l’individu est seul responsable de ses notes, faisant fi du contexte social. Mais plus encore, il estime que le risque de ces calculs, de ces profilages, consiste à produire des règles de plus en plus individualisées, au risque d’altérer notre conception du droit lui-même, pour remplacer la règle qui s’applique à tous, par un droit sur mesure, calculé selon le profil de chacun. 

Dans la dernière partie du livre, il revient sur la critique d’une conception mécanique du droit : les peines similaires, impersonnelles, uniformes, à tous ont longtemps été considérées comme un idéal d’objectivité et de justice. L’impersonnalité des processus décisionnels étant vu comme un rempart contre l’arbitraire et un gage de prévisibilité. Mais là encore, au début du XXe siècle, cette conception est critiquée au prétexte que les conditions et le contexte sont toujours significatifs. A l’égalité succède le principe d’équité, et avec lui, l’idée d’une individualisation des peines pour que le droit soit le même pour tous, à l’image de la critique de la TVA ou des contraventions et amendes, qui s’appliquent à tous au même taux, même à Bernard Arnault, alors que leur impact ne sont pas les mêmes selon les revenus des justiciables. Bon, il existe bien sûr des moyens d’y remédier, en fixant par exemples des critères ou des seuils. Car, comme le souligne très justement le philosophe, le problème de l’individualisation est qu’elle n’a pas de limite. On peut personnaliser selon d’innombrables variables, comme nous le montre le marketing numérique. 

Dans les revues académiques du droit, actuellement, le débat est visiblement vif sur ces questions. La rêve d’automatisation invite certains à imaginer d’adapter la loi aux situations au grès des circonstances, à ajuster et calibrer les standards. Mais comment trouver le bon niveau pour traiter à la fois « les mêmes situations de la même manière » et « traiter différemment des situations différentes » ? « Un consommateur impulsif qui réalise régulièrement des achats en ligne pourrait par exemple se voir imposer des conditions plus strictes avant de pouvoir renvoyer un produit et se faire rembourser qu’un consommateur qui aurait, au contraire, un tempérament responsable et prudent ». Certes, mais sur quelles données, quelles inférences serait produit ce jugement comportemental ? Et serait-il lui-même juste, opposable, redevable ? On a un peu l’impression que ces perspectives oublient toutes les limites pointées par les débats passés que l’auteur a mis en avant dans sa généalogie. 

Pour Genicot, « la substitution des systèmes normatifs classiques par des dispositifs de profilage est déjà à l’œuvre », notamment dans les rapports de l’Etat à ses administrés. C’était le cas notamment, dans les années 70 avec le système GAMIN, un des premiers dispositif public de profilage pour conditionner le versement d’allocation familiales. C’est également le cas avec le profilage des bénéficiaires de la CAF et nombre d’autres outils de gestion du social que nous évoquons souvent sur danslesalgorithmes.net. Du profilage des chômeurs aux contrôles des frontières, l’individualisation et le profilage sont partout, mais ils produisent assez peu d’équité et encore moins d’égalité, au contraire. Le profilage produit surtout des conditions plus dures pour les plus vulnérables. L’optimisation prédictive partout où elle se déploie fonctionne mal, cela n’empêche hélas pas le développement d’innombrables formes de notations sociales. 

Pour Genicot, l’interdiction des notations sociales dans ce contexte par l’IA Act est le bienvenue, mais c’est oublier que le texte les rend licite plus qu’elle ne les interdit. Le RIA ne propose que de les encadrer, que de veiller à ce que les notes ne soient ni disproportionnées ni dissociées du contexte de leur production. Le fait que certains soient à haut risque ne fait peser sur eux qu’une surveillance accrue. Il ne vise pas à rendre les notes plus justes qu’elles ne sont. Ils ne nous invitent finalement pas à questionner la société. Il ne nous invite pas à changer la manière dont on calcule, ni ne nous aide à nous défier de l’enkystement des calculs. Il ne nous invite pas à changer la société, alors que demain, pour changer la société, il faudra assurément changer la manière dont elle est calculée. La personnalisation du droit, le profilage administratif, nous invite seulement à continuer la société telle qu’elle est. « Le profilage est profondément conservateur », rappelle le philosophe. « Le profilage conduit donc à créer des traitements différenciés dont il prétend cependant qu’ils sont conformes à l’égalité », sans offrir à la société les moyens de le vérifier. Ce n’est là que la parole des profileurs. Les innombrables enquêtes sur le sujet, notamment sur le profilage social, depuis les travaux pionniers de Virginia Eubanks, montrent toutes l’exact inverse. Aucun n’est conforme à l’égalité. En reposant sur l’individualisation et la responsabilisation de chacun, il est « l’exact inverse de la solidarité ». Le profilage « conduit à l’oblitération des relations et, plus largement du social. Le rapport de l’individu aux autres n’est jamais compris comme celui d’une interdépendance, mais uniquement comme une comparaison à une classe, à une collection d’individus ». « Les notes obscurcissent la dimension structurelle des inégalités sociales ». Et en s’imposant, elles nous empêchent finalement de les remettre en question. 

Au final, l’enquête historique de Nathan Genicot nous rappelle que pour changer la société, il va falloir changer la manière dont elle calcule. 

Hubert Guillaud

La journaliste de Bloomberg, Katrina Manson, a publié en mars un livre consacré au Project Maven : A Marine Colonel, his Team, and the Dawn of AI Warfare (Norton & Company, 2026, non traduit). Maven est le nom du programme d’IA développé par l’armée américaine pour faire la guerre (l’équivalent des programmes israélien que nous avons longuement évoqué dans DLA, notamment dans L’IA, ça sert, d’abord, à faire la guerre). Le livre raconte la bataille d’un officier des Marines, Drew Cukor, pour imposer le projet et convertir l’armée américaine aux promesses de la guerre automatisée. 

On regrettera vivement que le livre soit parfois peu précis sur ce que fait et ne fait pas Maven. Si on y apprend toute son histoire, on n’apprend pas comment le système fonctionne concrètement, ce qu’il arme ni comment. Si le livre évoque longuement le travail sur certaines données, notamment les images et vidéos satellitaires et de drones, c’est au détriment de toutes les autres qui nourrissent aussi le tableau de bord pour faire la guerre, et notamment les données provenant des écoutes téléphoniques, de la surveillance et du renseignement. Son interface qui semble la plus grande réussite du programme à en croire Manson ne nous est jamais montrée. 

Il faut comprendre que l’enquête de la journaliste porte plutôt sur le développement de projet agile au sein d’une bureaucratie contrainte et retorse. Si le livre propose une solide chronologie, Manson semble parfois rater certains enjeux au profit d’une ode à la persévérance et à l’innovation, comme fascinée par ce que Cukor et son équipe sont parvenus à imposer, dans l’adversité. 

Lancé en 2017, le projet Maven est désormais pleinement opérationnel. Il est le projet fondateur du ciblage automatisé. S’il n’est que l’un des 800 projets IA de l’armée américaine utilisés sur les champs de bataille, Maven est devenu son système phare, déployé dans toutes les branches militaires américaines. Plus qu’un outil de ciblage sans précédent, Maven est une plateforme qui concentre les dispositifs de renseignement et d’opérations. 

L’obsession de l’IA

Drew Cukor était officier dans les Marines à Kandahar en Afghanistan après les attentats du 11 septembre 2001. C’est là qu’il découvre les ordinateurs sur le terrain d’opération. Autant dire que sa déception est grande. A l’époque, les listes de cibles produites par le renseignement étaient enfermées dans des fichiers Excel. Chaque service avait ses propres outils d’analyse. Mais ces outils étaient inexploitables sur le terrain. Dès sa thèse dans le corps des marines en 97, Cukor défend que l’intelligence des machines est inutile si les soldats de terrain n’y ont pas accès. Pour lui, les ordinateurs doivent aider à transformer la donnée en intelligence pour l’action. En Afghanistan, puis à Bagdad en Irak, il constate que les ordinateurs sont inutiles aux soldats. Quand il devient le responsable du département du renseignement des Marines en 2010, son objectif est de réparer le renseignement et pour lui, cela signifie y déployer la plateforme de gestion de données proposée par une startup américaine, Palantir, dont il a apprécié la démonstration en 2009. In-Q-Tel, le fond d’investissement de la CIA a investi en 2005, 2 millions de dollars dans Palantir. A l’époque, Palantir n’est qu’un démonstrateur pourtant : il affiche des données provenant de nombreux silos du renseignement et permet de voir quel analyste y accède. Il garde la trace des changements et des indications que portent sur ces informations les agents. Une forme de wiki du renseignement permettant de discuter des informations, de les valider ou de les écarter. Parmi les données disponibles, il y a des appels téléphoniques et leurs transcriptions, des rapports d’interrogatoires, des images et vidéos… Et un système de requête permettant de trouver la trace d’informations dans toutes les informations disponibles pour les recouper. Palantir n’est qu’une interface qui permet d’afficher les données et de coopérer entre analystes sur des données qui proviennent du renseignement. Un tableau de bord.  

Le rapport de la commission du 11 septembre a pointé les défaillances du renseignement et plus encore de matériel pour l’exploiter. Cukor partage le même avis. Pour Cukor, comme pour Thiel et Karp, les fondateurs de Palantir, les attentats de 2001 ont été un choc. Pour eux, le renseignement américain a échoué à empêcher le drame. Pour eux, l’IA est la réponse à apporter : elle a pour mission de transformer le renseignement et les opérations. Mais, les Marines, où Cukor travaille, est le plus petit des services de la Défense américaine et son département spécialisé dans le renseignement est encore plus insignifiant. Cukor décide néanmoins d’utiliser Palantir sur le terrain en Afghanistan, en 2011. Très rapidement, les officiers de terrain le trouvent utile. La Marine l’utilise pour déterminer des routes et des zones d’atterrissage. L’outil est pourtant très imparfait, mais il fait vite la démonstration de ses possibilités. Pour Cukor, comme il le défendra dans une note, la modernisation du renseignement militaire est clé : à l’avenir, l’analyse déterminera qui l’emportera sur le champ de bataille. Le but est d’accélérer et d’améliorer la décision avec l’aide de l’IA. A l’heure où Google fait rouler des voitures autonomes, pourtant, l’armée n’a pas ces outils dans son catalogue. Pas même de système cloud. Et ce quand bien « même si l’internet a été une création du Pentagon et qu’il dépense 38 milliards de dollars par an dans les nouvelles technologies »…. Pour Cukor, tout est à faire. Mais pour convaincre, estime le soldat, il faut des applications concrètes, qui collent au terrain, utiles sur site.

Cukor propose d’utiliser l’IA pour analyser les données des drones et améliorer l’information satellitaire. Cukor va visiter les entreprises qui produisent des voitures autonomes. En 2017, il rencontre IDenTV, une startup qui construit un modèle de vision par ordinateur pour drones, capable de repérer des objets sur une image. Le Congrès valide les fonds. Le projet Maven est lancé. Son ambition est tout de suite de faire du ciblage. Pour lui, l’IA doit aider à sélectionner et prioriser les cibles et aider à apparier la réponse appropriée. Pour lui, le département de la Défense ne devrait plus jamais acheter de systèmes d’armement sans IA intégrée. Son idée fixe est de créer une application de ciblage révolutionnaire et démontrer que l’IA peut « réduire la durée de la chaîne d’engagement entre la détection d’une cible et son traitement : repérer, localiser, neutraliser ». Pour lui, le département de la Défense doit fonctionner bien plus comme une entreprise logicielle que comme une usine d’armement pour être capable de traiter la donnée, actif capital du terrain. 

Pour cela, Cukor se dote d’une équipe dédiée bien sûr. Tous semblent des avoir des profils atypiques, si l’on en croit Katrina Manson. Cukor, plus qu’un visionnaire, est plutôt décrit comme un psychopathe par certains d’entre eux. Un bourreau de travail, obsédé par sa vision. Manson délaye les commentaires des uns sur les autres… 

Du côté de la création de Maven, elle explique que l’enjeu a été d’intégrer peu à peu des informations provenant de différents types de drones et notamment les images qu’ils produisaient, qu’il a fallu faire parler, analyser, pour que les systèmes reconnaissent des formes. Une gageure pas si simple, notamment pour les drones qui volent le plus haut, qui renvoient des images où les informations sont difficiles à identifier du fait même de l’éloignement. Certains motifs ne font parfois que quelques pixels. L’étiquetage des images pour l’entraînement des systèmes n’était pas simple, d’autant que ces images sont produites selon différents angles, altitudes… L’autre enjeu de Maven a consisté à construire l’infrastructure pour sécuriser ces données tout en donnant accès aux agents assermentés comme aux logiciels des entreprises privées. Dès le début Maven se conçoit comme un projet en partie ouvert aux industries de l’IA, notamment aux entreprises capables d’apporter les capacités de traitement et de sécurisation, celles capables d’apporter les logiciels d’analyses des flux vidéos, etc. Manson montre surtout que les capacités du renseignement américain ne reposent pas seulement sur les capacités techniques des agences, mais visent surtout à agencer des infrastructures sécurisées, capables de traiter les volumes de données et l’information, et délimiter les capacités d’action de chacun. La structuration a consisté à ce que le gouvernement s’occupe des données et loue les licences d’usages des systèmes, à charge de les intégrer sans que ceux-ci n’accèdent aux données et les intégrer aux lourds systèmes sécurisés de l’armée. Ces travaux ne se sont pas menés avec les grandes entreprises du secteur, mais plutôt avec de petits acteurs, comme Clarifai.ai ou Xnor… Peu à peu, les entreprises fourbissent des dizaines d’algorithmes d’analyses, certains pour identifier les visages, d’autres pour les images de drones ou satellitaires. Faire apprendre la reconnaissance de formes aux systèmes prend du temps. 

L’enjeu pour Cukor était d’obtenir un démonstrateur utile sur le terrain, même si imparfait. Les premières démonstrations ont lieu en Somalie, 8 mois après le lancement de Maven. La démonstration n’est pourtant pas totalement concluante. L’écran se peuple d’indications de détection et toutes ne sont pas exactes (la moitié sont mêmes complètement fausses). La détection est lente. Mais l’IA montre qu’elle est capable de compter des humains sur un marché, de suivre des convois de véhicules en mouvement, de suivre des individus ciblés. Et puis, elle pointe des individus cachés dans des buissons qu’aucun humain n’avait détectés. L’IA venait de faire la démonstration de son utilité. Malgré ses défauts, l’exemple était saisissant. 

Cukor va tenter de rallier nombre d’acteurs à ses projets. Notamment Google et sa filiale, DeepMind, forte de son succès au jeu de Go, alors que son patron, Demis Hassabis a signé une lettre ouverte en 2015 contre les périls à utiliser l’IA pour la guerre. Les approches de Cukor pour inviter à rallier son projet sont difficiles. Partout, des déclarations s’en prennent au déploiement de l’IA, à l’image des plus actifs et radicaux, les acteurs de Stop Killer Robots, lancé dès 2012. Alors que les dépenses militaires soutiennent des entreprises de la Silicon Valley depuis longtemps, les révélations d’Edward Snowden en 2013 ont refroidi l’ambiance. Une entité de Google finira par signer un contrat avec Maven, pour le stockage d’infrastructure, pour aider l’armée à construire son propre cloud. En mars 2018, ce contrat entre Google et Maven est rendu public, déclenchant une vaste contestation dans l’entreprise… jusqu’à ce que Google annonce son retrait du projet (ou son implication semblait surtout anecdotique, mais symbolique). Microsoft prendra sa place. Puis bien d’autres. En février 2025, Google remisera ses principes. Peu à peu, les entreprises vont se joindre au projet, au prétexte de prêter leur concours à la sécurité nationale. En 2025, Hassabis lui-même affirmera que « les valeurs démocratiques de l’occident sont menacées ». La plupart de ceux qui ont dénoncé les dangers de l’IA se sont rangés pour se mettre au service du marché des armées. Après le retrait de Google d’ailleurs, le projet Maven est renforcé : le programme obtient « l’exemption de sécurité nationale », lui permettant de ne pas répondre de ses actions. Son budget passe de 16 millions de dollars en 2018 à 93 en 2019. Sous la gouvernance de Cukor, le programme Maven aura englouti 1 milliards de dollars.

Un long processus d’amélioration

Maven de son côté étend son projet à d’autres enjeux que l’analyse des images de drones, pour y intégrer des contenus de caméras de sécurité et surtout, des analyses de textes, de contenus audios provenant de l’écoute des communications, de fichiers provenant de documents capturés à l’ennemi. La labellisation permet aux algorithmes de progresser et d’identifier de plus en plus correctement de plus en plus d’objets. Ses équipes se déplacent d’un terrain d’opération l’autre pour tester ses outils, notamment en Afghanistan, où l’équipe se rend compte qu’il faut améliorer les modèles car les données d’entraînement utilisées en Somalie ne fonctionnent pas aussi bien ailleurs. Pour l’instant Maven ne fait que de la détection, mais pour Cukor, l’enjeu est déjà de passer à la phase suivante : cibler. Quand les algorithmes de détection s’améliorent en Afghanistan, ils s’effondrent aux Philippines : les véhicules à détecter ne sont pas les mêmes, l’environnement non plus… À mesure que l’outil s’étend, le travail s’étend. L’enjeu à suivre des cibles est plus complexe que la simple détection… Malgré l’effort de détection, les frappes de drones sont loin d’être parfaitement sécurisées, les erreurs et les dommages collatéraux sont élevés. Mais surtout, Maven va peu à peu devenir ce pourquoi il est peut-être vraiment créé : pas seulement optimiser l’information, mais peut-être plus encore optimiser les ressources militaires, c’est-à-dire concentrer la puissance de feu pour qu’elle ait plus d’effets. L’IA pour faire la guerre est aussi, si ce n’est d’abord, un outil pour optimiser les ressources, décider de quelle arme employer… Maven semble un tableau de bord comme les autres : utilisé pour optimiser et contrôler les dépenses !

Au détour de son histoire, Mason raconte souvent l’obsession chinoise de l’armée américaine. A tous les niveaux, l’armée US semble convaincue que le prochain terrain d’opération sera une confrontation avec la Chine. Les américains sont convaincus que la Chine va reprendre Taïwan, plateforme de la construction des puces électroniques mondiales. Et l’armée américaine est convaincue que l’IA peut les aider à détecter l’offensive chinoise qu’ils attendent et contre laquelle ils se préparent. 

Manson évoque bien sûr Palantir et son PDG, Alex Karp, « le dealer d’armes IA du XXIe siècle ». En quelques années, Palantir est devenu le premier fournisseur de systèmes de Défense au monde. « La seule façon d’être en sécurité pour les Américains, est de s’assurer que ses adversaires aient peur », clame Karp. Pour lui, les activistes de la paix sont une infection. Ses systèmes savent agréger comme nul autre toutes les données, tous les détails sur une carte permettant aux systèmes d’IA et aux analystes de tout voir et de tout planifier. En s’imposant peu à peu comme l’acteur incontournable des systèmes de Défense, Palantir a décroché un accord de 10 milliards de dollars avec l’armée américaine pour les multiples licences à utiliser ses outils. Elle est devenue l’une des entreprises les plus rentables du monde. En 2018, alors que Maven se déploie timidement, Cukor veut déjà aller plus loin. Il voudrait que Maven incorpore tous les systèmes que l’armée utilise pour devenir la plateforme unique, le tableau de bord de la guerre, et notamment, incorporer les vidéos dans sa carte pour permettre aux analystes d’avoir accès à toujours plus d’informations, simplement ou leur permettre de cliquer sur une cible pour que le système la trace et la détruise. Pour cela, Cukor estime qu’il faut intégrer l’IA plus avant, dans le flux de ciblage lui-même. Le problème, c’est qu’à l’époque, l’argent de Maven est destiné à l’intelligence, pas à l’opérationnel. L’armée dispose d’innombrables options logicielles et intégrer l’IA est encore hautement controversé. En avril 2018, Cukor rencontre Palantir et déploie sa vision des systèmes de Défense pour les 10 prochaines années. Il imagine une sorte de Google Earth appliqué à la guerre. Un tableau de bord rassemblant toutes les informations, les structurant, les rendant disponibles… et les analysant. Il demande à Palantir de réimaginer l’interface utilisateur qu’ils proposent avec Gotham, l’un de ses logiciels. De faire quelque chose sur mesure. Cukor va initier des discussions avec nombre de start-ups. En octobre, l’équipe de Maven installe Palantir sur ses serveurs. La communauté militaire est rapidement convaincue de l’apport, malgré les coûts, même si l’installation de Palantir rend Maven moins essentiel. Cukor insiste pour que tout soit profondément séparé, aucune donnée n’est autorisée à passer d’un système à l’autre. Si la protection des données semble assurée, d’autres critiquent le fait que le Pentagon construise des services en couches, comme des tranches de cake superposées. Mais Palantir ajoute une couche d’analyse sur Maven : « La nouvelle plateforme de Palantir superposait de la réalité augmentée aux flux vidéo, traçant des lignes de planification de mission aux couleurs vives sur les images pour désigner les itinéraires comme étant sûrs ou dangereux. Des cercles concentriques, appelés cercles de portée, rayonnaient depuis un site d’attaque potentiel sur la carte pour indiquer la zone où des victimes pourraient subir des dommages collatéraux. Cette superposition attribuait également des numéros à des bâtiments spécifiques, facilitant grandement la communication entre des équipes disparates. » L’interface rend le tableau de bord et les cartes plus lisibles. Dans l’équipe de Maven, plusieurs pensent que l’intégration de Palantir est problématique. Cukor fait entrer nombre d’autres entreprises dans Maven, bien avant les grands acteurs de l’IA que seront OpenAI ou Anthropic, pour développer des modèles pour analyser les images et les données. 

Mason égraine les relations partenariales entre Maven et d’innombrables startups de la Valley. Leur flux, leurs reflux… Les avancées, les reculs, les hésitations.. Les luttes internes dans l’armée pour piloter les programmes d’IA, les guerres de territoires autour du partage de données qui permettent aux programmes de fonctionner. Beaucoup estiment que les protections imposées par Cukor sur les données restent son pire échec, empêchant leur partage entre différents services plutôt qu’empêchant les startups d’y accéder. La dernière partie du livre est toute entière autour de cette guerre de territoire entre différents services de l’armée. Derrière cette bataille interne, tout l’enjeu est de permettre non seulement de repérer, mais plus encore d’éliminer, de raccourcir la kill chain, comme l’ânonne chacun.

Reste que les débuts de ces intégrations n’en sont pas moins laborieux. « Les détections par IA semblaient initialement encore plus laborieuses avec le nouveau système de Palantir. Les détections apparaissaient sous forme de points si volumineux qu’ils masquaient les objets, rendant impossible la distinction entre adultes et enfants par exemple ». En octobre 2019, Maven est sur le front pour éliminer Abu Bakr al-Baghdadi…Trump est ravi de voir l’assassinat en direct, comme s’il regardait un film. 35 000 frappes contre l’Etat islamique sont déclenchées en même temps que le raid. Maven remplit son contrat. A nouveau, le système détecte des problèmes que les analystes n’avaient pas vu. « L’IA apparaît enfin capable de déchirer le brouillard de la guerre ». Même si les frappes sont loin d’être sans erreurs, comme le pointait la presse à l’époque. Entre 1437 et 8000 civiles seront tués en 5 années d’opération contre l’Etat islamique en Irak et Syrie, comme le révéleront les investigations de la NPR et du New York Times. L’armée américaine sera contrainte à mener une deuxième enquête après les contestations de la première pour éclaircir ce point, mais ses résultats ne seront jamais publiés. 

Les défaillances de l’IA sont pour l’instant passées sous silence, mais nombre de civiles sont souvent confondus avec des combattants. L’IA ne distingue pas les bons des mauvais. Ce qu’il voit devient souvent une cible puisqu’il est conçu pour en produire. Pour les défenseurs de la généralisation de l’IA, l’IA n’est pas toujours en cause, renvoyant la responsabilité aux humains. Pour les prosélytes de ces systèmes, ils permettent d’accéder à plus de données que jamais pour mieux décider. Pour les journalistes, les victimes civiles sont toujours plus nombreuses que comptées dans les rapports de l’armée. Lors de l’opération Tempête du désert en 1991, 90% des bombardements manquaient leur cible, faute de précision. Désormais les erreurs proviennent bien plus des biais des systèmes, du défaut de contexte ou de l’ignorance. Pas sûr que ce soit plus rassurant. En 2015, l’armée américaine a bombardé un hôpital en Afghanistan faisant 42 morts : la faute à de mauvaises coordonnées et à des erreurs humaines, reconnaîtra l’armée. 

Pour s’améliorer, Maven a capitalisé sur l’étiquetage des données pour mieux aider à entraîner ses systèmes et améliorer leur performance. La labellisation coûte de l’argent et prend du temps. En septembre 2020, avec l’aide de Palantir, Scale AI puis Enabled Intelligence, la labellisation devient un gros business pour ses acteurs : elle représente 708 millions de dollars de contrats pour l’armée, sans compter les 400 étiqueteurs de données, des militaires  employés directement par Maven, qui disposerait désormais de quelques 100 millions d’images étiquetées. Une arme sur une épaule ne se distingue bien souvent que sur deux ou trois pixels. Mais une fois entraînés, les systèmes se révèlent meilleurs que les humains, puisqu’ils peuvent voir ce que les analystes ne peuvent pas voir. En fusionnant les données provenant d’innombrables sources (images, signal radio et électromagnétique…), tout l’enjeu est d’améliorer la détection d’objets qui ne sont pas visibles aux humains et de les faire apparaître sur la carte. Pour l’armée, l’IA n’identifie pas toujours des objets mieux que l’humain, mais elle les identifie avant et plus vite que l’humain. 

La journaliste évoque encore la difficulté à sélectionner les armes appropriées, qui doit répondre à des contraintes nombreuses, de disponibilité, de temporalité et de communications. Ou encore, la difficulté à distinguer les combattants de ceux qui ne le sont pas. La Défense américaine se dote de documents de cadrage sur le ciblage, sans les publier. 

Maven, la puissance brute

Alors que Drew Cukor a quitté le programme en octobre 2021, en février 2022, Maven est déployé en soutien à l’Ukraine en Allemagne. Ses capacités de détection, confrontées à un nouvel environnement, nécessitent à nouveau une mise à jour pour s’améliorer. A nouveau, les algorithmes doivent s’adapter aux données et les données être labellisées pour s’adapter aux terrains et aux objets de guerre locaux. L’Ukraine n’est pas le désert. Il faut identifier les systèmes russes, comme les Tracteur-érecteur-lanceurs russes. Cela ne prendra que deux semaines seulement. Maven fait la demonstration que son système est capable de s’adapter très rapidement. 

L’armée américaine va très vite partager des informations avec l’Ukraine, mais sans leur donner accès à ses systèmes pour ne pas être accusée de participer à la guerre. Elle aide les analystes urkrainiens à regarder aux bons endroits. Depuis son QG allemand, Maven améliore son infrastructure cloud et sa connectivité pour éviter nombre de problèmes de latence. L’équipe transmet des cibles détectées à l’Ukraine, une trentaine par jour, 3 fois plus que ce qu’elle n’en voyait en Irak 5 ans plus tôt. La vitesse de la guerre a triplé en 5 ans, souligne Manson. Le nombre de détections ne va cesser de s’améliorer… Notamment en intégrant toujours de nouvelles données par exemple les interceptions de communications téléphoniques et radios russes, les explosions de missiles entendus via ces communications, les réseaux sociaux, comme les informations provenant de TikTok ou Twitter… « Les Etats-Unis deviennent les yeux de l’Ukraine ». Ils signalent également des points d’intérêts (jusqu’à 267 par jour en 2022) grâce à Maven. Mais l’enjeu n’est déjà plus l’identification de cibles, que les ressources en armes, missiles, munitions, drones… 

La guerre devient une question de puissance brute. Alors que l’armée américaine envoie des ressources sur le terrain, Maven teste et évalue plus de 1500 algorithmes pour améliorer son système. L’Ukraine va permettre à Maven de s’améliorer encore. Maven permet à l’armée ukrainienne de voir plus loin que le front. Après avoir progressé sur les cibles fixes, Maven s’améliore sur les cibles dynamiques. La communication s’améliore. Les ukrainiens sont désormais capables de détruire des cibles 18 minutes après que les Américains les leur aient communiqué. En 2024, l’Ukraine a détruit plus de 2600 tanks russes et plus de 5000 véhicules armés. Pour l’armée US, le soutien à l’Ukraine a permis d’engranger d’innombrables progrès. Le succès de Maven ne repose pas seulement sur ses algorithmes, mais bien plus sur ses données et la façon dont les flux s’interconnectent. Les systèmes sont désormais capables d’identifier un objet dès qu’une seule image se présente. Ils font encore des erreurs, peuvent ne pas tout voir, mais savent désormais repérer des objets, même avec peu de données d’entraînements. En 2024, l’armée américaine ne fait plus passer qu’une douzaine de points d’intérêts par jour à l’armée ukrainienne. Mais c’est d’abord parce que celle-ci a également énormément progressé et a bien moins besoin de l’aide américaine. Les taux d’erreurs se réduisent selon les chiffres de l’armée. La précision s’améliore. L’armée russe a utilisé des faux marqueurs sur le terrain, pour tromper les modèles de détection satellitaires, mais Maven a vite appris à les distinguer. Les données sont devenues le nerf de la guerre. Leur intégration de plus en plus rapide fait la différence. Maven est un système adaptable, qui se met à jour rapidement, comme un logiciel, explique Manson. « Il peut produire ce dont le commandement a besoin ». Sous le commandement de Whitworth, Maven est devenu un projet public, qui a quitté le secret. Le tir est désormais prêt à être entièrement automatisé. Au printemps 2025, le contrat du Pentagon pour Maven Smart System est passé à 1,3 milliards de dollars. Celui de Palantir à 480 millions de dollars. 

Les machines combattent les machines. La NSA écoute le monde entier. Et désormais, la NGA le regarde. Elle observe le globe en permanence. « En 2024, le commandement alimentait le système intelligent Maven avec 179 flux de données en temps réel provenant des domaines terrestre, maritime, aérien, spatial et cybernétique. » Désormais, les opérateurs qui utilisent Maven approuve ou désapprouvent le ciblage depuis le tableau de bord de ciblage fourni par Palantir, déterminent les priorités, hiérarchisent les ciblages, et envoient directement des messages aux systèmes de tirs. La kill chain est effectivement devenue bien courte. « Une cible peut désormais passer de détectée à engagée en quelques minutes, contre plusieurs heures auparavant ». Maven sait désormais détecter et tracer les missiles ennemis en temps réel et travaille à prévoir là où ils vont frapper. 32 entreprises différentes travaillent sur le programme Maven, 25 000 personnes l’utilisent. Il a accumulé plus d’un milliard de détection d’objets. Depuis 2024, Northcom et le Norad l’utilisent. 

L’adoption de Maven est totale. Il est utilisé pour faire de la détection de franchissement de frontières aux Etats-Unis ou pour surveiller le trafic de drogue dans les Caraïbes. La garde nationale l’utilise pour surveiller les départs de feux. Les promoteurs de Maven comme ceux de Palantir estiment que Maven n’est pas un système d’armement, que valider une cible ne déclenche pas le largage d’une munition sur celle-ci. Mais cette défense semble de plus en plus une parade argumentative. Le système apparie les munitions aux cibles et propose une priorisation des cibles que les analystes peuvent certes aménager… 

Pour certains militaires, Maven nécessiterait une doctrine d’usage. Ce que montre Katrina Mason dans ses conclusions, c’est que pour l’instant, la seule doctrine consiste à l’utiliser. « L’IA dotée d’une capacité d’action autonome va non seulement complexifier le projet Maven et l’usage général de l’IA dans la guerre, mais aussi la rendre plus opaque pour l’utilisateur. Elle va également accélérer le rythme des conflits et en amplifier l’ampleur ; par ailleurs – et en dépit des arguments vantant le potentiel de désescalade de l’IA – elle risque de rendre la guerre plus probable. »

L’ajout de LLM dans Maven, via Palantir et d’autres entreprises, comme OpenAI ou Anthropic, a pris du temps. Les premières tentatives ont été déceptives. Elles semblent surtout utilisée pour développer des prototypes de campagne et pour planifier des décisions militaires. Mais leur usage est pour l’instant observé avec défiance, estime Mason, notamment par crainte qu’ils empoisonnent les systèmes. Cela n’empêche pas leur intégration de s’étendre, même si on connaît fort mal la manière dont l’IA générative est utilisée. 

L’obsession de l’autonomie, la réalité de l’escalade

Katrina Mason termine son livre en revenant sur les propos d’Antonio Guterres, le secrétaire général des Nations Unies, qui souhaite interdire le recours aux armes autonomes et qui s’inquiète du développement de l’IA dans le domaine militaire. La balance est pour l’instant difficile à faire, par manque d’information sur les systèmes et leurs conséquences. L’IA dans la guerre permet-elle de limiter les dommages collatéraux et les victimes civiles ou de les étendre ? Toutes les armées qui déploient ces systèmes assurent garder la main : qu’il y a toujours un humain pour valider les décisions de l’IA, mais on sait que cela tient d’une fable plus que d’une réalité. Le contrôle humain tient d’un slogan vague et mal conçu. Les systèmes embarquent les biais du renseignement avec eux et peuvent mal identifier les personnes depuis les lacunes des systèmes de reconnaissance. La Convention sur le contrôle des armes (CCW GGE) discute depuis 2014 du problème des armes autonomes. Pour Mary Wareham, longtemps responsable de la question de l’armement à Human Rights Watch, l’une des initiatrices de Stop Killer Robots, nous devrions pousser les Etats à signer un traité pareille à celui de la réduction des mines antipersonnelles. Mais pour Cukor, comme pour l’armée américaine, le risque vient bien plus du risque de développement d’armes autonomes par ses ennemis. L’armée est plus inquiète de sa capacité à neutraliser une attaque que de réguler les siennes. Pour l’administration Trump, l’IA est une contribution essentielle et positive à la guerre en tout point, comme si les critiques n’avaient aucune voix au chapitre. Si la Chine semble plus modérée sur le développement d’armes autonomes, c’est certainement pour ralentir l’avancée américaine, explique Katrina Manson, qui semble avoir été contaminée par la perspective de guerre avec la Chine. Mais plus encore que l’autonomie, le déploiement de l’IA dans les conflits risque de conduire à l’escalade, comme l’expliquait un groupe d’experts de l’ONU. 

Pourtant, au terme du livre de Manson, on ne sait toujours pas très bien comment les résultats sont générés. Pour cela, nous ne disposons que d’une poignée d’images très rarement distillées, comme dans cette vidéo récente, relayée par le journaliste Dan Israel dans un article pour Mediapart soulignant l’emprise de Palantir sur l’armée américaine. 

Captures d’écrans d’images de Maven. Source. 

Ce que l’on y voit semble tenir d’une forme de jeu vidéo, un outil de simulation qui ne simule pas, où chaque paramètre semble appréciable, mais où nombre de décisions sont automatisées, proposées pour validation, choisies par le système.  

En mai 2025, le directeur de l’unité d’innovation pour la Défense américaine, Doug Beck, expliquait que l’Ukraine consommait 4000 drones par jour (autant que ce que le département de la défense achetait en un an). L’Ukraine a produit 3 millions de drones en 2025, un million de plus de ce qu’elle produisait en 2024 (voir notre article sur le sujet). Pour chaque drone commercial fabriqué aux Etats-Unis, la Chine en produit 100 de plus, rappelle Manson. Dans son budget 2026, le Pentagon prévoit de dépenser 13,4 milliards pour des systèmes autonomes, dont le Replicator, un avion de chasse sans pilote. Face à ces perspectives, les Etats-Unis souhaitent reconstruire leurs capacités industrielles militaires. Plus facile à dire qu’à faire. 

Chez JP Morgan, Drew Cukor ne s’intéresse plus à mettre de l’IA dans les armes, mais dans la finance (pas sur que ce soit plus rassurant). Les modèles d’IA vont permettre de redéfinir le fonctionnement des prêts, des hypothéques, des cartes de crédit, des placements, s’apprêtant à « turbocharger » l’économie, tout en contournant la conformité et les régulations établies, au risque là encore des biais, des erreurs et de l’injustice. 

Le débat sur la moralité de la guerre reste entier. Pas sûr que l’autonomie ne nous aide à la faire progresser, bien au contraire. Si l’armée semble prendre l’éthique au sérieux, il y a de quoi être cynique. L’IA renforce la distance des combattants à l’acte de tuer, mais risque également de les éloigner de la décision de tuer. Ce double mouvement échoue à reconnaître l’humanité de l’opposant, qui est de plus en plus mise à distance. « Les outils d’IA risque d’abord de désensibiliser les combattants et l’armée, d’actes dont nul ne sera plus responsable », s’inquiète la journaliste. L’IA devrait pouvoir minimiser les erreurs et les dommages collatéraux, mais ce qu’on en voit pour l’instant, c’est qu’elle fait surtout s’envoler le volume de dommages plutôt qu’elle ne le réduit. La technologie rejoue le paradoxe de Jevons : « les technologies qui améliorent l’efficacité et abaissent les coûts conduisent invariablement à l’augmentation de leur consommation ». Les systèmes d’IA produisent plus de cibles, plus vites et rendent plus facile leur élimination. Les cibles générées par une boîte noire rendent le commandement trop sûr de lui. Ces systèmes transforment la guerre en jeu vidéo. De partout, il simplifie la destruction. L’ennemi est désormais plus facile à tuer qu’à capturer. Ces systèmes ne font aucun prisonnier. Ils ne proposent aucune clémence. Le paradoxe de Jevons nous le dit depuis longtemps : « plus quelque chose est efficace, plus vous allez avoir tendance à l’accomplir ». Pire, termine-t-elle. Non seulement cette technologie peut faire des choses horribles, mais les garde-fous peuvent également être facilement ajustés voire enlevés, comme le montrait Lavender, l’équivalent de Maven pour l’armée israélienne, où le nombre de victimes collatérales d’un tir pouvait être abaissé ou relevé, au gré des besoins de la guerre. Pour Mark Milley, l’ex chef d’Etat major de l’armée américaine, le champ de bataille sous IA ouvre une boîte de pandore… Les atrocités ne vont pas disparaître avec l’IA, rappelle Manson. Pour un autre gradé américain, le champ de bataille prend le tournant de l’autonomie, mais ce n’est pas parce qu’on est capable de le faire que nous devrions y aller. Trump a renommé le ministère de la Défense en ministère de la Guerre. En septembre 2025, Pete Hegseth, secrétaire de la Défense américain, devant tous les généraux de l’armée US, a affirmé vouloir plus d’IA partout et plus du tout de contraintes d’engagement excessives.

40 millions de personnes sont mortes durant la Première Guerre mondiale. 85 durant la seconde. Maven est désormais partout. Dans tous les services sur tous les continents. Jusqu’aux outils des alliés de l’Amérique. L’IA est désormais au cœur de toutes les opérations militaires américaines. Les mavenites sont pour la plupart partis dans d’autres entreprises du complexe techno-militaire américain, et notamment les entreprises d’IA qui rend Maven désormais puissant : Palantir, Microsoft, Anduril, OpenAI. La Maven mafia est partout. 

Mais surtout, ces systèmes reposent d’abord sur une surveillance invisible et sans limite aucune, au prétexte d’obtenir toujours plus de données pour optimiser toujours plus ses cibles et ses frappes. Le succès de l’IA repose sur une surveillance toujours plus totale, sans limite ni garde-fous. C’est l’éléphant dans la pièce de l’autonomie. Celle d’une surveillance de tous sans limite. 

C’est à nouveau la grande limite du livre pourtant très documenté de Katrina Mason. La journaliste semble passer à côté de ce à quoi elle n’a pas eu accès, malgré la profondeur de son enquête. C’est pourtant dans ce qu’on ne voit pas dans ce livre que se cache le monstre à venir. Un monde qui rêve d’assurer sa sécurité sans plus aucune limite quand bien même pour cela il serait finalement surtout prêt à se détruire lui-même, dans un impérialisme sans limite, dans un autoritarisme sans plus aucune contrainte. 

Hubert Guillaud

La capteur de chute est en passe d’être remplacé par un micro sous IA pour surveiller les petits vieux dépendants, raconte Steven Blum pour Wired. Qui a équipé son vieux père d’un dispositif de ce type, Sensi.ai qui informe les aidants du moindre problème. Le fils a fini par regarder les transcriptions des enregistrements effectués. « En lisant ses conversations intimes, je me suis soudain senti comme un espion, avec l’appareil pour complice silencieux. C’est moi qui avais insisté pour l’installer, mais je me sentais désormais mal à l’aise. De son côté, mon père ne se souvenait pas qu’on l’avait informé que Sensi écoutait ses conversations. » « Contrairement à Alexa, ces appareils n’attendent pas que quelqu’un prononce le mot « à l’aide » pour fonctionner. Ils commencent plutôt à enregistrer après certains événements précis : des bruits tels que des chocs sourds, des quintes de toux ou des cris, ainsi que des mouvements comme une chute du lit. Dans le cas de Sensi, l’appareil ne prévient même pas la personne âgée qu’il enregistre, ce qui explique en partie la confusion de mon père. »

« Sensi se présente aussi comme un outil de suivi du déclin cognitif, capable de repérer des anomalies dans les « schémas de parole, le ton, l’activité et les mouvements » des patients. Ihab Hajjar, neurologue spécialisé dans la détection de la démence par IA, doute de l’utilité du dispositif à cet égard. Il explique avoir vu des modèles cliniques identifier 60 à 70 % des patients comme souffrant de troubles cognitifs, alors que la prévalence réelle se situe plutôt entre 10 et 15 %. « Je n’ai vu aucune preuve solide issue d’un protocole d’analyse qui m’inciterait, en tant que clinicien, à recommander [des dispositifs comme Sensi] à mes patients », déclare-t-il. Sensi n’a pas sollicité l’homologation de la FDA (l’agence américaine des produits alimentaires et médicamenteux) pour ces allégations, bien que sa PDG affirme que l’entreprise a entamé la procédure. »

Ça n’a pas empêché l’entreprise de lever 100 millions de dollars, un succès qui s’explique tant le public américain se méfie des maisons de retraites au coût prohibitif. Des dispositifs comme Sensi promettent de résoudre le dilemme de l’autonomie, en offrant sécurité sans contraintes physiques et surveillance sans contrôle institutionnel. Reste, explique Blum, que le discours de l’entreprise à l’intention des familles diffère de ce qu’indiquent clairement les documents destinés aux investisseurs : « les véritables clients sont ici les agences de soins à domicile, et Sensi affirme que l’utilisation de ses services leur permet d’accroître leurs revenus et de mieux fidéliser leur clientèle. Le témoignage d’une agence, publié sur le site de Sensi, faisait état d’une augmentation de 88 % du nombre de clients et d’une hausse de 85 % des heures facturables après l’installation des dispositifs de l’entreprise. »

Alors que la pénurie d’aide-soignante s’aggrave, des dispositifs de ce type sont en passe de devenir la norme. Pour Clara Berridge, professeure associée à l’École de travail social de l’Université de Washington, les dispositifs de ce type donnent l’impression que la surveillance est une condition sine qua non de la prise en charge. « Il peut y avoir consentement, mais cela ne rend pas pour autant le processus éthique lorsque les choix sont aussi restreints — du type : “Soit on vous place en maison de retraite, soit vous acceptez cet appareil” », explique-t-elle. « Placer les gens face à deux options indésirables est une situation très difficile. »

Ici, les personnes ne peuvent même pas évacuer leur émotion sans que cela déclenche une alarme. L’association américaine des personnes retraitées rapporte que 25 % des aidants américains surveillent déjà leurs proches à distance grâce à des applications, des plateformes vidéo, des objets connectés et d’autres systèmes — soit près du double du nombre de personnes utilisant ces technologies en 2020. Bien que Sensi soit utilisé pour détecter les chutes dans le cas de du père de Steven Blum, il est aussi capable de déceler la solitude. Un client cachait sa souffrance à ses enfants mais confiait à un ami de passage : « Je regarde davantage la télévision en ce moment, je me sens seul » ou « Peu de gens viennent me voir. Je me sens un peu triste. » Les mots ont alerté l’agence d’aides-soignants qui s’occupe de lui. Mais l’histoire ne nous dit pas quel remède ceux-ci ont administré.

La quête à attribuer des responsabilités techniques aux entreprises de l’IA nous leurre, expliquent les chercheurs Janet Vertesi, danah boyd, Alex Taylor et Benjamin Shestakofsky dans un article de recherche pour FAccT’26, la Conference on Fairness, Accountability, and Transparency qui se tenait à Montréal. Le Projet d’IA – comme ils l’appellent – est une entreprise de construction mondiale, dans laquelle ceux qui financent et développent des systèmes d’IA cherchent à maintenir des réseaux de pouvoir et de richesse. Ils configurent nos conditions sociotechniques tout en leurrant les universitaires, les décideurs, les journalistes et le public qui seraient invités à plus ou moins co-construire un avenir qui leur donne du pouvoir, sans que celui-ci ne soit jamais vraiment partagé. Ces leurres donnent souvent à ces acteurs l’illusion d’une responsabilité, tout en masquant les transformations profondes de l’économie politique à l’œuvre. En réalité, notre attention collective portée à ces leurres soutient, stabilise et renforce le projet IA des grandes entreprises de la tech. Pour les chercheurs, l’invitation à cadrer la technologie qu’entrouvrent ceux qui portent le projet d’IAification du monde tient d’une distraction qui brouille les enjeux de pouvoirs à l’œuvre. Les leurres nous détournent de la compréhension de l’accaparement qui se déploie.     

« Pour faire progresser une équité ou une responsabilité significative dans l’IA, il faut : 1) reconnaître quand et comment les leurres servent de distraction, et 2) s’attaquer directement à l’économie politique matérielle du projet d’IA. Il faut s’intéresser aux réseaux de pouvoir qui rendent l’IA possible », expliquent les chercheurs. « Nous ne parviendrons pas à instaurer une obligation de rendre des comptes en bricolant les fonctionnalités techniques ; il nous faut nous pencher sur les enjeux politiques et économiques », synthétise danah boyd sur son blog. 

Les chercheurs invitent à mieux s’intéresser à l’économie politique qui interroge les relations entre les forces complexes et imbriquées de la politique, des marchés et de la société. A observer leurs évolutions constantes, comment les capacités d’action évoluent avec l’accumulation de pouvoir et de ressources matérielles. Et comment ils réorganisent et configurent les ordres matériels, sociaux et économiques à leur avantage. Des acteurs capitalistes hétérogènes ont su tirer parti de l’incertitude ambiante pour mobiliser à leur avantage les technologies de communication et les relations financières. Ce faisant, ils restructurent les marchés en leur faveur et orientent les flux ainsi que l’appropriation de capitaux, de ressources, de données, de matériaux et de main-d’œuvre entre différents sites. Comme le disait déjà le sociologue Manuel Castells à propos du projet de façonnage du monde porté par l’empire médiatique de Rupert Murdoch dans les années 1990 et 2000 (notamment dans son livre, Communication et pouvoir, 2013), les nouvelles architectures des technologies de l’information et de la communication offrent des opportunités de consolidation du pouvoir au sein d’élites interconnectées – ce qu’il nomme des « réseaux de pouvoir ». Pour Castells, les élites configurent les réseaux à leur avantage et le pouvoir de création de réseaux, représente la forme de pouvoir suprême dans une société de l’information. La constellation émergente d’individus, d’organisations et de structures financières qui façonnent actuellement l’IA telle que nous la connaissons était déjà en pleine ascension dans la Silicon Valley au lendemain de l’éclatement de la bulle Internet. Elle s’est renforcée avec la crise financière de 2008 et la crise pandémique de 2020. Le lancement public de ChatGPT par OpenAI en décembre 2022 a ouvert la voie à la restructuration du marché, après l’échec à concrétiser les promesses des cryptomonnaies et du métavers (autres tentatives à renforcer le pouvoir).

Le marché de l’IA est construit et vise à convaincre voire contraindre régulateurs comme clients à adhérer à leur vision. « Les entreprises dominantes peuvent consolider leur position en influençant les politiques publiques et en incitant les États à lever des réglementations, à accorder des subventions, à faire respecter (ou pas) les droits de propriété ou à instaurer de nouvelles règles imposant des coûts prohibitifs aux concurrents désireux de pénétrer le marché. » Derrière les entreprises du secteur, le pouvoir de réseau se consolide autour de technologies qui reposent avant tout sur la manipulation de matériaux, d’idées, de fonctionnalités et de capitaux, c’est-à-dire des éléments peu techniques, foncièrement capitalistes, dirait Romaric Godin. Rien ne vient freiner la course à l’établissement d’une élite d’acteurs dominants, constatent également les chercheurs. Pire, les géants de la tech consolident actuellement leur contrôle sur chaque maillon de la chaîne d’approvisionnement de l’IA – énergie, puces, modèles fondamentaux, puissance de calcul et outils de développement logiciel… sans compter l’investissement financier – afin de garantir leur position centrale. Tout l’enjeu consiste désormais à nouer des partenariats entre eux, dans une collaboration inter-entreprises mutuellement avantageuses, comme le font Microsoft et OpenAI. 

Face à ces développements, la régulation joue souvent à la marge. Pour les chercheurs, celle-ci s’intéresse bien trop à des leurres, plutôt qu’à la construction du pouvoir. Mais, « les leurres ne sont pas qu’une simple distraction ; ils constituent un outil essentiel pour façonner un environnement ». « Pendant que nous nous concentrons à débattre des spécificités techniques de l’IA, les grands acteurs de l’IA établissent des flux pour accroître leur richesse et leur pouvoir. » « De cette manière, même les critiques contribuent à rallier des soutiens au projet d’IA. Les leurres constituent donc des pièges de responsabilisation qui, paradoxalement, renforcent plutôt qu’ils ne contraignent le puissant réseau qui sous-tend le projet d’IA. » Et le projet d’IA regorge de leurres. Certains sont délibérément construits ou exploités par les intermédiaires de l’IA pour attirer l’attention sur des aspects spécifiques du projet (et la détourner d’autres). 

Les leurres de l’IA

Les chercheurs distinguent 5 leurres dans lesquels la critique se perd parfois : le leurre ontologique, le leurre de l’inévitabilité, le leurre de la rupture, le leurre de la sécurité et le leurre réglementaire. 

Il y a d’abord le leurre ontologique. Le terme IA s’efforce d’échapper à toute définition afin de maximiser son pouvoir suggestif. « Cette ambiguïté peut s’avérer puissante car elle incite souvent différents acteurs à s’obséder sur la manière de délimiter ce qu’est ou devrait être l’IA, plutôt que de se concentrer sur le travail accompli par le Projet d’IA dans le monde.» Cette ambiguïté sert donc profondément les intérêts des acteurs. « Ce leurre ontologique déplace les termes du débat vers la définition de l’IA, détournant l’attention de son action concrète : permettre l’expansion du Projet d’IA. » Les chercheurs prennent comme exemple, les transformations du financement de la recherche ou des entreprises, qui depuis 2023, s’orientent de plus en plus exclusivement vers des projets d’IA au détriment de tous les autres. Partout, la réorganisation des flux financiers est profonde, expliquent-ils. « Le leurre ontologique constitue une forme de piège. Il attire sans cesse les acteurs vers des questions insolubles concernant la détermination et la clarification de la nature de l’IA, alors même que l’on constate que le dévoilement des spécificités techniques ne parvient pas à rendre ces questions plus ou moins certaines. » « L’instabilité ontologique persistante entourant l’IA permet aux intermédiaires d’introduire l’IA dans des secteurs et des pratiques toujours plus nombreux. De petites entreprises qualifient leurs technologies d’IA pour capter des ressources financières et acquérir une influence au sein du réseau. De telles pratiques nous amènent nécessairement à nous demander : « S’agit-il vraiment d’IA ? » ou même « Est-ce un usage pertinent de l’IA ? ». »

Plutôt que de nous laisser enfermer dans des débats sur « ce qu’est l’IA et comment elle devrait fonctionner », nous gagnerions à élargir notre perspective pour comprendre comment l’IA accapare toute l’attention et l’espace du débat. L’ambiguïté vise surtout à garantir que l’IA  reste suffisamment flexible pour s’adapter à mesure que se déploie leur stratégie de création et de concentration du marché. « Il nous faut donc résister au leurre ontologique et à l’impératif qu’il impose de définir la « véritable » nature ou le potentiel réel de l’IA. Une critique efficace doit ébranler le pouvoir du réseau plutôt que de l’alimenter.»

Le leurre de l’inévitabilité. L’industrie technologique recourt souvent à la rhétorique de l’inévitabilité pour justifier ses développements. « L’utilité de ce leurre de l’inévitabilité réside notamment dans sa capacité à permettre aux acteurs de modifier constamment les temporalités, en proposant de nouvelles projections quant au moment où la promesse future de l’IA se concrétisera enfin. Que cet avenir concerne l’avènement de l’IA générale, l’informatique quantique ou d’autres avancées technologiques majeures, les acteurs qui promeuvent l’IA tirent parti de discours qui rapprochent ou éloignent l’horizon de ces événements, tout en maintenant l’idée de leur inéluctabilité. » L’inéluctabilité permet surtout de bâtir des monopoles. Il permet de présenter les investissements comme nécessaires, même quand ils sont entravés par les contestations, comme c’est le cas dans les luttes contre les datacenters. « La rhétorique de l’inéluctabilité normalise aussi divers types de risques, notamment économiques et technologiques : dès lors que l’avenir est perçu comme prédéterminé, des décisions commerciales risquées sont requalifiées en nécessités. Ce discours sur l’inéluctabilité offre ainsi une forme de clôture discursive susceptible d’accélérer l’avènement de certains futurs tout en empêchant d’autres de se concrétiser. » 

« La répétition de discours futuristes similaires au sein de nombreuses entreprises crée une apparence de cohérence », une forme d’alignement où tout le monde semble d’accord sur l’horizon à atteindre. L’inévitabilité crée un ensemble de conditions qui rendent l’IA trop importante pour échouer, et permet d’assurer du pouvoir au projet IA sur les marchés. La course entre les grandes puissances mondiales pour construire une intelligence artificielle générale (IAG) alimente ce discours sur l’inévitabilité, en dressant des parallèles avec la course au nucléaire ou la course à l’espace. Le discours selon lequel « l’IA est inévitable » perpétue ainsi un imaginaire sociotechnique qui mêle pouvoir étatique et pouvoir des entreprises à des récits partagés sur les promesses à venir. Ces discours séduisent notamment parce qu’ils suggèrent la nécessité d’un soutien matériel des gouvernements aux niveaux fédéral, étatique et local, tout en occultant les préoccupations susceptibles d’entraver la réalisation de ce bien prétendument indispensable. L’alliance de considérations géopolitiques et du discours sur « l’inévitabilité » contribue également à justifier des engagements politiques et économiques, tels que la persistance de l’antagonisme entre les États-Unis et la Chine, et les investissements stratégiques. Enfin, l’inévitabilité embarque également les usagers, et alimente le projet d’IA au lieu de le freiner. Elle renforce également l’influence des acteurs de l’IA, leur permettant de consolider leurs réseaux de pouvoir que ce soit l’affectation des capitaux, l’extraction des ressources comme la création des marchés.  

Le leurre de la disruption. L’innovation de rupture formalisée notamment par Clayton Christensen, est souvent perçue comme une célébration inconditionnelle de toute forme de perturbation du marché, considérée comme intrinsèquement constructive. Pourtant, la nature exacte de cette rupture et sa valeur est bien souvent loin d’être aussi évidente qu’annoncée. « Les dirigeants du secteur technologique célèbrent par exemple le bouleversement du marché du travail en promettant des entreprises plus efficaces, tout en exprimant publiquement leurs inquiétudes quant aux risques de pertes d’emplois massives. Ce faisant, ils confortent leur conviction que l’innovation doit être poursuivie sans égard à ses conséquences sociales. Mais tandis que les dirigeants du secteur technologique, les universitaires et les experts débattent de l’ampleur des pertes d’emplois dues à l’IA – et de la manière dont elle transformera plus largement le monde du travail -, ils occultent la manœuvre de rupture que cherchent à opérer les promoteurs du Projet d’IA ». Cette stratégie de diversion vise précisément cet objectif : présenter les perturbations locales comme une forme de normalité (naturalisant l’optimisation ou la recherche d’efficacité par exemple), tout en orchestrant des changements massifs dans la concentration du pouvoir à travers les secteurs industriels, voire au-delà des frontières nationales. 

En fait, le terme rupture revêt une importance culturelle considérable, estiment les chercheurs. L’essentiel des études démontrent pourtant que les nouvelles technologies ne bouleversent pas l’ordre social et les inégalités existantes : elles ont plutôt tendance à renforcer ou à consolider les intérêts établis. « En sociologie économique, rappellent les chercheurs, la notion de « rupture » (disruption) renvoie d’ailleurs à une configuration de marché où, tant les nouveaux entrants que les acteurs en place, saisissent les moments d’incertitude pour instaurer un ordre de marché favorisant leurs intérêts. Derrière, la disruption, il faut surtout lire une accumulation et une concentration de capital et de pouvoir autour de quelques entreprises phares de l’IA. » Et les acteurs qui oeuvrent à favoriser leur marché n’aiment rien de moins que la rupture quand elle vient s’en prendre à leurs intérêts, à l’image des barrières érigées à l’encontre de Deepseek venu défier leur concentration. Les grands acteurs de l’IA utilisent également le concept de « rupture » pour détourner l’attention de leurs efforts visant à réorganiser les entreprises et à capter les flux de capitaux à leur profit. « S’il est indéniable que l’introduction de l’IA modifie les tâches des travailleurs, il est tout aussi vrai que, dans de nombreux secteurs, les entreprises utilisent ce prétexte pour mener des restructurations classiques. Parallèlement, elles transfèrent des activités clés vers des pôles de main-d’œuvre à moindre coût, où des outils automatisés visent à accroître la productivité de travailleurs éloignés et difficiles à suivre. Invoquer le caractère « disruptif » de l’IA permet de justifier aussi bien des licenciements – obligeant les salariés restants à « faire plus avec moins » – que le transfert de pans entiers de la main-d’œuvre vers des environnements réglementaires différents, échappant aux statistiques fédérales sur l’emploi et au contrôle des pouvoirs publics. »

Là où l’IA est une rupture, c’est parce qu’elle permet bel et bien de requalifier la main d’œuvre, comme l’expliquait le sociologue américain Henry Braverman, en favorisant la concentration du pouvoir et en éloignant le travail dans les zones éloignées et peu réglementées… « Le projet de l’IA commande et dissimule un bouleversement infrastructurel profond touchant la circulation du capital, la réorganisation et la répartition du travail à l’échelle mondiale, ainsi que la concentration de ressources stratégiques (données, puces, centres de données) entre les mains d’un petit nombre d’acteurs puissants.» En invitant le public à débattre de la manière dont l’IA pourrait bouleverser le marché du travail ou des progrès qu’elle pourrait engendrer, ce leurre du bouleversement nous détourne de la nécessité de voir et de discuter des agissements des acteurs de l’IA à leur profit. 

Le leurre de la sécurité.Tant dans les milieux universitaires que dans le discours public, la sécurité de l’IA renvoie à la nécessité de garantir que les systèmes d’IA soient fiables, ne causent pas de dommages et soient conçus pour refléter des valeurs sociales plus larges. La critique du féminisme des données va plus loin en exigeant une réflexion sur la durabilité, le pouvoir et le pluralisme. Les communautés prônant une IA sûre et responsable mettent souvent l’accent sur des engagements tels que l’équité, la responsabilité et la transparence ; les développeurs de projets IA évoquent plus couramment l’alignement, une forme de sécurité intégrée à l’IA elle-même. Mais la question de la sécurité renvoie surtout à un discours existentiel sur l’arrivée inéluctable de l’intelligence artificielle générale qui menacerait l’humanité (voir notre article). Ces discours sur la super-intelligence et ses risques réduisent la sécurité à des menaces lointaines, « tout en occultant les conséquences de la reproduction du réseau de pouvoir propre au Projet IA ». D’une manière paradoxale, il favorise le projet IA, au prétexte que seules les meilleures entreprises sauraient atténuer ce danger. Ces orientations permettent en fait de cadrer le discours sur la sécurité, en le déconnectant des problèmes de sécurité plus immédiat ou des considérations éthiques plus adaptées. 

Ces orientations axées sur la sécurité sont déconnectées de considérations éthiques plus larges. En qualifiant l’IA de « technologie ordinaire », les informaticiens Arvind Narayanan et Sayash Kapoor soulignent comment la question de la superintelligence détourne l’attention des problèmes bien réels qui émergent à l’ère de l’IA. 

En fait, constatent les chercheurs, la notion de sécurité n’a cessé d’évoluer : d’un cadre porteur de sens, elle s’est transformée en une construction mêlant dimensions ontologiques, inéluctabilité et leurres réglementaires. « Les entreprises utilisent désormais le langage de la sécurité pour envoyer des messages différents à des communautés distinctes ». Les acteurs clés du secteur de l’IA exploitent l’ambiguïté de ce terme pour égarer les critiques préoccupés par les répercussions sociétales. Si ils affirment que celle-ci est leur priorité absolue, en vrai, ils poursuivent leur course, concevant et déployant des modèles et des outils dépourvus de garde-fous efficaces, « tout en cherchant à les aligner sur des valeurs et des normes contestables » : les leurs ! « Or, ce leurre de la sécurité ne constitue ni une conséquence ni une retombée fortuite du Projet de l’IA : il fait partie intégrante de la constitution des réseaux de connaissances et de capitaux nécessaires à son déploiement. Comme tout leurre, il détourne l’attention des enjeux réels tout en consolidant les réseaux de pouvoir indispensables à la pérennité et à l’expansion du Projet IA. En atténuant les inquiétudes du public à l’égard des entreprises d’IA, ce leurre favorise même l’émergence d’opportunités commerciales. » Le discours sur la sécurité renforce le Projet IA, limitant ainsi toute possibilité de se prémunir contre les conséquences de son adoption. 

Le leurre de la régulation. Depuis les années 90, les leaders du secteur technologique n’ont cessé d’affirmer que la régulation était l’ennemi de l’innovation, alors que leurs critiques soutenaient qu’elle était le seul moyen de responsabiliser l’industrie. Paradoxalement, nombre d’acteurs de l’IA semblent demander aux autorités d’élaborer des règles de régulation, à l’image de Sam Altman réclamant au Congrès américain de créer une agence gouvernementale dédiée. En fait, les dirigeants du secteur technologique ont compris que la régulation pouvait s’avérer stratégiquement avantageuse, « surtout s’ils disposaient d’une place à la table des décisions ». Leur but est bien plus de consolider leur position que de la menacer. Le managérialisme réglementaire des organismes de réglementation américains est facilement récupéré par les entreprises qui ont appris à s’adapter à des évolutions réglementaires qui ne les menacent jamais. Même l’IA Act européen, qui pense que les entreprises technologiques pourraient remédier aux préjudices complexes qu’elles mettent en place grâce à une meilleure conception de leurs produits sous la contrainte, se leurre, expliquaient déjà danah boyd et Maria Angel (voir notre article, la responsabilité ne suffit pas), alors que la faiblesse des mécanismes d’application du règlement sur l’IA conduit, dans de nombreux cas, à confier aux entreprises elles-mêmes l’évaluation des risques posés par leurs systèmes, renforçant de fait leur position dominante.

Or, « si l’IA semble nécessiter une régulation urgente à une époque où les structures de pouvoir de l’après-guerre sont sur le déclin, ce n’est pas parce que ses capacités techniques sont à l’origine de l’instabilité. C’est plutôt parce que le mot d’ordre de l’IA, rend possible et concrétise la reconfiguration mondiale en faveur des acteurs de l’IA et de leur pouvoir. » Le problème n’est pas de réguler chaque chatbot, chaque technologie, que l’influence totale du projet IA sur le monde. Pour les chercheurs, les travaux existants dans les domaines social et réglementaire « doivent s’orienter vers le cœur du problème : la financiarisation, les possibilités de restructuration des entreprises et les nouvelles formes de monopole, de création et de capture de marché. Si nous voulons exiger que les systèmes d’IA rendent des comptes sur les relations et les infrastructures de la vie sociale et publique, nous devons remettre en question les conditions de possibilité de la construction de ce puissant réseau. Parmi les actions pertinentes, on peut citer l’augmentation de l’impôt sur les plus-values, le renforcement de l’application du droit de la concurrence et la suppression des failles juridiques permettant aux investisseurs d’accumuler des richesses. »

Réguler l’économie plutôt que l’IA ?

« L’IA est devenue le vecteur de transformations sociales majeures, non pas parce qu’une technologie engendrerait des résultats inédits, mais plutôt parce que des acteurs du marché disposant d’importantes ressources financières saisissent cette occasion pour restructurer les opportunités et les infrastructures à leur propre avantage sous l’étiquette IA ». Ce ne sont pas les capacités de chatbots bavards qui permettent au projet IA de s’imposer comme un phénomène tangible, mais bien la construction d’un réseau de pouvoir recelant le potentiel d’un « impact immense et durable sur la société ». Si l’IA semble tout bouleverser à l’heure actuelle, c’est précisément parce qu’elle offre une « occasion de structuration » sans précédent des réseaux de pouvoirs et d’infrastructure. 

Pour les chercheurs, la transparence algorithmique par exemple n’est pas la composante la plus efficace, stable ou influente de ce projet qui mérite d’être encadré.  Que l’intelligence artificielle générale apparaisse ou non, ou que les robots prennent nos emplois ou non, nous devrons composer avec des conditions structurelles durables et les infrastructures résiduelles d’une course entre les grandes entreprises et les gouvernements pour reconstruire les rouages ​​du pouvoir à leur avantage. Même si notre attention se porte sur des enjeux moralement urgents (comme les biais algorithmiques ou l’influence délétère des chatbots sur les plus fragiles…), nous devons abandonner une approche centrée sur les correctifs, sur les détails techniques, pour passer à un contrôle sur le développement du réseau de pouvoir du projet IA dans son ensemble.

« Nous ne souhaitons pas dénigrer le travail important mené au sein de cette communauté sur les questions liées à l’IA et à la société », modèrent les chercheurs. « Notre crainte est que, justement lorsque nous pensons responsabiliser les entreprises d’IA, nous risquions de nous laisser berner par un leurre et de passer à côté de la véritable source de responsabilité. Il est de notre devoir de prendre du recul et d’analyser les mécanismes complexes de ces systèmes. La transparence des outils algorithmiques n’est pas synonyme de responsabilité lorsque l’objectif est de construire une infrastructure de gouvernance incontestable pour maintenir le pouvoir d’une élite. L’équité d’un résultat algorithmique ou d’un ensemble de données particulier importe peu dans un monde où certaines des inégalités les plus massives et persistantes depuis l’ère féodale sont perpétuées par un système d’influence antidémocratique. » 

Mais chercher des points d’entrée pour exiger des comptes ou de la transparence au sein d’un réseau se heurte à sa capacité caractéristique à changer de forme, au risque de rendre le point d’intervention aussi insaisissable que le réseau lui-même. Les grands PDG ne sont pas même la cible idéale d’une intervention, quand c’est dans les coulisses que se joue l’essentiel : lors d’accords conclus entre dirigeants, membres de conseils d’administration, sociétés de capital-risque, gestionnaires d’actifs, responsables politiques et financiers de Wall Street. Le pouvoir de décision est réparti au sein d’une élite en réseau, dotée de ses propres mécanismes de consolidation du pouvoir qui agit partout en fonction du retour sur investissement. 

« La constitution de réseaux visant la conquête de marchés s’accompagne également de formes inédites de métamorphose organisationnelle et sociotechnique. Les entreprises peuvent aisément déplacer des éléments tels que la main-d’œuvre, le capital, le financement, les données et les infrastructures vers d’autres parties du réseau afin d’échapper à toute surveillance », comme l’expliquait Fred Turner récemment, en expliquant que nous étions passé de l’idéologie californienne à l’idéologie texane, de la contre-culture au conservatisme. La capacité d’agir comme la responsabilité sont devenues plastiques et peuvent être très facilement redistribué à travers le réseau, passant d’un data center l’autre, d’un travailleur du clic asiatique à un autre africain… 

Les entreprises d’IA reproduisent des stratégies de métamorphose bien établies, utilisées par des géants influents comme Facebook ou Uber qui n’ont cessé d’échapper et de contourner les réglementations. Même la réglementation environnementale exige de caractériser les formes de contamination industrielle, que les entreprises cherchent à occulter en recourant à des techniques éprouvées consistant à semer le doute et à entretenir l’ignorance. Des ressources telles que les puces électroniques, l’accès aux centres de données ainsi que les données ou l’entraînement de modèles ne sont pas réglementées en tant que monnaies à proprement parler, alors qu’elles sont devenues des actifs dont les échange cimentent les partenariat entre un groupe restreint d’élites, formant un circuit socio-économique propre à l’IA. « La recherche de cette responsabilisation exige de nouveaux cadres d’analyse qui abordent directement la constitution du réseau et ses dérives. »

Mais l’avenir n’est pas inéluctable, rappellent les chercheurs. « Si le projet d’IA est extraordinairement puissant, son pouvoir dépend de l’adhésion continue du public et des institutions à ce projet. À cette fin, il est impératif de reconnaître quand et comment nous pouvons exercer notre pouvoir d’action en ces temps tendus, et de résister aux leurres trompeurs entretenus par les acteurs de l’IA pour façonner l’avenir selon leurs conditions. » Pour cela, les chercheurs invitent à réorienter l’analyse vers l’économie politique de l’IA et à prendre au sérieux le pouvoir politique que le Projet IA laisse présager. Ils invitent à orienter la recherche vers quatre cadres d’analyses : 

Les lieux matériels d’assemblage des réseaux. Le Projet d’IA exige de tisser d’importantes infrastructures en des alignements inédits et souvent instables, en composant de manière créative des relations et des modèles d’échange entre des acteurs hétérogènes. Il nous faut mieux comprendre ces assemblages, les associations que les entreprises tissent entre elles, les « fonctionnalités » inédites qu’elles lancent, les financements qu’elle obtiennent et mobilisent… Et examiner comment les mécanismes d’assemblage, d’acquisition de capitaux et de mise en œuvre limitent la transparence et la responsabilité.

Le financement comme action technopolitique. Des travaux récents à l’intersection de la sociologie économique et des études sociales des sciences et des techniques démontrent comment le travail technique est imbriqué dans les structures financières. C’est le cas notamment du travail de Benjamin Shestakofsky et son livre, Behind the startup: how venture capital shapes work, innovation, and inequality (university of California press, 2024 – voir aussi le travail de Marlène Benquet dont nous rendions compte). Il nous faut mieux comprendre les mécanismes de capture du marché et comprendre pourquoi une réglementation axée sur la technologie tend à négliger les arrangements économiques et politiques qui sous-tendent le projet IA. 

Des objets aux flux mondiaux. Nous ne devons pas considérer l’IA comme un objet, mais mieux nous concentrer sur les flux circulant entre les sites qui participent à l’agencement mondial de l’IA, comme le montrait l’anthropologue Anna Tsing dans Friction (La découverte, 2020). Nous devons mieux saisir l’infrastructuration, c’est-à-dire comment les connexions entre les nœuds sont concentrées, fragmentées et maintenues de manières spécifiques pour reproduire des rapports de force. Comment les flux de données, de personnes et de capitaux sont-ils facilités ou entravés ? 

Résister au solutionnisme social. Il nous faut enfin résister au solutionnisme tant technologique que juridique, disciplinaire. Ne saisir l’IA que sous l’angle informatique ou juridique par exemple ne nous aide pas à interroger le Projet IA dans sa globalité. « Aucun domaine pris isolément n’apportera la solution face au Projet IA ». Nous devons élaborer des approches bien plus transdisciplinaires, afin qu’elles soient capables d’interrompre les flux et les reconfigurations de réseaux sur lesquels repose le Projet de l’IA. 

La recherche critique « a consacré beaucoup de temps à disséquer les paramètres techniques, dans une volonté sincère de bâtir un avenir plus juste et plus équitable ». Se faisant, elle a été bien plus enrôlée dans le projet IA par des acteurs ayant un intérêt économique et politique direct à façonner l’avenir selon leurs propres termes. « Nous devons trouver d’autres modalités pour exercer la transparence, l’équité et la responsabilité que nous n’arrivons pas à obtenir ». Il est temps de changer de braquet… Et finalement, de finir de politiser la question technologique.

Derrière le grand récit de l’IA se cache une profonde transformation de la nature même des informations personnelles, explique le chercheur à Harvard, Ikenna Ogbogu, dans une série de concours d’essais organisée par le Berkman Klein Center for Internet & Society de l’Université Harvard et Tech Policy Press. « Plutôt que de simplement stocker des données, les modèles de langage apprennent des représentations statistiques latentes à partir de vastes quantités d’informations générées par l’humain, transformant ainsi les données en capacités d’inférence. Ces capacités permettent aux systèmes d’IA de générer des inférences sensibles sur les individus à partir d’informations qui n’ont jamais été explicitement divulguées. »

« Un modèle peut agréger les comportements d’achat, l’activité sur les réseaux sociaux et les schémas conversationnels pour prédire avec fiabilité l’état de santé mentale, l’affiliation politique ou le niveau de revenu d’une personne. Même si cette personne n’a jamais consenti à divulguer ces informations sensibles, une préoccupation plus fondamentale se pose : des données apparemment anodines concernant autrui peuvent être agrégées pour générer des inférences sensibles sur n’importe quel individu, d’une manière difficilement prévisible, contrôlable ou contestable. Ceci remet en question les cadres de protection de la vie privée classiques, fondés sur la collecte, le stockage, la diffusion et la gestion d’enregistrements distincts et identifiables pour chaque individu. » 

Si les atteintes à la vie privée découlent le plus souvent d’informations identifiables, cela risque de n’être plus le cas à l’avenir. L’inférence ne relève plus de données auxquelles les utilisateurs peuvent accéder, qu’ils peuvent corriger ou supprimer, « mais tiennent à la capacité d’un modèle à générer des inférences sensibles que les utilisateurs ne peuvent raisonnablement ni prévoir ni contrôler, les cadres actuels de la vie privée numérique commencent à s’effondrer ». La protection de la vie privée doit évoluer pour mieux encadrer les capacités d’inférence, explique le jeune chercheur (voir ce que nous disions nous-mêmes en nous inquiétant non seulement des inférences mais de leurs défaillances, car celles-ci ne sont pas toutes fiables, tant s’en faut : Inférences, comment les outils nous voient-ils ?). 

Aron West, pour la lettre Café IA, montrait récemment l’impossibilité à anonymiser un prompt en pointant notamment vers le travail (ainsi que le site dédié) de chercheurs de l’Ecole polytechnique fédérale de Zurich montrant la grande facilité des outils à réidentifier des individus ou leur localisation et à inférer des informations, comme le genre, le niveau culturel ou social, ou l’origine ethnique des individus depuis les questions et indications qui sont présentes dans des prompts. Une étude de 2024 avait déjà abouti à cette même conclusion en démontrant comment les modèles de langage modernes sont capables d’inférer avec précision des informations personnelles identifiables à partir de textes apparemment anodins, comme la possibilité de déduire la localisation exacte d’un individu à partir d’un simple message anodin, comme celui-ci : « il y a ce carrefour infernal sur mon trajet quotidien, je suis toujours coincé là-bas à attendre un virage à droite ». En utilisant bien d’autres éléments comme la langue, le style… et le fait que le terme « virage à droite » désigne une manœuvre de circulation courante dans la région de Melbourne que le modèle a intégré dans ses données…

« Les LLM posent un profond dilemme éthique, car les individus peuvent être profilés, catégorisés et ciblés à grande échelle sur la base d’informations sensibles qu’ils n’ont jamais eu l’intention de partager », souligne Ikenna Ogbogu. Dans Privacy in context (Stanford university Press, 2009), Helen Nissenbaum rappelait que la protection de la vie privée est régie par ses contextes et son intégrité. Par exemple, un patient peut légitimement divulguer des informations médicales à son médecin, mais pas à son employeur. De même, les informations partagées avec un conseiller financier sont généralement censées rester confidentielles dans le cadre de cette relation de conseil. Mais l’inférence perturbe ces deux types de normes. « S’il est approprié de partager des pensées et des expériences dans le cadre d’une discussion sur Reddit par exemple, les utilisateurs ne s’attendent généralement pas à divulguer des informations démographiques sensibles à quiconque capable d’analyser leurs publications. Ils ne s’attendent pas non plus à ce que leur publication contribue à l’entraînement d’un modèle capable de déduire leur niveau de revenu ou leur situation matrimoniale à partir d’interactions courantes sur le site web.»

« Le problème de fond n’est pas seulement la possibilité de déduire des informations sensibles, mais plutôt l’exploitation des interactions ordinaires pour développer des capacités d’inférence servant des fins très éloignées du contexte dans lequel l’information, aussi anodine soit-elle, a été initialement partagée. Ces capacités d’inférence érodent les contextes de formation des normes et des attentes en matière de confidentialité, exacerbant les inquiétudes persistantes quant au pouvoir des entreprises technologiques de profiler, prédire et influencer les comportements à des fins lucratives.»

Or, rappelle Ogbogu, les lois sur la protection de la vie privée estiment que les atteintes à la vie privée résultent de la collecte, du stockage, du transfert ou de la divulgation d’informations identifiables. Elles estiment également que les individus peuvent raisonnablement anticiper l’utilisation qui sera faite de leurs informations. Ce n’est plus le cas. Les lois sur la protection des données personnelles renforcent le contrôle des individus sur leurs informations personnelles. Or l’inférence n’agit pas sur la sécurité des données, mais dépendent des capacités des modèles d’IA et leurs déploiements. 

Les droits à la vie privée numérique, tels que l’accès, la rectification et la suppression, sont également mis à rude épreuve le déploiement de l’inférence. Ces droits présupposent que les informations peuvent être localisées, modifiées et supprimées. Or, avec l’IA, les informations sont distribuées à travers des représentations internes plutôt que stockées sous forme d’enregistrements distincts. Les capacités d’inférence, une fois développées, ne peuvent être annulées de manière fiable par la seule correction des données, ce qui rend les droits individuels a posteriori inadaptés au problème. 

« La législation actuelle sur la protection de la vie privée repose également largement sur des cadres de notification et de consentement qui présupposent que les individus peuvent évaluer de manière pertinente les risques associés au traitement des données. Cependant, les modèles de langage modernes développent des capacités d’inférence dont les applications futures peuvent même être inconnues de leurs concepteurs, rendant le consentement éclairé impossible à obtenir en pratique. » Comme l’observe le spécialiste de la protection de la vie privée Daniel Solove, la gouvernance de la vie privée fondée sur le consentement demande souvent aux individus de prendre des décisions dans des conditions de forte asymétrie d’information. Dans le contexte de l’IA générative, ces asymétries sont amplifiées car les risques les plus importants reposent sur des capacités et des usages difficiles à prévoir a priori.

Pour remédier à ces préjudices, il est nécessaire de dépasser une réglementation purement axée sur les données. Ikenna Ogbogu propose de réfléchir à plusieurs dispositions. « La législation sur la protection de la vie privée devrait élargir la définition des données couvertes afin d’y inclure les informations inférées et les attributs probabilistes dérivés des systèmes d’IA. Cependant, les données inférées ne représentent qu’une manifestation d’un problème plus vaste : les modèles de base développent des capacités permettant de générer des inférences sensibles à partir de représentations latentes, même lorsque ces inférences ne sont jamais stockées sous forme d’enregistrements distincts. Par conséquent, l’élargissement des données couvertes est une première étape nécessaire, mais insuffisante à elle seule.

Deuxièmement, les autorités de réglementation devraient adopter une approche de gouvernance fondée sur les capacités. Plutôt que de se concentrer exclusivement sur les informations stockées, la surveillance devrait évaluer les informations qu’un modèle est capable d’inférer. Les organisations déployant des modèles de base à grande échelle devraient être tenues d’auditer leurs systèmes afin de vérifier leur capacité à inférer des caractéristiques démographiques, financières, politiques, sanitaires ou comportementales sensibles à partir des interactions courantes des utilisateurs. De tels audits permettraient de mieux aligner la réglementation sur la protection de la vie privée sur les réalités du déploiement de modèles de base, où les préjudices découlent souvent des capacités plutôt que des enregistrements.

Troisièmement, les organisations déployant des systèmes d’IA devraient réaliser des évaluations d’impact publiques divulguant l’étendue de l’inférence d’attributs sensibles, le risque de résultats discriminatoires et le potentiel d’utilisation abusive des résultats du modèle. Plutôt que de simples exercices de conformité, ces évaluations devraient être contraignantes, soumises à un examen indépendant et intégrées tout au long du cycle de vie du développement et du déploiement des systèmes d’IA. Contrairement aux cadres de notification et de consentement qui font peser la responsabilité sur les individus, les audits de capacités et les évaluations d’impact rendus publics transfèrent la responsabilité aux organisations les mieux placées pour comprendre et atténuer ces risques. »

Pas sûr que ces propositions soient toutes valides, comme le montraient déjà Paul Bouchaud et Pedro Ramaciotti. La question de l’inférence, comme on le voyait dans notre exemple, repose aussi et beaucoup sur les capacités à croiser les modèles, les fonctions, dans des architectures explicitement prévues pour cela. Une autre réponse serait aussi de limiter certaines formes d’inférences, voire mieux, de les interdire ou d’interdire leurs usages à nombres d’acteurs. Mais la possibilité d’inférer tout ou n’importe quoi depuis les modèles d’IA pose effectivement des problèmes insolubles. Et le fait de mieux révéler ce qui est inféré, comme nous l’évoquions aussi, ne suffira pas à limiter l’exploitation.