URL du flux RSS

ACCÈS LIBRE

▸ les 20 dernières parutions

19.05.2025 à 07:42

Khrys’presso du lundi 19 mai 2025

Khrys
Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (10123 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

RIP

Le rapport de la semaine

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

18.05.2025 à 09:00

La reconnaissance faciale, l’enjeu du siècle

Framasoft
« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien ».
Texte intégral (4366 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 10 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien ».

 

 

 

 

 

 

 

 

Avec cet article, nous nous lançons dans un dossier que nous allons consacrer à la reconnaissance faciale et au continuum sécuritaire. Première partie.

Your face belongs to us (Random House, 2023), le livre que la journaliste du New York Times, Kashmir Hill, a consacré à Clearview, l’entreprise leader de la reconnaissance faciale, est une plongée glaçante dans la dystopie qui vient.

Jusqu’à présent, j’avais tendance à penser que la reconnaissance faciale était problématique d’abord et avant tout parce qu’elle était défaillante. Elle est « une technologie qui souvent ne marche pas », expliquaient Mark Andrejevic et Neil Selwyn (Facial Recognition, Wiley, 2022), montrant que c’est souvent dans son implémentation qu’elle défaille. La juriste, Clare Garvie, faisait le même constat. Si l’authentification (le fait de vérifier qu’une personne est la même que sur une photo) fonctionne mieux que l’identification (le fait de retrouver une personne dans une banque d’image), les deux usages n’ont cessé ces dernières années de montrer leurs limites.

Mais les choses évoluent vite.

La couverture du livre de Kashmir Hill.Le titre est « Your face belongs to us ». Son sous-titre : « A secretive startup's quest to end privacy as we know it ». Le fond de la couverture est une photo d'une partie des visages de deux personnes, floutées.

L’une des couvertures du livre de Kashmir Hill.

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien »

Dans leur livre, AI Snake Oil, les spécialistes de l’intelligence artificielle, Arvind Narayanan et Sayash Kapoor, soulignent pourtant que le taux d’erreur de la reconnaissance faciale est devenu négligeable (0,08 % selon le NIST, l’Institut national des normes et de la technologie américain). « Quand elle est utilisée correctement, la reconnaissance faciale tend à être exacte, parce qu’il y a peu d’incertitude ou d’ambiguïté dans la tâche que les machines doivent accomplir ». Contrairement aux autres formes d’identification (identifier le genre ou reconnaître une émotion, qui sont bien plus sujettes aux erreurs), la différence cruciale c’est que l’information requise pour identifier des visages, pour les distinguer les uns des autres, est présente dans les images elles-mêmes. « Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien » et c’est en cela qu’elle peut produire énormément de dommages.

Le risque que porte la reconnaissance faciale repose tout entier dans la façon dont elle va être utilisée. Et de ce côté-là, les dérives potentielles sont innombrables et inquiétantes. Gouvernements comme entreprises peuvent l’utiliser pour identifier des opposants, des personnes suspectes mais convaincues d’aucuns délits. Certes, elle a été utilisée pour résoudre des affaires criminelles non résolues avec succès. Certes, elle est commode quand elle permet de trier ou d’organiser ses photos… Mais si la reconnaissance faciale peut-être hautement précise quand elle est utilisée correctement, elle peut très facilement être mise en défaut dans la pratique. D’abord par ses implémentations qui peuvent conduire à y avoir recours d’une manière inappropriée et disproportionnée. Ensuite quand les images ne sont pas d’assez bonnes qualités, au risque d’entraîner tout le secteur de la sécurité dans une course sans limites à toujours plus de qualité, nécessitant des financements disproportionnés et faisant peser un risque totalitaire sur les libertés publiques. Pour Narayanan et Kapoor, nous devons avoir un débat vigoureux et précis pour distinguer les bons usages des usages inappropriés de la reconnaissance faciale, et pour développer des gardes-fous pour prévenir les abus et les usages inappropriés tant des acteurs publics que privés.

Certes. Mais cette discussion plusieurs fois posée n’a pas lieu. En 2020, quand la journaliste du New York Times a commencé ses révélations sur Clearview, « l’entreprise qui pourrait mettre fin à la vie privée », le spécialiste de la sécurité, Bruce Schneier avait publié une stimulante tribune pour nous inviter à réglementer la ré-identification biométrique. Pour lui, nous devrions en tant que société, définir des règles pour déterminer « quand une surveillance à notre insu et sans notre consentement est permise, et quand elle ne l’est pas », quand nos données peuvent être combinées avec d’autres et quand elles ne peuvent pas l’être et enfin savoir quand et comment il est permis de faire de la discrimination biométrique et notamment de savoir si nous devons renforcer les mesures de luttes contre les discriminations qui vont se démultiplier avec cette technologie et comment. En France, à la même époque, le sociologue Laurent Mucchielli qui avait fait paraître son enquête sur la vidéosurveillance (Vous êtes filmés, Dunod, 2018 – voir notre compte-rendu de l’époque, désabusé), posait également sur son blog des questions très concrètes sur la reconnaissance faciale : « Quelle partie de la population serait fichée ? Et qui y aurait accès ? Voilà les deux problèmes. » Enfin, les deux professeurs de droit, Barry Friedman (auteur de Unwarranted : policing without permission, 2017) et Andrew Guthrie Ferguson, (auteur de The Rise of Big Data policing, 2017) condamnaient à leur tour, dans une tribune pour le New York Times, « la surveillance des visages » (c’est-à-dire, l’utilisation de la reconnaissance faciale en temps réel pour trouver où se trouve quelqu’un) mais reconnaissaient que l’identification faciale (c’est-à-dire la réidentification d’un criminel, uniquement pour les crimes les plus graves), elle, pourrait être autorisée. Ils y mettaient néanmoins une condition : la réidentification des visages ne devrait pas être autorisée sans décision de justice et sans sanction en cas d’utilisation abusive. Mais, à nouveau, ce n’est pas ce qui s’est passé. La reconnaissance faciale s’est déployée sans contraintes et sans limites.

Les dénonciations comme les interdictions de la reconnaissance faciale sont restées éparses. Les associations de défense des libertés publiques ont appelé à des moratoires et mené des campagnes pour l’interdiction de la reconnaissance faciale, comme Ban Facial Recognition aux Etats-Unis ou Reclaim your face en Europe. Souvent, ces interdictions restent circonscrites à certains types d’usages, notamment les usages de police et de surveillance d’État, oubliant les risques que font courir les outils de surveillance privée.

Reste que le débat public sur son implémentation et ses modalités est inexistant. Au lieu de débats de sociétés, nous avons des « expérimentations » qui dérogent au droit, des déploiements épars et opaques (plus de 200 autorités publiques par le monde sont clientes de Clearview qui n’est qu’un outil parmi une multitude de dispositifs plus ou moins efficaces, allant de la reconnaissance faciale, à la vidéosurveillance algorithmique), et surtout, un immense déni sur les enjeux de ces technologies. Au final, nous ne construisons aucune règle morale sur son utilité ou son utilisation. Nous faisons collectivement l’autruche et son utilisation se déploie sans cadres légaux clairs dans un continuum de technologies sécuritaires et problématiques, allant des drones aux technologies de contrôle de l’immigration.

Une histoire de la reconnaissance faciale : entre amélioration par à-coups et paniques morales à chaque amélioration

Dans son livre, Your face belongs to us, Kashmir Hill alterne à la fois une histoire de l’évolution de la technologie et une enquête sur le développement de Clearview.

Sur cette histoire, Hill fait un travail qui met en exergue des moments forts. Elle rappelle d’abord que le terme de vie privée, définit à l’origine comme le droit d’être laissé tranquille par les juristes américains Samuel Warren et Louis Brandeis, était inspiré par la création de la pellicule photographique par Kodak, qui promettait de pouvoir sortir l’appareil photo des studios où il était jusqu’alors confiné par son temps de pause très long. Dans cette longue histoire de la reconnaissance faciale, Hill raconte notamment l’incroyable histoire du contrôle des tickets de trains américains dans les années 1880, où les contrôleurs poinçonnaient les tickets selon un codage réduit (de 7 caractéristiques physiques dont le genre, l’âge, la corpulence…) permettant aux contrôleurs de savoir si le billet contrôlé correspondait bien à la personne qui l’avait déjà présenté. Bien évidemment, cette reconnaissance humaine et basique causa d’innombrables contestations, tant ces appréciations d’un agent à un autre pouvaient varier. Mais la méthode aurait inspiré Herman Hollerith, qui va avoir l’idée de cartes avec des perforations standardisées et va adapter la machine pour le recensement américain, donnant naissance à l’entreprise qui deviendra IBM.

Hill surfe sur l’histoire de l’IA, des Perceptrons de Marvin Minsky, à Panoramic, l’entreprise lancée dans les années 60 par Woody Bledsoe, qui va être la première, à la demande de la CIA, à tenter de créer un outil de reconnaissance des visages simplifié, en créant une empreinte de visages comme autant de points saillants. Elle raconte que les améliorations dans le domaine vont se faire avec l’amélioration de la qualité et de la disponibilité des images et de la puissance des ordinateurs, à l’image des travaux de Takeo Kanade (dans les années 70, pour l’entreprise japonaise NEC), puis de Matthew Turk qui va bénéficier de l’amélioration de la compression des images. Accusé d’être à la tête d’un programme Orwellien, Turk s’en défendra pourtant en soulignant qu’enregistrer les informations sur les gens qui passent devant une caméra est surtout bénin. À croire que notre déni sur les conséquences de cette technologie remonte à loin.

En 2001, lors du Super Bowl, plusieurs entreprises, dont Viisage Technology et Raytheon, communiquent sur le fait qu’elles ont sécurisé l’accès au stade grâce à la reconnaissance faciale, identifiant 19 spectateurs avec un passé criminel. Viisage a récupéré la technologie de Turk et l’a commercialisé pour des badges d’identification pour entreprises. Ces déploiements technologiques, financés par les agences fédérales, commencent à inquiéter, notamment quand on apprend que des entreprises y ont recours, comme les casinos. Reste que la technologie est encore largement défaillante et peine bien souvent à identifier quiconque.

Mais le 11 septembre a changé la donne. Le Patriot Act permet aux agences du gouvernement d’élargir leurs accès aux données. Joseph Atick, cofondateur de Visionics, une autre entreprise du secteur, propose sa technologie aux aéroports pour rassurer les voyageurs. Il sait que celle-ci n’est pas au point pour identifier les terroristes, mais il a besoin des données pour améliorer son logiciel. Bruce Schneider aura beau dénoncer le « théâtre de la sécurité » , l’engrenage sécuritaire est lancé… Face à ses déploiements, les acteurs publics ont besoin d’évaluer ce qu’ils achètent. Jonathon Philips du National Institute of Standards and Technology (Nist) créée une base de données de visages de très bonne qualité sous différents angles, « Feret », pour tester les outils que vendent les entreprises. Il inaugure un concours où les vendeurs de solutions sont invités à montrer qui parvient à faire le mieux matcher les visages aux photos. En 2001, le premier rapport du Nist montre surtout qu’aucune entreprise n’y parvient très bien. Aucune entreprise n’est capable de déployer un système efficace, mais cela ne va pas les empêcher de le faire. Les meilleures entreprises, comme celle d’Atick, parviennent à faire matcher les photos à 90 %, pour autant qu’elles soient prises dans des conditions idéales. Ce qui tient surtout de l’authentification faciale fonctionne également mieux sur les hommes que sur les femmes, les personnes de couleurs ou les jeunes. En 2014, le FBI lance à son tour un concours pour rendre sa base d’images de criminels cherchable, mais là encore, les résultats sont décevants. La technologie échoue dès qu’elle n’est pas utilisée dans des conditions idéales.

En 2006, le juriste de l’ACLU James Ferg-Cadima découvre dans une grande surface la possibilité de payer depuis son empreinte digitale. Face à de tels dispositifs, s’inquiète-t-il, les consommateurs n’ont aucun moyen de protéger leurs empreintes biométriques. Quand son mot de passe est exposé, on peut en obtenir un nouveau, mais nul ne peut changer son visage ou ses empreintes. Le service « Pay by Touch », lancé en 2002 fait faillite en 2007, avec le risque que sa base d’empreintes soit vendue au plus offrant ! Avec l’ACLU, Ferg-Cadima œuvre alors à déployer une loi qui oblige à recevoir une permission pour collecter, utiliser ou vendre des informations biométriques : le Biometric Information Privacy Act (Bipa) que plusieurs Etats vont adopter.

En 2009, Google imagine des lunettes qui permettent de lancer une recherche en prenant une photo, mais s’inquiète des réactions, d’autant que le lancement de Street View en Europe a déjà terni son image de défenseur de la vie privée. La fonctionnalité de reconnaissance faciale existe déjà dans Picasa, le service de stockage d’images de Google, qui propose d’identifier les gens sur les photos et que les gens peuvent labelliser du nom de leurs amis pour aider le logiciel à progresser. En 2011, la fonctionnalité fait polémique. Google l’enterre.

À la fin des années 90, l’ingénieur Henry Schneiderman accède à Feret, mais trouve que la base de données est trop parfaite pour améliorer la reconnaissance faciale. Il pense qu’il faut que les ordinateurs soient d’abord capables de trouver un visage dans les images avant qu’ils puissent les reconnaître. En 2000, il propose d’utiliser une nouvelle technique pour cela qui deviendra en 2004, PittPatt, un outil pour distinguer les visages dans les images. En 2010, le chercheur Alessandro Acquisti, fasciné par le paradoxe de la vie privée, lance une expérience en utilisant PittPatt et Facebook et montre que ce croisement permet de ré-identifier tous les étudiants qui se prêtent à son expérience, même ceux qui n’ont pas de compte Facebook, mais qui ont été néanmoins taggés par leurs amis dans une image. Acquisti prédit alors la « démocratisation de la surveillance » et estime que tout le monde sera demain capable d’identifier n’importe qui. Pour Acquisti, il sera bientôt possible de trouver le nom d’un étranger et d’y associer alors toutes les données disponibles, des sites web qu’il a visité à ses achats en passant par ses opinions politiques… et s’inquiète du fait que les gens ne pourront pas y faire grand-chose. Pour le professeur, d’ici 2021 il sera possible de réidentifer quelqu’un depuis son visage, prédit-il. Acquisti s’est trompé : la fonctionnalité a été disponible bien plus tôt !

En 2011, PittPatt est acquise par Google qui va s’en servir pour créer un système pour débloquer son téléphone. En décembre 2011, à Washington se tient la conférence Face Facts, sponsorisée par la FTC qui depuis 2006 s’est doté d’une petite division chargée de la vie privée et de la protection de l’identité, quant, à travers le monde, nombre d’Etats ont créé des autorités de la protection des données. Si, suite à quelques longues enquêtes, la FTC a attaqué Facebook, Google ou Twitter sur leurs outils de réglages de la vie privée défaillants, ces poursuites n’ont produit que des arrangements amiables. À la conférence, Julie Brill, fait la démonstration d’un produit de détection des visages que les publicitaires peuvent incorporer aux panneaux publicitaires numériques urbains, capable de détecter l’âge où le genre. Daniel Solove fait une présentation où il pointe que les Etats-Unis offrent peu de protections légales face au possible déploiement de la reconnaissance faciale. Pour lui, la loi n’est pas prête pour affronter le bouleversement que la reconnaissance faciale va introduire dans la société. Les entreprises se défendent en soulignant qu’elles ne souhaitent pas introduire de systèmes pour dé-anonymiser le monde, mais uniquement s’en servir de manière inoffensive. Cette promesse ne va pas durer longtemps…

En 2012, Facebook achète la startup israélienne Face.com et Zuckerberg demande aux ingénieurs d’utiliser Facebook pour « changer l’échelle » de la reconnaissance faciale. Le système de suggestions d’étiquetage de noms sur les photos que les utilisateurs chargent sur Facebook est réglé pour n’identifier que les amis, et pas ceux avec qui les utilisateurs ne sont pas en relation. Facebook assure que son outil ne sera jamais ouvert à la police et que le réseau social est protégé du scraping. On sait depuis que rien n’a été moins vrai. Après 5 ans de travaux, en 2017, un ingénieur de Facebook provenant de Microsoft propose un nouvel outil à un petit groupe d’employés de Facebook. Il pointe la caméra de son téléphone en direction d’un employé et le téléphone déclame son nom après l’avoir reconnu.

À Stanford, des ingénieurs ont mis au point un algorithme appelé Supervision qui utilise la technologie des réseaux neuronaux et qui vient de remporter un concours de vision par ordinateur en identifiant des objets sur des images à des niveaux de précision jamais atteints. Yaniv Taigman va l’utiliser et l’améliorer pour créer DeepFace. En 2014, DeepFace est capable de faire matcher deux photos d’une même personne avec seulement 3 % d’erreurs, même si la personne est loin dans l’image et même si les images sont anciennes. En 2015, DeepFace est déployé pour améliorer l’outil d’étiquetage des images de Facebook.

En 2013, les révélations d’Edward Snowden changent à nouveau la donne. D’un coup, les gens sont devenus plus sensibles aux incursions des autorités à l’encontre de la vie privée. Pourtant, malgré les efforts de militants, le Congrès n’arrive à passer aucune loi à l’encontre de la reconnaissance faciale ou de la protection de la vie privée. Seules quelques villes et États ont musclé leur législation. C’est le cas de l’Illinois où des avocats vont utiliser le Bipa pour attaquer Facebook accusé d’avoir créé une empreinte des visages des 1,6 millions d’habitants de l’Etat.

Cette rapide histoire, trop lacunaire parfois, semble s’arrêter là pour Hill, qui oriente la suite de son livre sur le seul Clearview. Elle s’arrête effectivement avec le déploiement de l’intelligence artificielle et des réseaux de neurones qui vont permettre à la reconnaissance faciale de parvenir à l’efficacité qu’elle espérait.

Reste que cette rapide histoire, brossée à grands traits, souligne néanmoins plusieurs points dans l’évolution de la reconnaissance faciale. D’abord que la reconnaissance faciale progresse par vague technologique, nécessitant l’accès à de nouvelles puissances de calcul pour progresser et surtout l’accès à des images en quantité et en qualité.

Ensuite, que les polémiques et paniques nourrissent les projets et les relancent plutôt que de les éteindre. Ceux qui les développent jouent souvent un jeu ambivalent, minimisant et dissimulant les capacités des programmes qu’ils déploient.

Enfin, que les polémiques ne permettent pas de faire naître des législations protectrices, comme si la législation était toujours en attente que la technologie advienne. Comme si finalement, il y avait toujours un enjeu à ce que la législation soit en retard, pour permettre à la technologie d’advenir.

(à suivre)

14.05.2025 à 10:02

FramIActu n°4 — La revue mensuelle sur l’actualité de l’IA

Framasoft
Semaine après semaine, l'actualité autour de l'Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent. Préparez votre boisson préférée et installez-vous confortablement : c'est l'heure de la FramIActu !
Texte intégral (2975 mots)

Bienvenue à toutes et tous pour ce quatrième numéro de la FramIActu !

Semaine après semaine, l’actualité autour de l’Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent.

Préparez votre boisson préférée et installez-vous confortablement : c’est l’heure de la FramIActu !

 

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Celui si est assis et semble parler.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

Une dépendance trop forte aux modélisations par IA est mauvaise pour la science

Dans un article paru le 07 avril 2025 dans Nature (accès payant, malheureusement), des chercheureuses démontrent que la dépendance excessive aux modélisations par IA nuit à la recherche scientifique.
Dans cette étude, nous apprenons que de nombreux champs de recherche (au moins une trentaine sont concernés, allant de la psychiatrie à la biologie moléculaire) sont affectés par des études basées sur des modélisations faites par IA dont les résultats sont erronés.

À titre d’exemple, les chercheureuses indiquent que durant la pandémie du COVID-19, 415 études ont avancé qu’une radiographie de la poitrine ou une tomodensitométrie pourraient diagnostiquer la maladie. Or, seulement 62 de ces études respectaient un standard de qualité suffisant et même parmi celles-ci, des défauts étaient très répandus, incluant des méthodes d’évaluation bancales, des données dupliquées et un manque de clarté concernant les cas « positifs », certaines études ne précisant pas si ces cas provenaient bien de personnes ayant un diagnostic médical confirmé.

Les auteurices de l’étude se plaignent aussi de la difficulté à reproduire les résultats des études (la reproductibilité étant une condition essentielle à la méthode scientifique) utilisant des IA basées sur de grands modèles de langage. Ces modèles sont très sensibles aux entrées : de tous petits changements de formulations lors de la requête peut générer une réponse très différente.
De plus, les modèles appartenant le plus souvent à des compagnies privées, il est très difficile de pouvoir y accéder rendant des études basées sur ceux-ci difficiles à reproduire.
D’autant plus que des mises à jour des modèles surviennent régulièrement, sans que les chercheureuses n’aient été notifié·es.

Mème. À gauche, une carte Uno avec marqué « Fais des études reproductibles ou pioche 25 cartes ». À droite, un personnage tagué « Le monde de la recherche » a pioché 25 cartes.

Le monde de recherche et l’IA. Mème généré via Framamèmes. Licence : CC0

Les chercheureuses appuient donc sur la nécessité d’être vigilant·es concernant l’augmentation de recherches scientifiques liées au boom de l’IA. Même si celles-ci étaient sans erreur, elles ne sont pas forcément synonymes de réelles avancées scientifiques.
Bien que certaines modélisations trouvées par des recherches basées sur de l’IA peuvent être utiles, en tirer une conclusion scientifique permettant de mieux comprendre le réel est bien plus difficile et les chercheureuses invitent leurs collègues à ne pas se tromper.
Les boites à outils composées d’IA basées sur de l’apprentissage machine permettent de construire plus facilement des modélisations mais ne rendent pas nécessairement plus faciles l’extraction des savoirs sur le monde et peuvent même rendre celle-ci plus difficile.
Le risque est donc de produire plus mais de comprendre moins.

Les auteurices invitent en conclusion à séparer la production de résultats individuels du progrès scientifique. Pour cela, celleux-ci indiquent qu’il est nécessaire de rédiger des synthèses avec un discours moins systématique et plus critique qui questionne les méthodes acceptées, adopte différentes formes de preuves, se confronte à des affirmations supposément incompatibles et théorise les découvertes existantes.
Aussi, une prudence bien plus forte doit être apportée aux recherches basées sur des modèles d’IA, jusqu’à ce que les résultats de celles-ci puissent être rigoureusement reproduits.
Enfin, les chercheureuses encouragent les financeurs à financer des recherches de qualité plutôt que de se focaliser sur la quantité.

L’IA rate les diagnostics médicaux de femmes et personnes noires.

Dans une étude parue dans Science Advances, un groupe de chercheureuses dévoile (sans grande surprise, avouons-le) qu’un des modèles d’IA les plus utilisés pour faire de la radiologie des poitrines à la recherche de maladies ne détecte pas correctement certain·es maladies potentiellement mortelles pour les groupes marginalisés (dont les femmes et les personnes noires).

Judy Gichoya, une informaticienne et radiologiste qui n’est pas impliquée dans l’étude, appuie sur la difficulté de réduire ces biais. Elle propose de s’appuyer sur des jeux de données plus petits mais plus diversifiés et de résoudre leurs défauts petit à petit.

L’étude s’inscrit dans un contexte où l’utilisation dans des contextes médicaux s’accélère et appuie ainsi sur la nécessité de toujours garder un regard humain sur les diagnostics et de ne jamais faire aveuglément confiance en les résultats fournis par une IA.

L'IA qui rend son diagnostique.Généré avec Framamemes. CC-0

L’IA rend son diagnostic.
Généré avec Framamemes. Licence : CC-0

De notre point de vue, la grande difficulté de la résolution des biais dans l’IA est liée à une volonté politique et financière : si ce genre de méthode se généralise, il faudrait très certainement investir massivement dans la numérisation des réalités des minorités et faire un immense travail de fond pour en éliminer le maximum de biais.
Cela semble malheureusement aller à contre-courant de la tendance actuelle.

 

Des expert·es en sécurité informatique dévoilent comment l’IA « malveillante » impacte le domaine

Lors de la conférence RSA, dédiée à la sécurité informatique, des expert·es du domaine ont dévoilé la puissance d’outils comme WormGPT pour découvrir des failles de sécurité et concevoir des attaques les exploitant.

WormGPT est un agent conversationnel ressemblant à ChatGPT mais n’ayant pas de modération. Celui-ci est aussi taillé pour la cybersécurité. On peut donc lui demander de fournir des réponses à tout, même à des choses illégales et/ou dangereuses.

Dans leur présentation, les informaticien·nes décrivent l’outil et ses capacités.
Celui-ci leur a permis de trouver rapidement des failles de sécurité dans un logiciel open source connu, mais aussi d’en générer des instructions claires permettant d’exploiter ces failles.

Les expert·es ont aussi cherché à faire générer directement le code par l’IA mais celui-ci n’était pas fonctionnel.
Ce dernier point sera très certainement amélioré au fil des prochains mois.

L’automatisation de l’analyse de failles informatiques a ainsi fait un bond conséquent en avant tout comme les capacités à les exploiter. Si des groupes de pirates se mettent à automatiser le processus, l’ensemble des systèmes informatiques risquent fort d’en pâtir.

D’un autre côté, si nous pouvons découvrir automatiquement des failles de sécurité dans nos logiciels, nous pouvons aussi chercher à les corriger avant qu’un·e attaquant·e ne les exploite.
L’utilisation de l’IA dans l’infrastructure entourant un logiciel semble donc presque inévitable de ce point de vue.

Enfin, nous pourrons aussi questionner ce que cela implique pour les développeur·euses modestes, notamment celleux partageant le code source de leur logiciel. Est-ce que la situation va ajouter encore plus de poids sur leurs épaules, leur demandant d’alourdir leur charge de travail (souvent bénévole) en mettant en place une infrastructure analysant les failles de sécurité et leur demandant de les résoudre au plus vite pour protéger leurs utilisateurices ?

L'image montre des briques reposant les unes sur les autres. L'ensemble de ces briques est taguée "All modern digital infrastructure". Une brique, sur laquelle repose tout l'équilibre de l'ensemble, est taguée "A project some random person in Nebraska has been Thanklessly maintaining since 2005".

Dependency – xkcd.
Licence : CC-BY-NC 2.5
Le célèbre xkcd représentant l’infrastructure du numérique moderne reposant entièrement sur une seule personne.

ChatGPT induit des psychoses à certain·es utilisateurices via ses réponses.

Dans un article de Rolling Stone, nous apprenons que des utilisateurices du média social Reddit décrivent comment l’IA a poussé leurs proches à adopter des délires, souvent basés sur des folies spirituelles ou des fantasmes surnaturels.

ChatGPT semble renforcer des psychoses chez certaines personnes, le plus souvent celles ayant déjà des tendances.
Interviewée par Rolling Stone, Erin Westgate, chercheuse en cognition, indique que certaines personnes utilisent ChatGPT comme « thérapie miroir ». Sauf que ChatGPT n’a pas pour préoccupation les intérêts de ces personnes.
Elle indique que des personnes utilisent ChatGPT pour trouver un sens à leur vie et ChatGPT leur recrache n’importe quelle explication trouvée un peu partout sur internet.

 

« Les explications sont puissantes, même si elles sont fausses » – Erin Westgate

Rappelons donc encore une fois que toute Intelligence Artificielle n’a aucune compréhension du réel et est surtout un système probabiliste. Une IA ne donnera jamais une réponse qu’elle considère être « vraie », c’est une notion inconnue pour elle. Elle donnera toujours une réponse qu’elle considère être « la plus probable » au regard de la manière dont elle a été entraînée et de l’historique de ses interactions avec l’utilisateur·ice.

Le dessin d'un perroquet Ara, avec un remonteur mécanique dans son dos, comme pour les jouets ou les montres. Accroché à son aile gauche, un ballon de baudruche.

Stokastik, la mascotte de FramamIA, faisant référence au perroquet stochastique. Illustration de David Revoy – Licence : CC-By 4.0

C’est tout pour ce mois-ci !

 

Cependant, si vous avez trouvé cette FramIActu trop courte et que vous êtes resté·e sur votre faim, vous pouvez vous mettre d’autres actualités sous la dent en consultant notre site de curation dédié au sujet, mais aussi et surtout FramamIA, notre site partageant des clés de compréhension sur l’IA !

Si nous pouvons vous proposer cette nouvelle revue mensuelle, c’est grâce à vos dons, Framasoft vivant presque exclusivement grâce à eux !
Pour nous soutenir et si vous en avez les moyens, vous pouvez nous faire un don via le formulaire dédié  !

Dans tous les cas, nous nous retrouverons le mois prochain pour un nouveau numéro de FramIActu ! 👋

12.05.2025 à 07:42

Khrys’presso du lundi 12 mai 2025

Khrys
Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière. Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer … Lire la suite­­
Texte intégral (9132 mots)

Comme chaque lundi, un coup d’œil dans le rétroviseur pour découvrir les informations que vous avez peut-être ratées la semaine dernière.

Tous les liens listés ci-dessous sont a priori accessibles librement. Si ce n’est pas le cas, pensez à activer votre bloqueur de javascript favori ou à passer en “mode lecture” (Firefox) ;-)

Brave New World

Spécial nouveau pape

Spécial IA

Spécial Palestine et Israël

Spécial femmes dans le monde

Spécial France

Spécial femmes en France

Spécial médias et pouvoir

Spécial emmerdeurs irresponsables gérant comme des pieds (et à la néolibérale)

Spécial recul des droits et libertés, violences policières, montée de l’extrême-droite…

Spécial résistances

Spécial outils de résistance

  • Operator, I need an exit. (transworldexpress.org)

    This is an information resource mainly written for trans US citizens considering emigrating to another country, although we hope it is useful beyond that.

Spécial GAFAM et cie

Les autres lectures de la semaine

Les BDs/graphiques/photos de la semaine

Les vidéos/podcasts de la semaine

Les trucs chouettes de la semaine

Retrouvez les revues de web précédentes dans la catégorie Libre Veille du Framablog.

Les articles, commentaires et autres images qui composent ces « Khrys’presso » n’engagent que moi (Khrys).

11.05.2025 à 09:00

Vivre dans l’utopie algorithmique

Framasoft
L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.
Texte intégral (1629 mots)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 03 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.

 

 

 

 

 

 

 

Dans un article de recherche de 2021, intitulé « Vivre dans leur utopie : pourquoi les systèmes algorithmiques créent des résultats absurdes », l’anthropologue et data scientist américain, Ali Alkhatib pointait le décalage existant entre la promesse technicienne et sa réalité, qui est que ces systèmes déploient bien plus de mauvaises décisions que de bonnes. La grande difficulté des populations  à s’opposer à des modèles informatiques défectueux condamne même les systèmes bien intentionnés, car les modèles défaillants sèment le doute partout autour d’eux. Pour lui, les systèmes algorithmiques tiennent d’une bureaucratisation pour elle-même et promeuvent un Etat administratif automatisé, autorisé à menacer et accabler ses populations pour assurer sa propre optimisation.

La raison de ces constructions algorithmiques pour trier et gérer les populations s’expliquent par le fait que la modernité produit des versions abrégées du monde qui ne sont pas conformes à sa diversité, à l’image des ingénieurs du XVIIIᵉ siècle, raconté par l’anthropologue James C. Scott dans L’Oeil de l’Etat, qui, en voulant optimiser la forêt pour son exploitation, l’ont rendue malade. Nos modèles sont du même ordre, ils produisent des versions du monde qui n’y sont pas conformes et qui peuvent être extrêmement nuisibles. « Les cartes abrégées conceptuelles que les forestiers ont créées et utilisées sont des artefacts qui résument le monde, mais elles transforment également le monde ». Nous sommes cernés par la croyance que la science et la technologie vont nous permettre de gérer et transformer la société pour la perfectionner. Ce qui, comme le dit Scott, a plusieurs conséquences : d’abord, cela produit une réorganisation administrative transformationnelle. Ensuite, cette réorganisation a tendance à s’imposer d’une manière autoritaire, sans égards pour la vie – les gens qui n’entrent pas dans les systèmes ne sont pas considérés. Et, pour imposer son réductionnisme, cette réorganisation nécessite d’affaiblir la société civile et la contestation.

La réorganisation administrative et informatique de nos vies et les dommages que ces réorganisations causent sont déjà visibles. L’organisation algorithmique du monde déclasse déjà ceux qui sont dans les marges du modèle, loin de la moyenne et d’autant plus éloignés que les données ne les ont jamais représentés correctement. C’est ce que l’on constate avec les discriminations que les systèmes renforcent. « Le système impose son modèle au monde, jugeant et punissant les personnes qui ne correspondent pas au modèle que l’algorithme a produit dans l’intérêt d’un objectif apparemment objectif que les concepteurs insistent pour dire qu’il est meilleur que les décisions que les humains prennent de certaines ou de plusieurs manières ; c’est la deuxième qualité. Leur mépris pour la dignité et la vie des gens – ou plutôt, leur incapacité à conceptualiser ces idées en premier lieu – les rend finalement aussi disposés que n’importe quel système à subjuguer et à nuire aux gens ; c’est la troisième qualité. Enfin, nos pratiques dans la façon dont les éthiciens et autres universitaires parlent de l’éthique et de l’IA, sapant et contrôlant le discours jusqu’à ce que le public accepte un engagement rigoureux avec « l’algorithme » qui serait quelque chose que seuls les philosophes et les informaticiens peuvent faire, agit comme une dépossession du public ; c’est la quatrième et dernière qualité. »

Comme les forestiers du XVIIIᵉ, les informaticiens imposent leur utopie algorithmique sur le monde, sans voir qu’elle est d’abord un réductionnisme. Le monde réduit à des données, par nature partiales, renforce sa puissance au détriment des personnes les plus à la marge de ces données et calculs. Les modélisations finissent par se détacher de plus en plus de la réalité et sont de plus en plus nuisibles aux personnes exclues. Ali Alkhatib évoque par exemple un système d’admission automatisé mis en place à l’université d’Austin entre 2013 et 2018, « Grade », abandonné car, comme tant d’autres, il avait désavantagé les femmes et les personnes de couleur. Ce système, conçu pour diminuer le travail des commissions d’admission ne tenait aucun compte de l’origine ou du genre des candidats, mais en faisant cela, valorisait de fait les candidats blancs et masculins. Enfin, le système n’offrait ni voie de recours ni même moyens pour que les candidats aient leur mot à dire sur la façon dont le système les évaluait.

L’IA construit des modèles du monde qui nous contraignent à nous y adapter, explique Ali Alkhatib. Mais surtout, elle réduit le pouvoir de certains et d’abord de ceux qu’elle calcule le plus mal. En cherchant à créer un « monde plus rationnel », les algorithmes d’apprentissage automatique créent les « façons d’organiser la stupidité » que dénonçait David Graeber dans Bureaucratie (voir notre lecture) et ces modèles sont ensuite projetés sur nos expériences réelles, niant celles qui ne s’inscrivent pas dans cette réduction. Si les IA causent du tort, c’est parce que les concepteurs de ces systèmes leur permettent de créer leurs propres mondes pour mieux transformer le réel. « Les IA causent du tort, parce qu’elles nous exhortent à vivre dans leur utopie ». Lorsque les concepteurs de systèmes entraînent leurs modèles informatiques en ignorant l’identité transgenre par exemple, ils exigent que ces personnes se débarrassent de leur identité, ce qu’elles ne peuvent pas faire, comme le montrait Sasha Constanza-Chock dans son livre, Design Justice, en évoquant les blocages qu’elle rencontrait dans les aéroports. Même chose quand les systèmes de reconnaissance faciales ont plus de mal avec certaines couleurs de peau qui conduisent à renforcer les difficultés que rencontrent déjà ces populations. Pour Ali Alkhatib, l’homogénéisation que produit la monoculture de l’IA en contraignant, en effaçant et en opprimant ceux qui ne correspondent pas déjà au modèle existant, se renforce partout où l’IA exerce un pouvoir autoritaire, et ces préjudices s’abattent systématiquement et inévitablement sur les groupes qui ont très peu de pouvoir pour résister, corriger ou s’échapper des calculs. D’autant qu’en imposant leur réduction, ces systèmes ont tous tendance à limiter les contestations possibles.

En refermant les possibilités de contestation de ceux qui n’entrent pas dans les cases du calcul, l’utopie algorithmique des puissants devient la dystopie algorithmique des démunis.

10 / 20

 

  GÉNÉRALISTES
Ballast
Fakir
Interstices
Lava
La revue des médias
Le Grand Continent
Le Monde Diplo
Le Nouvel Obs
Lundi Matin
Mouais
Multitudes
Politis
Regards
Smolny
Socialter
The Conversation
UPMagazine
Usbek & Rica
Le Zéphyr
 
  Idées ‧ Politique ‧ A à F
Accattone
Contretemps
A Contretemps
Alter-éditions
CQFD
Comptoir (Le)
Déferlante (La)
Esprit
Frustration
 
  Idées ‧ Politique ‧ i à z
L'Intimiste
Jef Klak
Lignes de Crêtes
NonFiction
Nouveaux Cahiers du Socialisme
Période
Philo Mag
Terrestres
Vie des Idées
 
  ARTS
Villa Albertine
 
  THINK-TANKS
Fondation Copernic
Institut La Boétie
Institut Rousseau
 
  TECH
Dans les algorithmes
Framablog
Goodtech.info
Quadrature du Net
 
  INTERNATIONAL
Alencontre
Alterinfos
CETRI
ESSF
Inprecor
Journal des Alternatives
Guitinews
 
  MULTILINGUES
Kedistan
Quatrième Internationale
Viewpoint Magazine
+972 mag
 
  PODCASTS
Arrêt sur Images
Le Diplo
LSD
Thinkerview
 
Fiabilité 3/5
Slate
Ulyces
 
Fiabilité 1/5
Contre-Attaque
Issues
Korii
Positivr
Regain
🌞