LePartisan.info À propos Podcasts Fil web Écologie BLOGS Revues Médias
Tristan NITOT
sur la technologie, l'Internet et les libertés numériques

Standblog


▸ les 8 dernières parutions

01.12.2025 à 16:31

IA générative et cybersécurité

Tristan Nitot

Mettre de l’IA partout, dans tous les produits, c’est mettre des trous de sécurité partout dans ces produits. Mais on ne les voit pas tout de suite.

Vous avez remarqué comme on constate l’apparition de boutons IA dans toutes nos interfaces ? C’est rarement intéressant, mais les géants de la Tech veulent tellement remporter la bataille de l’IA qu’ils forcent leurs utilisateurs à s’en servir.

Cela n’est pas sans conséquence.

C’est ce que décrit, preuves à l’appui, l’entreprise PromptArmor dans un billet très technique mais passionnant. Je tente de le résumer avec des mots simples, en trois étapes :

  1. Le méchant de l’histoire (et on sait que le Web n’est pas peuplé que de Bisounours) écrit un article de documentation informatique qui intéresse un développeur équipé dans le cas présent du très prometteur Google Antigravity, (éditeur de code IA agentique).
  2. Caché dans le texte de la documentation, affiché à l’écran en taille d’un pixel de haut (autrement dit, à l’oeil nu, ça ressemble à une ligne grisée), un prompt qui demande astucieusement à l’IA de Google de récupérer des informations confidentielles. Ici, des mots de passe permettant l’accès au Cloud de la victime.
  3. Ensuite, le même prompt demande à l’IA de Google de se connecter à un site malveillant pour y livrer ces informations confidentielles.

Détail “amusant” (ou cauchemardesque) : par défaut, l’IA n’a pas accès aux mots de passe, mais elle se montre “créative” pour contourner l’interdiction et y accéder malgré tout. Et elle y arrive ! (voir l’illustration jointe).

Finalement quand les géants de la Tech nous disent que l’IA va tout changer, il ont peut-être raison. Mais curieusement, ils ne mentionnent pas que ça va aussi inclure la cybersécurité, en plus du climat et des conflits d’accès à l’eau et à l’énergie !

Copie d'écran d'ordinateur où l'on voit un dialogue avec une IA qui explique qu'elle n'a pas accès aux mots de passe, mais qui va essayer une méthode alternative pour finalement y arriver (et donner l'info secrète au pirate)

PDF

30.11.2025 à 16:26

En Vrac de novembre 2025

Tristan Nitot

À propos d’IA

  • Passionnante Interview de Tristan Harris sur l’IA générative (ChatGPT & consors) et l’IA Générale (l’IA qui sait tout faire mieux que l’humain, qui n’existe pas à l’heure actuelle et peut-être jamais). L’interview est franchement alarmiste, donc il faut un mental d’acier pour l’écouter. Quelques points intéressants :
    • La notion de Recursive Self-Improvement Takeoff (ou RSI Takeoff), le moment où l’IA arrive à s’améliorer elle même, se programmer elle même, qui signifie qu’elle s’améliore de façon exponentielle.
    • le rôle centrale de l’inévitabilité. “Si tout le monde croit que l’IAGen est inévitable, alors je (CEO de la Tech), me doit d’y aller.”
    • Réguler l’IA, c’est possible : on l’a fait avec les CFC dans les années 1980 (ce sont les produits qui provoquaient le trou dans la couche d’ozone, qu’on a effectivement réussi à réguler avec le protocole de Montréal). Perso, j’en doute.
    • (Vers 44 mn) Comparaison entre le changement climatique (qu’on n’arrive pas à régler) et l’IA Générale. “Plus un sujet est proche de ce qui fait tourner l’économie, plus c’est difficile à réguler”
  • Inattendu : Saboter l’IA ? Une liste de méthodes offensives pour faciliter le sabotage algorithmique et l’empoisonnement intentionel de données. Avec par exemple des fichiers ZIP toxiques qui explosent le volume de données quand on les ouvre ou un générateur de fausses image JPEG.
  • Quand éclatera la bulle IA…, une réflexion de l’ami Ploum, avec une référence en conclusion… sur Vélorutopia !
  • Quelques chiffres sur les dépenses d’OpenAI (qui fait ChatGPT et Sora). L’entreprise aurait perdu 5 milliards en 2024 et est sur une tendance de 20 milliards en 2025.
  • Why We’re Not Using AI in This Course, Despite Its Obvious Benefits, un professeur d’éthique qui explique longuement pourquoi les élèves ne sont pas autorisés à utiliser de l’IA générative dans son cours.
  • Microsoft has AI GPUs “sitting in inventory” because it lacks the power necessary to install them. “The biggest issue we are now having is not a compute glut, but it’s power – it’s sort of the ability to get the builds done fast enough close to power,” Nadella said. “So, if you can’t do that, you may actually have a bunch of chips sitting in inventory that I can’t plug in. In fact, that is my problem today. It’s not a supply issue of chips; it’s actually the fact that I don’t have warm shells to plug into.” Donc Microsoft a des GPU qui sont inutilisés faute de place dans des Datacenters alimentés avec suffisament d’électricité ;
  • How AGI became the most consequential conspiracy theory of our time, ou comment la superintelligence montre de troublantes similitudes avec les théories du complot. Une lecture (en anglais) passionnante !
  • Justement, Hubert Guillaud, toujours excellent, nous propose une analyse de l’article ci-dessus : Intelligence artificielle générale : le délire complotiste de la tech, et c’est du bonheur à lire ;
  • Google CEO: If an AI bubble pops, no one is getting out clean “si la bulle de l’IA explose, personne n’en sortira indemne, même nous” explique Sundar Pichai, patron d’Alphabet (Google)
  • Merveilleux don de l’IA à l’humanité : le Chatfishing, la façon dont certaines personnes utilisent ChatGPT dans les apps de rencontre pour dialoguer avec des partenaires potentiels de façon à les séduire. Seulement, quand la rencontre en vrai arrivent, ils sont muets comme des carpes… Ca me rappelle un peu les élèves qui font faire leurs devoirs à l’IA, et qui sont fort dépourvus quand l’examen fut venu !

À propos d’IA et de son empreinte

  • TED Talk de Sasha Luccioni sur les Small Language Models et son projet AI Energy Score. Bien fait, format oblige, sur la possibilité d’utiliser des modèle de langages plus petits, plus spécialisés, qui demandent beaucoup moins de ressources (au point de tourner sur des smartphones). Attention toutefois à l’effet rebond, avec les fabricants de smartphones et de PC, dont les marchés s’essouflent depuis des années, et qui voudraient bien revenir à un renouvellement fréquents de nos terminaux, sous pretexte de les doper à l’IA un peu plus à chaque génération. Samsung, Apple et Microsoft ont déjà commencé…
  • The Ecological Cost of AI Is Much Higher Than You Think, avec des chiffres intéressants. Par exemple, la nouvelle usine de TSMC à Taiwan, qui va produire des puces à 2 nm pour l’IA va consommer 100 000 tonnes d’eau par jour. Il est prévu de construire 4 usines comme ceci pour faire face à la demande. Pendant ce temps-là, à cause du changement climatique, le pays subit une période de sécheresse qui fait que les producteurs de riz n’ont pas pu planter autant de riz que nécessaire. Rappelons que l’autonomie alimentaire, pour Taiwan, est fondamentale : la Chine rappelle fréquemment sa volonté d’annexer l’île.
  • Plein de chiffres sourcés sur l’empreinte environnementale de l’IA par l’ami James Martin : Understanding AI’s true – and ever-increasing – impacts, qui fait un travail formidable ;
  • L’IA est un désastre écologique ! explique Philippe Bihouix dans une vidéo du Futurologue ;
  • Datacenters, IA : comprendre l’empreinte environnementale et les enjeux écologiques
  • The computers that run on human brain cells, un article de Nature sur la startup suisse FinalSpark qui fait des réseaux de neurones… avec des neurones humains. Objectif : consommer moins d’énergie. On se rappellera qu’un cerveau humain consomme environ 20 Watts, alors qu’un bout de Datacenter qui fait tourner un LLM, c’est potentiellement un million de fois plus. S’inspirer du vivant est donc une voie qui inspire certains. En passant, on précisera que ce sont des neurones issus d’une culture de cellules souches, pas d’un trafic d’organes :-D

À propos du capitalisme

Climat

À propos de Fred Turner

Upcycling

Mobilité

À propos d’EROOM

  • Ca fait quelque temps que je réfléchis (parce qu’on me pose la question en conf’) sur l’usage de l’IA dans une approche EROOM. Et voilà que Microsoft sort un truc qui pourrait presque y ressembler : GitHub Copilot app modernization
  • Moment EROOM dans une vidéo qui célèbre les 30 ans du Task Manager de Windows NT. Il fonctionne encore aujourd’hui, il fait 84 Ko. Il a été remplacé dans Windows 11 par une version qui fait… 5,3 Mo. La loi de Wirth qui accompagne la loi de Moore et qui dit que “plus le matériel accélère, plus le logiciel ralentit” est bien toujours vivante !

À propos de Vélorutopia

À propos de logiciel libre

  • End of Japanese community, où le responsable communautaire historique du Support Mozilla au Japon claque sa dem’ suite à l’introduction d’un robot alimenté par l’IA qui écrase le boulot des bénévoles. C’est moche.

Complètement en vrac

  • Paris, 13 novembre, par le journaliste du Monde Michaël Szadkowski ;
  • La Ville de Paris et la FNAC ont organisé au printemps 1970 un concours de photographie amateur visant à produire une couverture photographique exhaustive du territoire parisien. La ville de Paris a numérisé l’essentiel des photos. Jeantho a fait un site permettant un accès plus rapide, et le résultat amusera sûrement les parisiens et les amateurs des années 1970 ;
  • My next chapter with Mastodon. Eugene Rochko, créateur de Mastodon, quitte sa position de CEO. Il explique pourquoi. C’est lourd à porter, et il n’est pas un personnage médiatique, ce qui dessert probablement le projet.
  • C’est le moment de Soutenir Framasoft, qui fait des merveilles. Je le fais chaque année. Et pendant que le CB est de sortie, faites de même à Wikipédia ;
  • Voilà, c’est officiel, j’ai quitté le TAG du W3C en septembre dernier : W3C Advisory Committee Elects Technical Architecture Group ;
  • L’inspirothèque de Limites Numériques est une bibliothèque d’idées, d’expérimentations et de projets inspirants pour penser un numérique plus écologique ;
  • J’étais sur France Inter, au journal de 8h, le 27/11/2025 pour un très rapide passage à (1h 14mn et 20 secondes) sur la bulle de l’IA et pourquoi tout le monde surveille l’action Nvidia comme le lait sur le feu. Je disais ceci : “L’IA, c’est un peu comme la ruée vers l’or, les seuls qui ont gagné de l’argent, ce sont les marchands de pelles. Dans la bulle de l’IA, le marchand de pelles, c’est Nvidia. Et si son cours de bourse flanche, c’est le signe que la bulle va éclater.” (oui, c’est court, et même pas sûr qu’ils aient tout passé !) Si l’envie vous prend d’écouter Gilles Babinet sur le même sujet, déplacez le curseur jusqu’à 2h, 9mn pour un débat sensiblement plus long avec une économiste.
PDF
8 / 8
 Persos A à L
Carmine
Mona CHOLLET
Anna COLIN-LEBEDEV
Julien DEVAUREIX
Cory DOCTOROW
Lionel DRICOT (PLOUM)
EDUC.POP.FR
Marc ENDEWELD
Michel GOYA
Hubert GUILLAUD
Gérard FILOCHE
Alain GRANDJEAN
Hacking-Social
Samuel HAYAT
Dana HILLIOT
François HOUSTE
Tagrawla INEQQIQI
Infiltrés (les)
Clément JEANNEAU
Paul JORION
Michel LEPESANT
 
 Persos M à Z
Henri MALER
Christophe MASUTTI
Jean-Luc MÉLENCHON
MONDE DIPLO (Blogs persos)
Richard MONVOISIN
Corinne MOREL-DARLEUX
Timothée PARRIQUE
Thomas PIKETTY
VisionsCarto
Yannis YOULOUNTAS
Michaël ZEMMOUR
LePartisan.info
 
  Numérique
Blog Binaire
Christophe DESCHAMPS
Louis DERRAC
Olivier ERTZSCHEID
Olivier EZRATY
Framablog
Romain LECLAIRE
Tristan NITOT
Francis PISANI
Irénée RÉGNAULD
Nicolas VIVANT
 
  Collectifs
Arguments
Bondy Blog
Dérivation
Économistes Atterrés
Dissidences
Mr Mondialisation
Palim Psao
Paris-Luttes.info
ROJAVA Info
 
  Créatifs / Art / Fiction
Nicole ESTEROLLE
Julien HERVIEUX
Alessandro PIGNOCCHI
Laura VAZQUEZ
XKCD
🌓