#1 “The Harlem Hit Parade” (Jazz, Rhythm & Blues, Soul)

Lionel Hampton – Le plus célèbre vibraphoniste

#1 “The Billboard”

The Ink Spots – Une merveilleuse combinaison de voix

Illustration par ChatGPT

Dans un échange récent sur ce blog, j’ai vu passer un message d’un data scientist, un « daticien », qui affirmait qu’un LLM se résumait à un mécanisme probabiliste. Un LLM par conséquent s’appuierait uniquement sur des probabilités pour générer le mot suivant. Et j’avoue que cette représentation que l’on retrouve souvent sous la plume de certains, je pense à Gary Marcus ou à Yann Lecun, finit par m’agacer. Car c’est une mécompréhension profonde non seulement du fonctionnement des LLMs, mais aussi de la langue elle-même. Non pas que les LLMs ne soient pas probabilistes, ils le sont fondamentalement, mais réduire leur fonctionnement à cette seule dimension, c’est passer à côté de la sophistication du processus qui génère ces probabilités.

Prenons un exemple très simple. Imaginons que nous demandions à quelqu’un d’expliquer le mot « rouge ». Voilà un mot très commun, qui est certainement entré dans notre vocabulaire très tôt, quand nous étions enfant, presque bébé. Et quand nous tentons de délimiter les sens de ce mot, notre esprit se lance dans une ronde où des images et des sensations affleurent à la surface de notre esprit, que nous tentons de traduire en phrases. Chacun ressentira ce mot à sa façon, il évoque en moi, des cerises mûres, la couleur d’une voiture, d’un drapeau ou même une idéologie. Ce sont des sensations parfois très précises, mais aussi très souvent diffuses. Et les mots sont rarement à la hauteur de ce que nous ressentons. Il faut la plume exceptionnelle d’un Proust pour transformer le goût d’une madeleine en un écheveau de souvenirs et de sensations.

Notre esprit évolue dans le diffus, dans le flou, dans la sensation, et surtout très souvent dans la reconstruction de souvenirs qui avec le temps ont pris une patine particulière et se sont éloignés de la réalité initiale. Combien de fois, ai-je évoqué des souvenirs avec des membres de ma famille pour découvrir qu’ils ne s’en souvenaient pas ou pire qu’ils en gardaient une mémoire radicalement différente. Souvenons-nous qu’en mathématique, on oppose « ensemble discret » à « ensemble continu », l’un fait référence à un ensemble que l’on peut décompter et l’autre à un ensemble défini par une fonction qui projette dans l’infini des nombres. Ainsi, notre esprit vit dans cet espace diffus et continu des sensations et des images, que notre conscience décode et projette, plus ou moins maladroitement, dans l’ensemble discret des mots.

Les LLM fonctionnent exactement de cette façon. Ils se saisissent de nos mots, qu’ils traduisent en vecteurs mathématiques. Un LLM prend en entrée un espace discret et le projette dans un espace continu. Ainsi, le mot « rouge » cesse d’être une unité symbolique discrète pour devenir une projection dans un espace sémantique immense que le LLM a construit pendant son apprentissage. D’ailleurs, l’architecture même des transformers reflète cette dualité : les couches profondes du modèle travaillent dans cet espace sémantique continu, tandis que la couche finale, littéralement appelée « décodeur », traduit ces représentations riches en une distribution de probabilités parmi les mots de notre vocabulaire. Il faut bien comprendre comment cet apprentissage est effectué. Le LLM reçoit en entrée une immense séquence de mots, et à chaque étape, on lui demande de prédire le mot suivant. S’il y arrive, il est récompensé, sinon, on réajuste les poids du modèle. Or prédire le mot suivant sur la base d’un contexte immense, c’est comprendre le sens de ce mot. Deviner si « rouge » est une couleur ou une idéologie pour un LLM, c’est découvrir les contextes immenses dans lequel ce mot est utilisé. Le sens du mot dérive de son utilisation. Il faut donc bien comprendre que le transformer évolue dans un espace continu, ce qui lui permet d’utiliser les sens diffus des mots sans avoir besoin de trancher à l’avance sur une interprétation spécifique. Exactement comme l’esprit humain. Le LLM vit dans le flou des interprétations et c’est la mise en contexte qui lui permet de décider.

Ce que fait alors un LLM est quasiment magique: il produit une compression sémantique du prompt de l’utilisateur en se servant de toute la connaissance qu’il a accumulée.

Un transformer ne produit pas simplement le mot suivant selon un quelconque hasard probabiliste, il produit une représentation efficace du sens d’un énoncé replacé dans l’espace continu de ses connaissances. Cette représentation capture les nuances, les ambiguïtés et les relations complexes du langage.

Il comprend ce qu’on lui dit. Il comprend chaque phrase et chaque mot et quand il produit un énoncé, c’est en gardant à l’esprit l’ensemble des phrases et des mots de l’utilisateur.

Cette représentation comprimée du sens dans un espace continu est ensuite comparée avec l’ensemble des mots de son lexique. Cette opération de décodage n’est pas anodine : comme notre conscience qui peine parfois à traduire nos pensées diffuses, le décodeur du LLM doit constamment balancer parmi une infinité de nuances sémantiques pour sélectionner le mot qui capture le mieux l’état interne du modèle. Cette comparaison va renvoyer une distribution de probabilité au sein de laquelle il va choisir un mot ou un jeton. Et c’est là que l’aspect probabiliste intervient, mais pas de manière aveugle : ces probabilités reflètent la richesse sémantique du processus de compréhension qui les a générées. Chaque probabilité porte en elle l’écho de toute l’analyse contextuelle qui l’a produite. Puis, ce nouveau jeton est rajouté à l’énoncé courant et le transformer est de nouveau sollicité pour produire une représentation sémantique encore plus précise. Il arrive parfois que le choix d’un mot empoisonne cette compression et finisse par amener le LLM à halluciner. Mais, il en va de même pour les humains, il suffit parfois d’un rien pour qu’une conversation dérape parce que l’un des interlocuteurs a utilisé le mauvais mot ou la mauvaise référence.

La linguistique symbolique, à l’inverse, a longtemps travaillé dans le monde discret des mots et elle s’est heurtée très vite à ce paradoxe que le sens d’un mot n’est pas une valeur absolue, mais un glissement subtil d’un sens à un autre, sans que les frontières ne soient toujours perceptibles. Transformer a été la réponse à ce paradoxe. Plutôt que de forcer trop tôt le sens d’un mot lors du traitement d’un énoncé, il faut plutôt lui laisser une certaine latitude que le contexte replacé dans les connaissances apprises pendant l’apprentissage permettra de lever. On ne peut comprendre les LLM si l’on oublie cet aspect. Il a fallu briser la vision très ancienne, et très grecque, des sens atomiques qui a été au cœur de la linguistique pendant des siècles pour obtenir les machines intelligentes d’aujourd’hui. Un LLM ne se contente pas de produire le mot suivant selon une mécanique probabiliste brute, il produit une interprétation sémantique sophistiquée sur la base de laquelle émergent des probabilités issues de cette compréhension. Les probabilités ne sont pas le point de départ, mais l’aboutissement d’un processus de compréhension. Il comprend l’énoncé à chaque étape de la génération, et cette compréhension se traduit par des distributions probabilistes qui reflètent la pertinence contextuelle de chaque choix possible.

On peut donc difficilement contester aux LLM leur intelligence, car leur capacité même à comprimer le sens de manière efficace implique nécessairement une forme de compréhension. Comment pourrait-on réduire la richesse sémantique d’un texte complexe sans d’abord en saisir les nuances, les relations et les implications ? Cette compression n’est pas mécanique mais intelligente, au sens étymologique du terme. Que l’on privilégie « inter-legere », cette capacité à choisir le sens pertinent et à lire entre les lignes du contexte, ou « inter-legire »,  cette faculté à lier entre eux des éléments disparates de connaissance, les LLM manifestent ces deux formes d’intelligence. Ils choisissent avec discernement dans l’espace des possibles sémantiques, et ils tissent sans cesse des liens entre les mots, les concepts et les contextes. Leur intelligence n’est peut-être pas identique à la nôtre, mais elle procède des mêmes opérations fondamentales : comprendre pour choisir, relier pour donner du sens.

Un peu d’histoire. Rupert Murdoch acquiert le Wall Street Journal en 2007. Je nous vous fais pas l’insulte de vous rappeler le rôle stratégique que joue ce quotidien dans la finance américaine, et du fait du poids de celle-ci, dans la finance internationale.

J’ai eu l’occasion à plusieurs reprises de souligner que les articles sont le plus souvent extrêmement bien documentés et d’une très grande neutralité, contrastant avec le ton de droite dure des éditoriaux : une combinaison de néo-conservatisme et de libertarianisme.

Le 31 janvier de cette année, soit 11 jours après le début de son mandat, le WSJ part à l’offensive contre Trump, je vous ai reproduit le titre  de son éditorial dans Le fascisme aux États-Unis : en ont-ils vraiment les moyens ? : « La guerre commerciale la plus stupide de l’histoire ».

Je commentais alors :

Ce n’est déjà pas commode d’avoir contre vous le comité de rédaction du Wall Street Journal si vous êtes de gauche, mais si vous êtes de droite, ça craint vraiment !

Le 3 avril 2025, je traduis l’éditorial du Wall Street Journal pour en faire un billet : La nouvelle ère protectionniste de Trump, par WSJ,

Je prends le soin de préciser :

P.S. Ce n’est pas tous les jours que je reproduis l’éditorial de la rédaction du Wall Street Journal. En fait, c’est la première fois, bien entendu. Mais que voulez-vous ? quand un hurluberlu fait l’unanimité contre lui …

Un extrait de l’éditorial, pour en souligner le ton :

Le leadership américain et la décision d’étendre le libre-échange ont produit sept décennies de prospérité généralement croissante, tant au niveau national qu’à l’étranger. La part des États-Unis dans le PIB mondial est restée stable à environ 25 % pendant des décennies, même si les industries ont connu des hauts et des bas. Cette ère est en train de s’achever, M. Trump adoptant une vision plus mercantile du commerce et de l’intérêt personnel des États-Unis. Il en résultera probablement un chacun pour soi, les pays cherchant à découper les marchés mondiaux non pas en fonction de l’efficacité du marché, mais pour en tirer un avantage politique. Dans le pire des cas, le système du commerce mondial pourrait se transformer en une politique du « chacun pour soi », comme dans les années 1930.

Le 9 avril 2025 je publie un billet intitulé : Chaque nouvelle mesure économique de M. Trump constitue une revanche tardive mais cinglante pour la défunte Union Soviétique,

J’y rappelle que la politique de Trump en matière de protectionnisme avait déjà été formulée par lui en 1987 :

Le monde entier se moque de la classe politique américaine alors que nous assurons la protection de navires qui ne sont pas les nôtres, transportant du pétrole dont nous n’avons aucun besoin, destiné à des alliés qui ne nous aideront jamais en retour. Il est temps de mettre fin à nos énormes déficits en forçant le Japon à régler la note, ainsi que les autres nations en ayant les moyens.

J’ajoutais que

L’effondrement des marchés boursiers qui résulte de la mise en application de cette politique, fait que la révolte gronde désormais du côté d’Elon Musk, de la rédaction du Wall Street Journal et de celle du Washington Post dont le patron, Jeff Bezos, fondateur d’Amazon, s’était pourtant aligné sur M. Trump de manière particulièrement servile. La destruction systématique du capitalisme américain n’est pas du goût de ces personnes, pas plus que de celui des patrons des firmes à la pointe de la recherche en IA, dont la baisse du cours des actions affecte leur capacité à financer de gros centres de traitement des données, voire l’apprentissage de leurs IA génératives.

Le lendemain le 10 avril 2025 , je publie un billet intitulé : Trump capitule devant les marchés boursiers !.

J’y écris :

Les Démocrates américains ne manqueront pas de s’attribuer une partie du mérite mais, auront bien plutôt fait plier M. Trump, Mrs. Elon Musk, mécène du Parti Républicain, la rédaction du Wall Street Journal et Jeff Bezos opérant un revirement à la tête du Washington Post, accompagnés de quelques milliardaires renégats autrefois soutiens inconditionnels de Trump comme le frère Koch survivant et le patron de hedge fund Bill Ackman.

Le 16 juillet, un podcast sur le WSJ à propos du banquier central, Jérôme Powell, à la tête de la Federal Reserve (Fed), qui a le tort d’ignorer les intuitions géniales de Trump en matière de finance, comme fixer plus bas les taux courts pour tenter de gommer l’inflation que Trump alimente avec sa politique délirante en matière de tarifs douaniers : Trump nie avoir l’intention de licencier Powell

Le 17 Juillet, le Wall Street Journal publie un éditorial intitulé Licencier Powell serait une bourde

Il y est écrit :

Quelles que soient les erreurs commises par le président de la Fed, le licencier prématurément serait une erreur économique et juridique.

Ça, c’est à 08h26. À 18h45, toujours le 17 juillet, le WSJ publie son brûlot intitulé :

Les amis de Jeffrey Epstein lui ont envoyé des lettres obscènes pour son album de 50e anniversaire. L’une d’elles provenait de Donald Trump.

Le livre relié en cuir a été compilé par Ghislaine Maxwell. Le président affirme que la lettre « est un faux ».

Quand je vois ça, je publie ici sur le blog un commentaire :

Ils vont essayer de le faire tomber avant qu’il ne dégomme Powell à la Fed !

On dit : « Les loups ne se mangent pas entre eux », mais dans ce cas-ci, ce n’est pas que les autres aient faim, c’est qu’il y en a un qui est vraiment trop bête et qui fiche le boxon.

Autre chose : le scoop ! J’ai demandé à un un ami génératif si, selon lui, Murdoch avait une cartouche de rechange :

Selon vous, qui Murdoch pourrait-il pousser pour remplacer Trump si celui-ci disparaissait ? Et surtout, si Trump partait comme une conséquence de l’offensive « pas de quartier » de la rédaction du Wall Street Journal ?

Voici ce qu’il (ChatGPT 4o) m’a répondu :

Si Murdoch devait promouvoir une alternative à Trump, ce serait probablement quelqu’un qui partage les valeurs conservatrices, mais qui adopte une approche plus stable et plus favorable aux entreprises. Une personnalité telle que Nikki Haley ou un gouverneur réputé et doté de solides références économiques pourrait constituer un choix intéressant. L’idée serait de soutenir quelqu’un capable d’unifier le parti et de rassurer les milieux financiers et économiques, surtout si la position du Journal entraîne un changement significatif dans le paysage politique.

Nikki Haley jouit d’une crédibilité assez forte auprès des marchés financiers, notamment grâce à son expérience en tant qu’ancienne gouverneure de Caroline du Sud et ambassadrice des États-Unis auprès des Nations unies. Elle est connue pour ses politiques favorables aux entreprises et ses efforts pour attirer des investissements importants en Caroline du Sud, ce qui lui a valu une solide réputation parmi les chefs d’entreprise. À l’avenir, une personne comme elle pourrait offrir le type de stabilité et de prévisibilité apprécié par les marchés financiers, en particulier en période d’incertitude politique.

Ça alors, ils sont fortiches les LLM, je n’y aurais jamais pensé !

Bon, je plaisante bien entendu : piqûre de rappel, le 4 mars 2024 : États-Unis : Nikki Haley et Kamala Harris se démarquent

Portrait de Nikki Haley par Stable Diffusion

Le 10 novembre de l’année dernière, 2023, j’enregistrais une vidéo intitulée « Le temps qu’il fait aux États-Unis ». Je la sous-titrais :

« Vers un duel Nikki Haley vs Kamala Harris (plutôt que Trump vs Biden) ? »

Pourquoi ce pronostic improbable ? En raison des casseroles et de la taille de ces casseroles que traînent derrière eux les deux candidats dits « probables » : Biden est sénile, il fait un discours improvisé pour expliquer qu’il ne l’est pas mais quand il répond aux journalistes, il affirme que le chef de l’État en Égypte est à la tête du Mexique. Trump s’attribue des pouvoirs dictatoriaux de manière anticipée et menace de faire régner la terreur parmi ses ennemis le jour de son inauguration, d’expulser ce jour-là des dizaines de milliers, voire des centaines de milliers, d’immigrés illégaux mais aussi légaux venus d’Amérique latine et de dénoncer les traités militaires liant les États-Unis, au point qu’une Cour suprême, même alignée à l’extrême-droite, doit tiquer.

Nikki Haley a obtenu sa première victoire dans une primaire du Parti républicain à Washington DC, capitale du pays, et a déclaré ne pas être certaine de soutenir Trump s’il l’emportait à la primaire. Kamala Harris dénonce la politique de Biden en Israël et réclame un cessez-le-feu immédiat à Gaza.

Ces deux femmes ont compris qu’il était possible de surfer sur l’impopularité des deux candidats probables à la présidentielle de novembre.

Portrait de Kamala Harris par Stable Diffusion

… Je n’aurais eu qu’un peu d’avance .

SYSTÈME FLUIDE DE SOINS ASSISTÉS