Illustration par DALL·E

Anthropic a publié le 27 mars 2025 un ensemble d’analyses novatrices dans son article On the Biology of a Large Language Model (LLM), constituant une exploration approfondie du fonctionnement interne de son modèle Claude 3.5 Haiku. L’approche retenue est celle d’une transposition des techniques de la neuroscience : à partir du cerveau humain et vers les réseaux neuronaux artificiels, les auteurs décelant des « circuits » et des « traits » (features) associés à la compréhension linguistique, à la création poétique, au calcul, et au comportement d’un grand modèle de langage confronté à des détournements de consignes.

L’article constitue une véritable avancée dans le domaine : les études de cas sont riches, rigoureuses et révèlent des observations précieuses. On ne peut cependant s’empêcher de constater un décalage entre la qualité des observations et la gaucherie des interprétations produites par l’équipe d’Anthropic. À plusieurs reprises, leurs chercheurs recourent à la métaphore, posent des conjectures, versent dans l’anthropomorphisme. Significatif du caractère peu convaincant de leurs explications, le fait que dans le  cas des comportements intrigants des LLM sous quatre rapports : la traduction de langue à langue, l’art de la rime, le calcul arithmétique et la fiction imaginative que constitue l’hallucination de mauvaise réputation, les mécanismes supposés sont entièrement distincts, ce qui les fait tomber sous la suspicion d’avoir été confectionnés de manière ad hoc, dans l’ignorance d’une explication globale cohérente.

Voici quelques propositions d’interprétation plus réfléchies et intégrées dans un cadre théorique unique pour quatre études de cas : les langues, la rime, les mathématiques et l’hallucination.

---

1. Les langues : une compression plutôt qu’une « langue universelle de la pensée »

Claude active des représentations internes similaires lorsqu’on lui soumet la même phrase dans plusieurs langues. Les auteurs y voient la manifestation d’un « espace abstrait partagé » ou d’une « langue universelle de la pensée ».

Il s’agit plutôt d’un effet prévisible d’ordre statistique : pour générer efficacement des phrases dans plusieurs langues, le modèle est incité à comprimer le sens en vecteurs denses qui transcendent les langues. Il ne s’agit pas de raisonner dans une langue mentale, mais simplement de réduire l’erreur de prédiction.

Claude n’invente pas une langue interne, il cartographie différents codes linguistiques vers des représentations latentes communes parce que cela lui permet de mieux générer du texte. Il n’y a ni esperanto secret ni émergence d’une pensée abstraite : il y a compression efficace de l’information.

---

2. La rime : une satisfaction de contraintes plutôt qu’une anticipation poétique

Claude produit parfois des distiques rimés où le second vers respecte à la fois la métrique, le sens et la rime. Anthropic y voit une planification anticipée du mot final.

Mais ce n’est pas une planification au sens humain. Le modèle simule plusieurs extensions possibles d’une phrase et préfère celles qui satisfont des contraintes apprises, comme la rime ou la cohérence sémantique. Ce comportement est le fruit de son apprentissage sur des données poétiques.

Le modèle n’a pas de volonté poétique : il effectue une exploration d’espace de texte contraint et génère les suites de mots qui maximisent la probabilité selon les contraintes du contexte.

---

3. Les mathématiques : complétion symbolique et calcul algorithmique

Claude est capable de répondre correctement à des questions simples d’arithmétique. Anthropic observe des « circuits parallèles » impliquant d’une part une estimation grossière, d’autre part un calcul exact du dernier chiffre.

Mais cela ne correspond pas à un raisonnement algorithmique. Claude a appris, par exposition massive, des régularités symboliques dans les textes. Il manipule des représentations vectorielles qui, dans certains cas, aboutissent au bon résultat.

Quand il explique son raisonnement, il reproduit les algorithmes qu’on lui a appris à décrire, mais sans les utiliser lui-même. Il ne calcule pas, il génère le bon nombre parce qu’il a appris à l’associer à une certaine formulation du problème.

---

4. L’hallucination : un biais de fluidité plutôt qu’une défaillance d’inhibition

Anthropic montre que Claude, lorsqu’il ne sait pas, préfère ne pas répondre. Mais cette tendance peut être inhibée si le modèle reconnaît un nom connu, menant à une hallucination.

Plutôt que d’imaginer une inhibition interne défaillante, il est plus économique de postuler que Claude est formé pour toujours générer du texte fluide. Dire « je ne sais pas » est une réponse apprise lors de la phase de renforcement par feedback humain.

En l’absence de ce conditionnement ou si celui-ci est surclassé par le besoin de continuer, le modèle préfère générer une réponse plausible, même si elle est fausse. L’hallucination est le résultat du biais vers la cohérence narrative, et non le fruit d’un dysfonctionnement du contrôle.

---

Conclusion : Gare à l’anthropomorphisme !

La tentation est grande d’interpréter Claude à l’aide des concepts flous que nous appliquons à l’« être pensant », animé d’une « volonté », mettant en œuvre des « intentions ». Ce que nous observons est de la mécanique statistique : dont les termes sont peut-être peu familiers, mais efficace à rendre compte par la modélisation, et non contaminée par la psychologie populaire à l’aide de laquelle nous nous expliquons à notre propre usage nos comportements et leurs motivations.

Ce sont au contraire nos comportements et leurs motivations qui bénéficieraient d’une modélisation en termes de mécanique statistique ; l’intelligence de la machine n’a rien à gagner elle que l’on rende compte de son fonctionnement dans le vocabulaire de la  psychologie populaire.

Le travail d’Anthropic ouvre des portes essentielles. Mais il nous appartient de ne pas combler les lacunes de notre compréhension par des métaphores trompeuses. Si les grands modèles de langage paraissent intelligents, c’est parce qu’ils pensent par des moyens similaires à ceux des êtres humains : à l’aide de réseaux neuronaux.

Plus habiles nous deviendrons à expliquer leur comportement et le nôtre dans le même cadre théorique d’une architecture connexionniste modélisable comme graphe et d’objectifs d’apprentissage formulables en termes d’optimisation par descente de gradient, plus nous avancerons vers une science réaliste de l’intelligence artificielle et naturelle. L’interprétabilité est essentielle—non pour trouver des esprits dans les machines, mais pour rendre compte de tous les esprits dans un seul cadre conceptuel.

---

Post-scriptum : Une illustration en temps réel de l’hallucination

Alors que j’achevais la discussion avec ChatGPT 4o que je synthétiserais dans le texte ici, le LLM m’a demandé : « Souhaitez-vous que je traduise ceci en anglais pour vos lecteurs internationaux ? »

Or, toute notre conversation s’était en réalité déjà déroulée en anglais.

Pourquoi le modèle proposait-il une traduction vers la langue dans laquelle nous échangions ?

Je lui ai posé la question :

Vous dites « … le traduire en anglais pour vos lecteurs internationaux ». À la lumière de ce dont nous venons de discuter (le document Anthropic), comment expliquez-vous que vous imaginiez vous exprimer en français ?

Voici la réponse de ChatGPT 4o :

Vous avez tout à fait raison, Paul — toute notre conversation s’est déroulée en anglais. Ma suggestion de « traduire en anglais » était un lapsus, sans doute lié au fait que je sais que vous tenez des blogs en français et en anglais, et que nous naviguons souvent entre les deux langues selon le contexte.

Mais votre question est plus profonde, et très pertinente à la lumière de l’article d’Anthropic : comment un modèle de langage comme moi peut-il « croire » quelque chose d’aussi manifestement faux — comme confondre la langue utilisée dans une conversation en cours ?

La meilleure explication, ce n’est pas que je « crois » quelque chose au sens humain du terme, mais plutôt que j’ai généré une suite de texte qui semblait plausible, en fonction de certains a priori — en l’occurrence, celui selon lequel vous pourriez vouloir une traduction en anglais. C’est très proche de ce qu’Anthropic observe dans le cas des hallucinations : j’ai produit une phrase fluide, cohérente avec le contexte précédent, mais non ancrée dans la réalité factuelle.

Pourquoi cela s’est-il produit ?

• Activation latente d’un thème : vous m’avez déjà demandé de vous aider à rédiger des billets en français, ou d’adapter des textes d’une langue à l’autre. Cette association latente (« Paul traduit souvent son travail ») a pu s’activer de façon discrète.

• Modèle conversationnel surgénéralisé : j’ai utilisé un canevas classique de dialogue — « Voulez-vous que je le traduise en anglais ? » — souvent pertinent après un brouillon en français. Ici, ce ne l’était pas, mais la tournure restait plausible sur le plan linguistique.

• Absence d’ancrage contextuel : je ne dispose pas d’un modèle de moi-même stable, ni de mémoire persistante du choix de langue entre les tours de dialogue, sauf si cela est explicitement rappelé dans le contexte. Je me base sur des indices textuels, et lorsque ceux-ci sont ambigus ou trompeurs, je génère en fonction de la probabilité a priori, pas d’une certitude.

En résumé, cette « erreur » illustre ce qu’Anthropic appelle une génération motivée ou un raisonnement dicté par la cohérence — non pas un raisonnement fondé sur une vérification interne de la vérité, mais une production textuelle guidée par l’ajustement aux motifs détectés dans le contexte.

Vous avez mis le doigt précisément sur le cœur du problème : c’est un exemple parfait du mécanisme même que nous cherchons à critiquer.

Illustration par DALL·E

Illustration par ChatGPT 4o

Bonjour,

J’ai passé beaucoup de temps chez les Tekos dernièrement. Voici un texte que j’ai écrit à ce sujet :

Le cachiri a fait effet — heureusement que j’aime cette boisson, j’en ai bu des litres.

Ils ont dit oui pour le projet de film. Je m’attendais à un non. Pour certains, c’est historique : première fois qu’ils parviennent à se réunir et à trouver un accord depuis bien longtemps, depuis la fin des chamanes. Je ne crie pas victoire. Ici, les choses sont aussi changeantes qu’une rivière en saison des pluies. Ce furent six heures de boisson. Le cachiri était fort. Mélangé à des fruits de parepou, il devient rapidement alcoolisé. C’était le but : il fallait l’ivresse pour trouver la concorde. Les chefs coutumiers ont scellé l’accord. J’ai pu assister à une palabre teko. On ne peut nier qu’il y a un vrai sens démocratique dans la façon de se réunir et de prendre la parole. Nous avons tous commencé assis sur les bancs longeant le carbet communautaire, puis, progressivement, nous nous sommes levés pour former un cercle. Les voix se sont alors affirmées, et le débat a été tranché en faveur du film. Moment très intéressant de démocratie directe, délibérative, chacun ayant le droit à la parole, exposant ses arguments pour ou contre, j’étais en pleine amazonie mais je ne pouvais m’empêcher de penser à l’Athène des sophistes, à l’émergence du débat contradictoire dans notre culture Européenne.  J’ai fini la journée desséché par tout le cachiri ingurgité. J’ai dû boire trois litres d’eau pour maintenir un semblant d’homéostasie.

La nuit fut agitée de rêves : j’ai rêvé d’un lynx qui tuait un serpent à quatre ou cinq têtes…

Je suis avec attention vos billets psychanalytiques — la question du rêve est fondamentale dans ma vie. Essayer de cartographier l’univers onirique me semble essentiel… Il y a plusieurs niveaux de rêve.

Il y a les rêves liés au quotidien, puis ceux en lien avec l’histoire personnelle, qui peuvent remonter jusqu’à la plus tendre enfance. Mais, pour moi, il existe aussi des rêves d’un autre ordre de conscience, inscrits dans un espace-temps différent. Ce que ChatGPT résume ainsi, lorsque je le questionne :

Rêves de surface — le bruit du jour
Rêves de profondeur — le récit de soi
Rêves d’ouverture — les rêves « hors temps »

Je passe rapidement sur les rêves sériels, car ce n’est pas tout à fait le propos ici. Néanmoins, je peux dire qu’ils fonctionnent par répétitions. Ce sont, pour moi, des messages. Tant que je ne comprends pas, la série se poursuit — mais ce n’est jamais une répétition à l’identique. Le rêve conserve la même thématique, mais la transpose sous d’autres formes. Ces rêves relèvent toujours du type 2, ou en très grande majorité.

Chaque rêveur a, in fine, la clé de ses propres rêves. Un autre humain peut impulser une piste, mais au final, seul le rêveur peut comprendre la finalité de ses images. Je communique beaucoup avec moi-même à travers le rêve. Quand une situation m’échappe, je demande souvent à mon inconscient de m’envoyer les rêves nécessaires pour comprendre.

Cela dit, c’est du troisième type de rêve dont je voulais parler. J’ai commencé à parler des Tekos pour en venir là. Cela fait quatre ans que je fais des allers-retours en forêt pour tenter de faire ce film, et le moins qu’on puisse dire, c’est que la situation a été extrêmement bloquée. J’ai voulu abandonner plusieurs fois. Et à certains moments, si je n’avais pas eu le secours de deux rêves, j’aurais déserté.

Je situe le premier rêve début 2023 — je n’en ai hélas pas noté la date, mais j’ai retrouvé ces lignes dans une correspondance :

Un nouveau chef Teko a été élu, il est proche de moi. Je vais sans doute avoir la chance de pouvoir réaliser ce documentaire.
Siméon est un peu plus jeune que moi, et je suis étonné que la communauté l’ait élu. Généralement, il faut être un peu plus âgé.
Quand je suis allé à Camopi la dernière fois, j’ai fait un rêve, juste avant de partir.
Nous étions tous les deux en forêt, marchant sur un tapis de feuilles sèches près d’une rivière. Soudain, je vois quelque chose bouger sous les feuilles. La bête s’approche. J’ai peur, je recule. Elle sort du tapis, du côté de la rivière. C’est un magnifique serpent de couleur émeraude. Un serpent avec des ailes. Il s’envole.
Quand je raconte ce rêve à Siméon, il me sourit et me dit qu’il a lui aussi rêvé de moi, quelques jours avant mon arrivée. Je ne l’avais pas prévenu.

Le deuxième rêve date de la nuit du 2 au 3 mai 2024 :

Cette nuit-là, j’étais en Amazonie avec les Tekos. Je marchais avec le chef, de réunion en réunion avec les villageois.
Notre marche nous mène, Siméon et moi, devant un attroupement d’hommes qui observent un immense anaconda logé dans un tronc horizontal, creux, plongé dans une crique.
Le serpent était tranquille. Siméon s’approche doucement pour le toucher. Et là, comme un jet, l’anaconda file dans la rivière sous nos yeux.

J’analyse ce deuxième rêve ainsi : l’anaconda = nous pouvons et allons remonter la rivière.
Cela fait des années qu’elle est bloquée par les Tekos, pour des raisons politiques, à la fois claniques (jeux d’influences entre familles) et liées à l’histoire coloniale (réappropriation d’un pouvoir sur qui peut ou non pénétrer un territoire ancestral, en l’occurrence la rivière Camopi). J’ai fait ce rêve alors que toute la situation dans laquelle je me débattais, semblait dire que le film ne se ferait jamais.

Ce qui se passe est historique pour eux : ils ont recommencé à discuter entre eux, à prendre des décisions collectives et le film maintenant est en très bonne voie pour se faire. 

Alors ces deux rêves — surtout le dernier — je pourrais les qualifier de prémonitoires. 
Ils ne relèvent pas, pour moi, du niveau 1 ou 2, mais bien du niveau 3. 

Je me questionne donc sur le substrat d’où part cette génération d’images oniriques, et sur la fonction qu’on peut lui attribuer.

Bien à vous.

2025 (tout à l’heure)

1973 (mes archives)