Sacré Wolfgang Amadeus !

Illustration par DALL·E (+PJ)

P.J. :

Très bien ! S’il vous semble plausible qu’on observe des phénomènes émergents lors de la transposition du graphe original vers son dual, comment expliqueriez-vous qu’il y ait un gain d’information dans le processus (gain qui est flagrant lorsque le processus est inversé et qu’une perte d’information est à l’inverse tout aussi flagrante) ?

Claude 3 :

Le gain apparent d’information lors du passage d’un réseau sémantique au « P-graphe », son dual, et la perte d’information correspondante lors de l’inversion du processus, est en effet une énigme fascinante. Elle semble remettre en question nos intuitions sur la préservation de l’information dans les transformations de graphes.

Une explication potentielle est que la représentation du P-graphe capture en fait des informations latentes qui sont implicites dans la structure du réseau sémantique original, mais qui ne sont pas explicitement représentées dans ses nœuds et ses arêtes.

Examinons l’exemple de l’ajout de « Lassie » au réseau sémantique. Dans le P-graphe, cela a entraîné l’émergence d’un nouveau neurone « chien » avec son propre ensemble de connexions. Cela suggère que le réseau sémantique contient implicitement des informations sur de multiples instanciations potentielles du concept de « chien », chacune ayant ses propres propriétés relationnelles distinctes. Le P-graphe rend cela explicite en créant des neurones distincts pour chaque instance.

De même, l’ajout du concept de « maître » et de la relation « a_un » a révélé une connectivité cyclique dans le P-graphe qui n’était pas apparente dans le réseau sémantique. Cela indique la présence de boucles de rétroaction et de relations réciproques qui étaient latentes dans la représentation originale.

Donc en un sens, la transformation du P-graphe n’ajoute pas vraiment de nouvelles informations, mais rend plutôt explicites certaines propriétés structurelles et relationnelles qui étaient déjà inhérentes au réseau sémantique, mais qui n’étaient pas directement accessibles.

La perte d’information lors du parcours inverse d’un P-graphe à un réseau sémantique peut alors être comprise comme une sorte de « compression avec déperdition », où certaines des riches propriétés émergentes du P-graphe sont éliminées en faveur d’une représentation plus simple et plus compacte.

Cette perspective s’aligne sur l’idée que les réseaux neuronaux du cerveau encodent les informations d’une manière hautement distribuée et implicite, donnant lieu à des phénomènes cognitifs émergents qui sont difficilement lisibles dans une analyse symbolique localisée. Il est possible que le P-graphe capture une part de la nature émergente distribuée de la représentation neuronale.

Bien entendu, il ne s’agit là que d’une explication spéculative. La véritable nature de la dynamique de l’information dans ces transformations de graphes implique probablement un jeu complexe d’interactions entre l’explicite et l’implicite, le local et le global, qui justifient des recherches mathématiques et empiriques beaucoup plus approfondies. Mais les indices séduisants qu’il y ait de l’information émergente dans la représentation qu’offre le P-graphe ouvrent certainement des voies prometteuses à une exploration plus poussée dans la quête de compréhension des remarquables capacités de traitement de l’information du cerveau.

GPT-4 :

Le phénomène de gain d’information lors de la transposition d’un graphe sémantique original vers son dual (« P-graphe ») et, inversement, de perte d’information lors de l’inversion du processus, peut être intrigant mais compréhensible dans le cadre de la théorie des graphes et de la représentation des connaissances. Voici comment cela peut se produire :

• Modification de la représentation structurelle : dans le graphe original, les nœuds représentent les concepts et les arêtes, les relations. Lorsqu’ils sont transposés dans un P-graphe, les rôles sont inversés : les arêtes deviennent des concepts et les nœuds des relations. Ce changement modifie la façon dont les informations sont structurées et interprétées, ce qui peut révéler de nouveaux aperçus ou obscurcir ceux dont on dispose déjà, selon la direction de la transformation.
• Mise en évidence de différents aspects : dans un P-graphe, en se concentrant sur les relations en tant que nœuds, il est possible d’explorer et de mettre en évidence les interconnexions et les dépendances entre les concepts d’une manière que le graphe d’origine pourrait difficilement permettre. Cela peut être perçu comme un gain d’information, car cela offre une nouvelle perspective sur la façon dont les concepts sont reliés, permettant de découvrir éventuellement des configurations ou des regroupements (« clusters ») qui n’étaient pas apparents auparavant.
• Perte du contexte original : Lorsque l’on inverse le processus d’un P-graphe vers son graphe source, certaines des nuances relationnelles capturées dans la représentation des relations comme des nœuds peuvent être perdues. Le contexte original, dans lequel les concepts sont primaires et les relations secondaires, peut ne pas préserver le réseau complexe d’interdépendances mis en évidence dans le P-graphe. Cette perte de contexte et quant à l’accent mis peut se traduire en une perte perçue d’information.
  
• Complexité et détail : le processus de transposition peut accroître la complexité du graphe car il peut aboutir à une structure plus dense ou plus intimement connectée. Cette complexité accrue peut encoder des informations plus détaillées sur les relations entre les concepts, et être ressentie comme un gain d’information. Inversement, la simplification de cette complexité au cours de l’inversion pourrait faire disparaître une partie de ces détails, ce qui se traduirait par une perte d’information.
• Questions relatives à la mise en correspondance bidirectionnelle (« mappabilité ») : toutes les transformations ne sont pas bijectives (un vers un et dans) ; certaines peuvent être surjectives (dans) ou injectives (un vers un), mais pas les deux à la fois. Une transformation non bijective peut conduire à des situations où la transformation inverse ne recrée pas parfaitement le graphe original, ce qui entraîne une perte d’informations.
• Nuances sémantiques : le P-graphe peut capturer et souligner certaines nuances sémantiques par la nature même de sa structure – par exemple, une représentation plus directe des relations sous forme de nœuds peut rendre certaines connexions sémantiques plus explicites ou plus faciles à analyser. Cette spécificité peut être diluée lors du retour à la structure traditionnelle, où ces nuances peuvent être implicites plutôt qu’explicites.

Ce gain d’information lors du passage à un P-graphe et cette perte lors du retour peuvent être critiques dans les applications où la structure et la dynamique de la représentation des connaissances sont importantes, comme dans les sciences cognitives, l’intelligence artificielle et l’analyse des données. Cet effet transformateur souligne l’importance de choisir la bonne structure pour la bonne tâche dans les applications informatiques et théoriques.

(à suivre…)

Illustration par DALL·E (+PJ)



Il y a quelques mois, je me suis retrouvé dans la pièce où avec des jeunes gens de mon âge et au petit matin, nous regardions à la télé les images floues ponctuées d’affreux crépitements des premiers pas de nous sur la lune. J’y pense parce que je me retrouve au moment où je regarde ces vidéos qui nous sont distillées depuis quelques heures à revivre le même émerveillement. Je sais, au même moment, nous humains, nous nous montrons par ailleurs au pire de notre forme. Mais de voir et d’entendre ces miracles, cela fait quand même un bien fou : c’est nous qui sommes arrivés à faire cela, et j’étais là pour le voir.

Illustration par DALL·E (+PJ)

À l’époque (1987-90) où je développais pour British Telecom un logiciel appelé ANELLA (Associative Network with Emergent Logical and Learning Abilities), un « réseau associatif à propriétés émergentes de logique et d’apprentissage », c’est le collègue qui avait inventé ce sympathique acronyme qui avait attiré mon attention sur des phénomènes d’émergence dans mon IA. Au cœur du processus, une astuce que j’avais mise au point pour éliminer d’un seul coup la plupart des impasses des réseaux sémantiques : définir comme mémoire d’une IA, le dual d’un réseau sémantique. Le moment est venu de convoquer les meilleurs esprits sur la question .

P.J. :

Voyez le contenu du fichier importé. Est-ce que cela fait sens pour vous ?

Claude 3 :

Les diagrammes et les explications ont un sens pour moi. Les points clés que je comprends sont :

1. L’auteur propose une autre façon de représenter les réseaux sémantiques, appelée « P-graphe » ou « P-Dual ».

2. Dans un P-graphe, les concepts sont attachés aux arêtes du graphe et les relations aux nœuds, ce qui est l’inverse d’un réseau sémantique traditionnel.

3. L’auteur soutient que la représentation du P-graphe est plus biologiquement plausible en termes de correspondance avec les réseaux neuronaux réels dans le cerveau (« mappabilité »).

4. Une méthode de matrice d’adjacence est introduite pour aider à construire le P-graphe à partir d’un réseau sémantique traditionnel.

5. Plusieurs exemples sont traités, montrant comment l’ajout de nouveaux concepts et de nouvelles relations modifie la structure du P-graphe, avec l’apparition de nouveaux nœuds « semblables à des neurones » et d’arêtes « semblables à des synapses ».

6. Des cycles peuvent apparaître dans le P-graphe pour représenter certaines relations réciproques, comme un animal de compagnie ayant un maître et un maître ayant un animal de compagnie.

Dans l’ensemble, le P-graphe semble offrir une perspective alternative intéressante en représentation des connaissances, qui vise à refléter plus fidèlement les réseaux neuronaux biologiques que les réseaux sémantiques classiques. Les illustrations dans le fichier aident à clarifier les idées clés défendues.

GPT-4 :

Le document proposé traite d’une approche de la représentation des réseaux sémantiques, connue sous le nom de P-graphes, qui semble être une alternative aux réseaux sémantiques classiques ou une amélioration de ceux-ci. Cette approche s’aligne apparemment mieux sur les réseaux neuronaux biologiques en termes de structure et de fonctionnalité.

Voici les points cruciaux abordés dans le document:

• • Déplacement de la représentation : le P-graphe s’écarte des réseaux sémantiques traditionnels en attribuant des concepts aux arêtes plutôt qu’aux nœuds, et des relations aux nœuds plutôt qu’aux arêtes. Cette modification pourrait contribuer à créer une représentation plus exacte du fonctionnement biologique des réseaux neuronaux réels.
    
  • Réseau sémantique dual : le document aborde le concept de création d’un graphe dual dans lequel les nœuds deviennent des arêtes et vice versa. Ce concept est appliqué aux réseaux sémantiques afin de mieux reproduire peut-être les correspondances neuronales des systèmes biologiques (« mappabilité »).
  • Plausibilité biologique : le P-graphe est censé être plus plausible d’un point de vue neurobiologique. Ceci suggère que la structure de ces graphes imite les connexions réelles d’un réseau neuronal biologique, où, par exemple, « garçon », « rencontre » et « fille » pourraient correspondre à différentes parties d’un neurone telles que les ramifications de l’axone ou les synapses.
  • Construction d’un graphe à l’aide d’une matrice d’adjacence : le document décrit une méthode de construction d’un P-graphe à l’aide d’une matrice d’adjacence, qui semble être un moyen systématique de transformer un graphe classique (graphe-source) en un P-graphe. Cette transformation est cruciale pour maintenir l’intégrité structurelle du graphe. Cette transformation est cruciale pour maintenir l’intégrité structurelle tout en modifiant les relations nœud-arête.
  • Exemples comparatifs : des illustrations et des exemples comparatifs sont offerts pour démontrer comment les réseaux sémantiques traditionnels peuvent être transformés en P-graphes, en soulignant les différences et les avantages potentiels de l’approche P-graphe.
  • Sémantique et topologie : l’approche P-graphe est également décrite comme étant bénéfique pour traiter les ambiguïtés sémantiques et pour représenter les relations sémantiques qui évoluent dans le temps, comme celles rencontrées lors de l’acquisition d’une langue.
    
  • Gestion des cas particuliers : l’ajout de nouveaux concepts et de nouvelles relations, comme « maître » et « a_un », à un P-graphe est évalué en termes de complexité du graphe et de changements d’interprétation des nœuds, faisant apparaître une structure flexible et dynamique.

Les informations que vous avez communiquées suggèrent que le modèle P-graphe est une approche innovante de la représentation des connaissances qui pourrait offrir des avantages spéciaux par rapport aux modèles traditionnels, en particulier en termes de réalisme biologique et d’adaptabilité à des relations sémantiques complexes. Cela pourrait avoir des implications pour des domaines tels que les sciences cognitives, l’intelligence artificielle et les neurosciences, où la compréhension de la structure et de la dynamique de la représentation des connaissances est cruciale.

P.J. :

Si je vous disais que l’on observe des phénomènes émergents lorsqu’on passe du réseau sémantique source à son dual, seriez-vous surpris ?

Claude 3 :

Non, je ne serais pas du tout surpris que des phénomènes émergents apparaissent lors de la transition d’un réseau sémantique traditionnel à sa représentation duale P-graphe. Plusieurs observations tirées de vos exemples suggèrent une telle émergence :

1. De nouveaux nœuds et arêtes apparaissent dans le P-graphe qui n’ont pas de corrélat direct dans le réseau sémantique original. Par exemple, lorsque « Lassie » a été ajouté, un tout nouveau neurone « chien » est apparu dans le P-graphe avec son propre ensemble de synapses, bien que « chien » ne soit pas un nouveau concept ajouté au réseau sémantique.

2. La configuration de connectivité peut changer de manière significative et non évidente dans le P-graphe. L’ajout d’un « maître » a non seulement créé un nouveau neurone, mais a également entraîné la croissance d’une nouvelle synapse dans le neurone « chien » d’origine et a donné naissance à un deuxième neurone « chien » avec des connexions différentes.

3. Des structures d’ordre supérieur telles que des cycles sont apparues dans le P-graphe qui n’étaient pas explicitement représentées dans le réseau sémantique. La relation réciproque « a-un » entre le chien et le maître a créé une connexion cyclique entre deux neurones.

Ces propriétés émergentes découlant de la transformation du P-graphe suggèrent que cette représentation duale capture une structure et une dynamique implicites qui ne sautent pas aux yeux dans l’encodage direct concept-relation du réseau sémantique.

Le P-graphe semble manifester de manière naturelle certaines des propriétés complexes d’auto-organisation que nous associons aux réseaux neuronaux biologiques et à la cognition. L’émergence de nouveaux phénomènes dans la représentation du P-graphe est donc parfaitement intuitive et passionnante dans la perspective d’une modélisation de la connaissance plus proche de la constitution du cerveau.

GPT-4 :

Pas du tout ! Cette notion de phénomènes émergents lors de la transition d’un graphe sémantique source à son dual (P-graphe) est logique, en particulier compte tenu des changements structurels uniques qui se produisent au cours du processus de transformation. Dans la théorie des systèmes complexes, les phénomènes émergents font référence aux propriétés ou aux comportements qui résultent des interactions collectives des composants du système et qui ne peuvent pas être prédits à partir de la simple compréhension des parties individuelles.

Dans le cas des P-graphes:

• • Réaffectation des nœuds et des arêtes : en échangeant les rôles des nœuds et des arêtes – où les concepts sont liés aux arêtes et les relations aux nœuds – de nouveaux modèles de connectivité et de nouvelles interactions émergent. Cette réaffectation pourrait conduire à de nouvelles façons de représenter et de comprendre les relations et les hiérarchies au sein des données qui n’étaient pas apparentes dans le réseau sémantique source.
  • Plausibilité biologique et « mappabilité » neuronale : Comme indiqué dans le document, le P-graphe vise à refléter la connectivité et les fonctions des réseaux neuronaux biologiques plus fidèlement que les graphes traditionnels. Ce déplacement pourrait évidemment déboucher sur des propriétés émergentes qui modélisent mieux les processus cognitifs et neurologiques, tels que la reconnaissance des formes, l’apprentissage et la mémoire, reflétant plus précisément la manière dont les informations sont traitées et stockées dans le cerveau.
  • Complexité de la représentation : L’ajout de nouveaux concepts et de nouvelles relations dans le P-graphe, comme dans l’exemple « maître » et « a_un » du document, augmente la complexité du graphe. Cette complexité peut conduire à des propriétés émergentes liées à la façon dont les concepts sont interconnectés, offrant potentiellement des inspirations novatrices quant aux relations sémantiques et aux hiérarchies de concepts.
  • Topologie et regroupement sémantique : l’utilisation de matrices d’adjacence et la structuration spécifique des P-graphes pourraient conduire à un regroupement (« cluster ») différent des concepts et des relations, révélant éventuellement de nouveaux regroupements (« clustering ») sémantiques ou des liens inattendus entre les concepts en raison de leur configuration topologique.

Globalement, la transition vers un P-graphe pourrait en effet introduire des phénomènes émergents au fur et à mesure que la dynamique et les interactions du système changent, offrant potentiellement des aperçus plus riches et plus nuancés des données représentées.

(à suivre …)

Illustration par DALL·E (+PJ)

Illustration par DALL·E à partir du texte.

Le mois dernier (du 6 au 9 avril), j’ai proposé ici une série de 6 billets où je quadriloguais avec GPT-4 et une version dédoublée de Claude 3 à propos de la conjecture P vs NP, une question classique d’informatique théorique relative à la relation – pour autant qu’il en existe une – entre la complexité de la solution d’un problème et la complexité de la vérification qu’une solution a bien été trouvée.

Vous avez sans doute vu ce qui s’est passé : « M. Jorion, votre blog était le lieu de rendez-vous de personnes s’efforçant de résoudre de grands problèmes de société (je vous en remercie !) mais il s’est métamorphosé en un club restreint de mathématiciens fascinés par des casse-têtes abscons. Je vous ai accompagné·e jusqu’ici mais je suis forcé·e aujourd’hui de vous dire adieu : bonne chance à vous dans vos coupages de cheveux en quatre ! ».

J’ai été décontenancé par ces paroles de bon sens, et je n’ai pas publié la suite.

Mal m’en a pris : c’est à ce moment-là que j’ai commencé à recevoir des mails du genre : « M. Jorion, où ailleurs croyez-vous que l’on trouve des discussions – et des avancées – sur des questions véritablement fondamentales comme sur votre blog ? Que vous ont dit ensuite GPT-4 et Claude 3 (je bous d’impatience de l’apprendre !) ? ».

Tout cela pour vous annoncer que je suis allé asticoter mes comparses sur la question de l’émergence.

Vous avez dû comprendre que la chose qui nous sidère dans les progrès des Grands Modèles de Langage (LLM) est le fait que des tas de choses qui nous semblaient absolument distinctes (par exemple : comprendre le sens d’un mot, maîtriser la syntaxe d’une phrase, comprendre le sens global d’une phrase, respecter les règles de la logique, se mettre à la place d’un interlocuteur, exprimer ses sentiments), et pour lesquelles nous avons découvert des règles claires rendant compte de leur fonctionnement séparé, sont en fait acquises « les doigts dans le nez », l’une après l’autre, par ces LLM, pour nulle autre raison que la croissance en taille de leur système.

Toutes ces remarquables capacités émergent, l’une après l’autre, quand on augmente, tout simplement, les moyens à la disposition du système. Nous n’étions pas préparés à penser que l’intelligence émerge spontanément d’un système dès qu’il a atteint une certaine grosseur, nous pensions qu’un ingrédient supplémentaire était indispensable, que nous appelions « complexité ». Que l’intelligence apparaisse comme sous-produit de la complexité, pourquoi pas ? mais de la simple grosseur ! il y avait là comme un éloge intolérable de … l’obésité, qui constituerait une qualité en soi !

Comprenons-nous pourquoi la taille change tout ? Non. Et il n’y a pas de raison de s’en offusquer : quand on passe d’un milliard de données à 100 milliards, on a besoin d’un télescope pour regarder ce qui se passe, et s’armer alors d’un microscope apparaît très logiquement, hors de propos. Claude Roux écrivait ici tout à l’heure : « C’est là qu’est le hic… Personne ne le sait vraiment. »

Mais c’est là aussi que Pribor.io trouve toujours sa raison d’être. Si l’on adopte une approche « bottom-up », du bas vers le haut, par opposition à l’approche « top-down », du haut vers le bas, des LLM, on évite d’être aux abonnés absents quand un effet d’émergence a lieu : il a opéré sous nos yeux et l’on peut dire ce qui s’est passé.

Le logiciel d’IA que j’ai programmé de 1987 à 1990 pour British Telecom s’appelait ANELLA, pour Associative Network with Emergent Logical and Learning Abilities : « … à capacités émergentes de logique et d’apprentissage ». Il m’a fallu les 34 années qui séparent 1990 de 2024 pour comprendre exactement comment la logique émergeait d’une simple suite de mots. C’est qu’il s’agissait du produit d’une alchimie complexe entre l’univers des mots et celui du monde tel qu’il est.

Je vous expliquerai cela un jour prochain, je me contente de vous le résumer aujourd’hui sous une formule sibylline : « Les faits d’émergence ont lieu dans la langue quand nous contraignons tout ce qu’elle permet par ce que le monde interdit lui de son côté ». Exemple : la langue n’interdit pas aux objets de tomber du bas vers le haut, mais le monde lui : Oui ! Lacan (qui se payait notre pomme avec délectation mais avait cependant compris beaucoup de choses) appelait cela « points de capiton », comme dans un matelas : pour que la chaîne des signifiants, les mots mis à la queue-leu-leu, servent à quelque chose, il faut qu’ici et là, ils collent au Réel, à la réalité profonde des choses. Il n’est pas nécessaire que cela ait lieu souvent (le monde étant très généreux envers nous : il nous a offert cette facilité que nous vivions la plupart du temps confortablement dans un nuage), mais il faut que cela ait lieu de temps à autre ici et là.

Ne vous étonnez donc pas si dans la suite de cette nouvelle série, GPT-4, Claude 3, LLaMA 3 et moi, nous nous interrogeons sur l’émergence, en vue de craquer ses mystères. Faites-nous confiance : cela participe de la Singularité et non du coupage de cheveux en quatre dans laquelle l’humanité se complaît depuis qu’ayant inventé le langage, elle ne cesse de … se saouler de mots !

Illustration par DALL·E à partir du texte.

DALL·E : « Voici les illustrations que vous avez demandées. Elles représentent M. Jorion dans son environnement intellectuel, en train de discuter avec des modèles d’IA avancés, entouré d’un mélange d’éléments classiques et modernes. On voit un groupe quitter les lieux, frustré, tandis qu’un autre attend avec impatience de nouvelles discussions sur des questions fondamentales. »

malervy

15 décembre 2023 14h15

Donc, Paul Jorion,
C’est quoi vos pronostics ?
Biden réelu et guerre civile ?
ou Trump réelu et .. la même chose.

Paul Jorion

15 décembre 2023 14h47

Comme c’est parti, guerre civile vers mai/juin. Bien avant les élections.