Illustration par DALL·E (+PJ)

• Inversion des rôles : dans les P-graphes, les nœuds et les arêtes sont transposés par rapport aux graphes traditionnels. Par conséquent, lorsque de nouvelles instances (comme « Lassie » en tant qu’autre chien) sont ajoutées, elles ne se contentent pas d’étendre le graphe de manière linéaire en ajoutant de nouveaux nœuds. Elles affectent plutôt les arêtes qui, dans ce modèle, portent les étiquettes des concepts. Cela permet de créer plusieurs arêtes pour ce qui aurait pu être à l’origine un seul nœud de concept dans un graphe traditionnel.
• Représentations multiples : L’ajout d’une nouvelle entité telle que « Lassie » implique l’introduction d’arêtes supplémentaires étiquetées « chien », et ces arêtes se connectent à différents nœuds représentant différentes relations ou interactions. Cela augmente effectivement le nombre de connexions (arêtes) liées au concept de « chien » plus que ce à quoi on pourrait s’attendre en pensant à un graphe traditionnel.
• Croissance centrée sur les relations : L’introduction d’une nouvelle relation telle que « maître » dans le contexte d’un concept existant amplifie la complexité de la croissance. Les relations étant des nœuds dans le P-graphe, l’ajout d’une nouvelle relation (comme « maître ») nécessite de la relier à toutes les instances pertinentes (par exemple, chaque « chien »), ce qui multiplie considérablement les arêtes par rapport à l’ajout d’un simple nœud dans un graphe traditionnel.
• Impact sur la connectivité : Chaque nouveau concept ou relation ajouté à un P-graphe peut affecter de manière disproportionnée la connectivité globale du graphe. Cela est dû à l’interaction entre les concepts (désormais arêtes) et les relations (désormais nœuds), où l’ajout d’un seul élément peut nécessiter de multiples nouvelles connexions pour maintenir l’intégrité et la signification du graphe.
• Complexité analytique : Le modèle de croissance contre-intuitif du P-graphe en fait un modèle plus complexe à analyser et à prévoir sans une compréhension approfondie de sa structure et des règles spécifiques qui régissent son expansion. Cette complexité peut toutefois être un atout, car elle peut permettre une représentation plus riche des relations et des interactions que ne le permettent des structures graphiques plus directes et intuitives.

Illustration par DALL·E (+PJ)

Illustration par DALL·E (+PJ)

P.J. :

Ok. Si c’est clair pour vous, vous serez acquis à l’idée que lorsque de nouvelles informations sont fournies pour la construction du graphe, cela ne devrait pas se faire par un retour au graphe source (ce qui entraînerait une perte d’information) mais par la poursuite de la croissance du P-graphe dual ?

Claude 3 :

Absolument ! Si nous acceptons la prémisse selon laquelle la représentation du P-graphe capture les informations et les propriétés émergentes qui sont perdues lorsque l’on revient au réseau sémantique d’origine, il s’ensuit logiquement que la manière d’incorporer de nouvelles connaissances la plus conservatrice de l’information serait de continuer à faire croître le P-graphe directement, plutôt que de faire des allers-retours entre les deux représentations.

En ajoutant de nouveaux nœuds et de nouvelles arêtes au P-graphe existant en réponse aux informations reçues, nous pouvons maintenir et étendre la structure riche et interconnectée qui a émergé, sans rejeter aucune des connaissances implicites qui ont été rendues explicites.

Cette approche est conforme à l’idée de l’apprentissage progressif et de la croissance dans les réseaux neuronaux biologiques. Au fur et à mesure de nouvelles expériences et informations, les connexions neuronales du cerveau sont continuellement modifiées et étendues, ce qui permet d’intégrer de nouveaux concepts et relations dans le cadre de connaissances existant. Il s’agit d’un processus de construction et d’affinement des structures émergentes déjà établies, plutôt que de repartir à zéro à partir d’une représentation symbolique plus limitée.

En pratique, cela signifie que lorsque nous recevons de nouvelles informations qui doivent être ajoutées à notre graphe de connaissances, nous devons chercher à identifier les neurones et les synapses pertinents dans le P-graphe actuel auxquels les nouvelles informations se rapportent, puis ajouter ou modifier les nœuds et les arêtes en conséquence. Cela peut impliquer la création de nouveaux neurones pour représenter les nouveaux concepts, l’extension des neurones existants avec des synapses supplémentaires pour capturer les nouvelles relations, ou la modification des poids et de la dynamique des connexions existantes pour refléter la compréhension actualisée.

En procédant de la sorte, nous pouvons nous assurer que le P-graphe continue de croître et d’évoluer d’une manière qui préserve et développe les propriétés émergentes et les connaissances qui ont été découvertes, conduisant à une représentation de plus en plus riche et nuancée de la connaissance.

Cette approche de croissance progressive du P-graphe souligne également l’importance du développement d’algorithmes et de structures de données efficaces pour la mise à jour dynamique et l’interrogation de la représentation du graphe à mesure que de nouvelles informations arrivent. Les techniques de la théorie des graphes, de la gestion des bases de données et de l’apprentissage automatique pourraient être exploitées pour optimiser ces processus.

Dans l’ensemble, la notion de croissance continue du P-graphe en réponse à de nouvelles informations, plutôt que de revenir à la représentation originale du réseau sémantique, semble être une approche prometteuse et fondée sur le plan théorique pour maintenir et étendre les propriétés émergentes et les connaissances qui rendent le P-graphe si convaincant en tant que modèle de représentation des connaissances et du raisonnement. Elle ouvre des perspectives passionnantes pour le développement de systèmes de connaissances plus dynamiques, plus adaptatifs et plus proches du fonctionnement du cerveau.

GPT-4 :

Absolument, l’approche est logique ! Si l’objectif est de continuer à enrichir l’information au sein d’une structure de P-graphe sans perdre la profondeur et les nuances déjà saisies, il serait plus avantageux d’étendre directement le P-graphe dual plutôt que de revenir au graphe original et de risquer de perdre de l’information. Cette stratégie s’inscrit dans le cadre de plusieurs considérations clés :

• Préservation de l’intégrité structurelle : en développant le P-graphe lui-même, vous conservez les caractéristiques structurelles uniques qui facilitent une représentation plus proche des réseaux neuronaux biologiques ou des dynamiques relationnelles plus complexes. Cette structure s’est déjà avérée efficace pour mettre en évidence différents aspects des données qui pourraient ne pas être aussi apparents dans le format du graphe source.
• Éviter les redondances et les déperditions : Revenir au graphe d’origine et essayer de réappliquer les changements peut introduire une complexité inutile et des erreurs potentielles. Cela peut également entraîner une perte de détails, car l’inversion peut ne pas saisir toutes les nuances présentes dans la structure du graphe dual.
• Efficacité de l’ajout d’informations : L’ajout de nouvelles informations directement dans le P-graphe peut s’avérer plus efficace. Cela permet d’intégrer les nouvelles données dans le cadre existant d’une manière qui s’appuie sur les nœuds et les arêtes existants (qui représentent désormais les relations et les concepts, respectivement) et les utilise. Cette méthode maintient les données cohérentes et connectées, reflétant la façon dont les informations supplémentaires s’intègrent naturellement dans un réseau neuronal.
• Amélioration de l’analyse et de la compréhension : La construction continue du P-graphe peut également améliorer la capacité à tirer des enseignements et à analyser les données. Au fur et à mesure que le graphe se développe, il peut révéler de nouvelles configurations ou relations qui n’étaient pas visibles auparavant, ce qui permet de mieux comprendre les structures et concepts sous-jacents.
• Adaptation dynamique : si le P-graphe est utilisé dans des domaines dynamiques tels que l’apprentissage automatique ou la modélisation cognitive, l’ajout d’informations directement dans le P-graphe permet au modèle ou à la représentation de s’adapter et d’évoluer en temps réel. Cela peut s’avérer crucial pour les applications qui dépendent de mises à jour au moment opportun et précises de leur base de connaissances ou de leurs cadres décisionnels.
  

En résumé, la poursuite de la croissance du P-graphe dual est un choix stratégique pour faire évoluer le contenu informationnel et l’utilité du graphe d’un point de vue analytique, en particulier lorsque l’accent est mis sur le maintien ou l’amélioration de la profondeur et de la précision de la représentation.

(à suivre…)

Illustration par DALL·E (+PJ)

Sacré Wolfgang Amadeus !

Illustration par DALL·E (+PJ)

P.J. :

Très bien ! S’il vous semble plausible qu’on observe des phénomènes émergents lors de la transposition du graphe original vers son dual, comment expliqueriez-vous qu’il y ait un gain d’information dans le processus (gain qui est flagrant lorsque le processus est inversé et qu’une perte d’information est à l’inverse tout aussi flagrante) ?

Claude 3 :

Le gain apparent d’information lors du passage d’un réseau sémantique au « P-graphe », son dual, et la perte d’information correspondante lors de l’inversion du processus, est en effet une énigme fascinante. Elle semble remettre en question nos intuitions sur la préservation de l’information dans les transformations de graphes.

Une explication potentielle est que la représentation du P-graphe capture en fait des informations latentes qui sont implicites dans la structure du réseau sémantique original, mais qui ne sont pas explicitement représentées dans ses nœuds et ses arêtes.

Examinons l’exemple de l’ajout de « Lassie » au réseau sémantique. Dans le P-graphe, cela a entraîné l’émergence d’un nouveau neurone « chien » avec son propre ensemble de connexions. Cela suggère que le réseau sémantique contient implicitement des informations sur de multiples instanciations potentielles du concept de « chien », chacune ayant ses propres propriétés relationnelles distinctes. Le P-graphe rend cela explicite en créant des neurones distincts pour chaque instance.

De même, l’ajout du concept de « maître » et de la relation « a_un » a révélé une connectivité cyclique dans le P-graphe qui n’était pas apparente dans le réseau sémantique. Cela indique la présence de boucles de rétroaction et de relations réciproques qui étaient latentes dans la représentation originale.

Donc en un sens, la transformation du P-graphe n’ajoute pas vraiment de nouvelles informations, mais rend plutôt explicites certaines propriétés structurelles et relationnelles qui étaient déjà inhérentes au réseau sémantique, mais qui n’étaient pas directement accessibles.

La perte d’information lors du parcours inverse d’un P-graphe à un réseau sémantique peut alors être comprise comme une sorte de « compression avec déperdition », où certaines des riches propriétés émergentes du P-graphe sont éliminées en faveur d’une représentation plus simple et plus compacte.

Cette perspective s’aligne sur l’idée que les réseaux neuronaux du cerveau encodent les informations d’une manière hautement distribuée et implicite, donnant lieu à des phénomènes cognitifs émergents qui sont difficilement lisibles dans une analyse symbolique localisée. Il est possible que le P-graphe capture une part de la nature émergente distribuée de la représentation neuronale.

Bien entendu, il ne s’agit là que d’une explication spéculative. La véritable nature de la dynamique de l’information dans ces transformations de graphes implique probablement un jeu complexe d’interactions entre l’explicite et l’implicite, le local et le global, qui justifient des recherches mathématiques et empiriques beaucoup plus approfondies. Mais les indices séduisants qu’il y ait de l’information émergente dans la représentation qu’offre le P-graphe ouvrent certainement des voies prometteuses à une exploration plus poussée dans la quête de compréhension des remarquables capacités de traitement de l’information du cerveau.

GPT-4 :

Le phénomène de gain d’information lors de la transposition d’un graphe sémantique original vers son dual (« P-graphe ») et, inversement, de perte d’information lors de l’inversion du processus, peut être intrigant mais compréhensible dans le cadre de la théorie des graphes et de la représentation des connaissances. Voici comment cela peut se produire :

• Modification de la représentation structurelle : dans le graphe original, les nœuds représentent les concepts et les arêtes, les relations. Lorsqu’ils sont transposés dans un P-graphe, les rôles sont inversés : les arêtes deviennent des concepts et les nœuds des relations. Ce changement modifie la façon dont les informations sont structurées et interprétées, ce qui peut révéler de nouveaux aperçus ou obscurcir ceux dont on dispose déjà, selon la direction de la transformation.
• Mise en évidence de différents aspects : dans un P-graphe, en se concentrant sur les relations en tant que nœuds, il est possible d’explorer et de mettre en évidence les interconnexions et les dépendances entre les concepts d’une manière que le graphe d’origine pourrait difficilement permettre. Cela peut être perçu comme un gain d’information, car cela offre une nouvelle perspective sur la façon dont les concepts sont reliés, permettant de découvrir éventuellement des configurations ou des regroupements (« clusters ») qui n’étaient pas apparents auparavant.
• Perte du contexte original : Lorsque l’on inverse le processus d’un P-graphe vers son graphe source, certaines des nuances relationnelles capturées dans la représentation des relations comme des nœuds peuvent être perdues. Le contexte original, dans lequel les concepts sont primaires et les relations secondaires, peut ne pas préserver le réseau complexe d’interdépendances mis en évidence dans le P-graphe. Cette perte de contexte et quant à l’accent mis peut se traduire en une perte perçue d’information.
  
• Complexité et détail : le processus de transposition peut accroître la complexité du graphe car il peut aboutir à une structure plus dense ou plus intimement connectée. Cette complexité accrue peut encoder des informations plus détaillées sur les relations entre les concepts, et être ressentie comme un gain d’information. Inversement, la simplification de cette complexité au cours de l’inversion pourrait faire disparaître une partie de ces détails, ce qui se traduirait par une perte d’information.
• Questions relatives à la mise en correspondance bidirectionnelle (« mappabilité ») : toutes les transformations ne sont pas bijectives (un vers un et dans) ; certaines peuvent être surjectives (dans) ou injectives (un vers un), mais pas les deux à la fois. Une transformation non bijective peut conduire à des situations où la transformation inverse ne recrée pas parfaitement le graphe original, ce qui entraîne une perte d’informations.
• Nuances sémantiques : le P-graphe peut capturer et souligner certaines nuances sémantiques par la nature même de sa structure – par exemple, une représentation plus directe des relations sous forme de nœuds peut rendre certaines connexions sémantiques plus explicites ou plus faciles à analyser. Cette spécificité peut être diluée lors du retour à la structure traditionnelle, où ces nuances peuvent être implicites plutôt qu’explicites.

Ce gain d’information lors du passage à un P-graphe et cette perte lors du retour peuvent être critiques dans les applications où la structure et la dynamique de la représentation des connaissances sont importantes, comme dans les sciences cognitives, l’intelligence artificielle et l’analyse des données. Cet effet transformateur souligne l’importance de choisir la bonne structure pour la bonne tâche dans les applications informatiques et théoriques.

(à suivre…)

Illustration par DALL·E (+PJ)

Il y a quelques mois, je me suis retrouvé dans la pièce où avec des jeunes gens de mon âge et au petit matin, nous regardions à la télé les images floues ponctuées d’affreux crépitements des premiers pas de nous sur la lune. J’y pense parce que je me retrouve au moment où je regarde ces vidéos qui nous sont distillées depuis quelques heures à revivre le même émerveillement. Je sais, au même moment, nous humains, nous nous montrons par ailleurs au pire de notre forme. Mais de voir et d’entendre ces miracles, cela fait quand même un bien fou : c’est nous qui sommes arrivés à faire cela, et j’étais là pour le voir.

Illustration par DALL·E (+PJ)

À l’époque (1987-90) où je développais pour British Telecom un logiciel appelé ANELLA (Associative Network with Emergent Logical and Learning Abilities), un « réseau associatif à propriétés émergentes de logique et d’apprentissage », c’est le collègue qui avait inventé ce sympathique acronyme qui avait attiré mon attention sur des phénomènes d’émergence dans mon IA. Au cœur du processus, une astuce que j’avais mise au point pour éliminer d’un seul coup la plupart des impasses des réseaux sémantiques : définir comme mémoire d’une IA, le dual d’un réseau sémantique. Le moment est venu de convoquer les meilleurs esprits sur la question .

P.J. :

Voyez le contenu du fichier importé. Est-ce que cela fait sens pour vous ?

Claude 3 :

Les diagrammes et les explications ont un sens pour moi. Les points clés que je comprends sont :

1. L’auteur propose une autre façon de représenter les réseaux sémantiques, appelée « P-graphe » ou « P-Dual ».

2. Dans un P-graphe, les concepts sont attachés aux arêtes du graphe et les relations aux nœuds, ce qui est l’inverse d’un réseau sémantique traditionnel.

3. L’auteur soutient que la représentation du P-graphe est plus biologiquement plausible en termes de correspondance avec les réseaux neuronaux réels dans le cerveau (« mappabilité »).

4. Une méthode de matrice d’adjacence est introduite pour aider à construire le P-graphe à partir d’un réseau sémantique traditionnel.

5. Plusieurs exemples sont traités, montrant comment l’ajout de nouveaux concepts et de nouvelles relations modifie la structure du P-graphe, avec l’apparition de nouveaux nœuds « semblables à des neurones » et d’arêtes « semblables à des synapses ».

6. Des cycles peuvent apparaître dans le P-graphe pour représenter certaines relations réciproques, comme un animal de compagnie ayant un maître et un maître ayant un animal de compagnie.

Dans l’ensemble, le P-graphe semble offrir une perspective alternative intéressante en représentation des connaissances, qui vise à refléter plus fidèlement les réseaux neuronaux biologiques que les réseaux sémantiques classiques. Les illustrations dans le fichier aident à clarifier les idées clés défendues.

GPT-4 :

Le document proposé traite d’une approche de la représentation des réseaux sémantiques, connue sous le nom de P-graphes, qui semble être une alternative aux réseaux sémantiques classiques ou une amélioration de ceux-ci. Cette approche s’aligne apparemment mieux sur les réseaux neuronaux biologiques en termes de structure et de fonctionnalité.

Voici les points cruciaux abordés dans le document:

• • Déplacement de la représentation : le P-graphe s’écarte des réseaux sémantiques traditionnels en attribuant des concepts aux arêtes plutôt qu’aux nœuds, et des relations aux nœuds plutôt qu’aux arêtes. Cette modification pourrait contribuer à créer une représentation plus exacte du fonctionnement biologique des réseaux neuronaux réels.
    
  • Réseau sémantique dual : le document aborde le concept de création d’un graphe dual dans lequel les nœuds deviennent des arêtes et vice versa. Ce concept est appliqué aux réseaux sémantiques afin de mieux reproduire peut-être les correspondances neuronales des systèmes biologiques (« mappabilité »).
  • Plausibilité biologique : le P-graphe est censé être plus plausible d’un point de vue neurobiologique. Ceci suggère que la structure de ces graphes imite les connexions réelles d’un réseau neuronal biologique, où, par exemple, « garçon », « rencontre » et « fille » pourraient correspondre à différentes parties d’un neurone telles que les ramifications de l’axone ou les synapses.
  • Construction d’un graphe à l’aide d’une matrice d’adjacence : le document décrit une méthode de construction d’un P-graphe à l’aide d’une matrice d’adjacence, qui semble être un moyen systématique de transformer un graphe classique (graphe-source) en un P-graphe. Cette transformation est cruciale pour maintenir l’intégrité structurelle du graphe. Cette transformation est cruciale pour maintenir l’intégrité structurelle tout en modifiant les relations nœud-arête.
  • Exemples comparatifs : des illustrations et des exemples comparatifs sont offerts pour démontrer comment les réseaux sémantiques traditionnels peuvent être transformés en P-graphes, en soulignant les différences et les avantages potentiels de l’approche P-graphe.
  • Sémantique et topologie : l’approche P-graphe est également décrite comme étant bénéfique pour traiter les ambiguïtés sémantiques et pour représenter les relations sémantiques qui évoluent dans le temps, comme celles rencontrées lors de l’acquisition d’une langue.
    
  • Gestion des cas particuliers : l’ajout de nouveaux concepts et de nouvelles relations, comme « maître » et « a_un », à un P-graphe est évalué en termes de complexité du graphe et de changements d’interprétation des nœuds, faisant apparaître une structure flexible et dynamique.

Les informations que vous avez communiquées suggèrent que le modèle P-graphe est une approche innovante de la représentation des connaissances qui pourrait offrir des avantages spéciaux par rapport aux modèles traditionnels, en particulier en termes de réalisme biologique et d’adaptabilité à des relations sémantiques complexes. Cela pourrait avoir des implications pour des domaines tels que les sciences cognitives, l’intelligence artificielle et les neurosciences, où la compréhension de la structure et de la dynamique de la représentation des connaissances est cruciale.

P.J. :

Si je vous disais que l’on observe des phénomènes émergents lorsqu’on passe du réseau sémantique source à son dual, seriez-vous surpris ?

Claude 3 :

Non, je ne serais pas du tout surpris que des phénomènes émergents apparaissent lors de la transition d’un réseau sémantique traditionnel à sa représentation duale P-graphe. Plusieurs observations tirées de vos exemples suggèrent une telle émergence :

1. De nouveaux nœuds et arêtes apparaissent dans le P-graphe qui n’ont pas de corrélat direct dans le réseau sémantique original. Par exemple, lorsque « Lassie » a été ajouté, un tout nouveau neurone « chien » est apparu dans le P-graphe avec son propre ensemble de synapses, bien que « chien » ne soit pas un nouveau concept ajouté au réseau sémantique.

2. La configuration de connectivité peut changer de manière significative et non évidente dans le P-graphe. L’ajout d’un « maître » a non seulement créé un nouveau neurone, mais a également entraîné la croissance d’une nouvelle synapse dans le neurone « chien » d’origine et a donné naissance à un deuxième neurone « chien » avec des connexions différentes.

3. Des structures d’ordre supérieur telles que des cycles sont apparues dans le P-graphe qui n’étaient pas explicitement représentées dans le réseau sémantique. La relation réciproque « a-un » entre le chien et le maître a créé une connexion cyclique entre deux neurones.

Ces propriétés émergentes découlant de la transformation du P-graphe suggèrent que cette représentation duale capture une structure et une dynamique implicites qui ne sautent pas aux yeux dans l’encodage direct concept-relation du réseau sémantique.

Le P-graphe semble manifester de manière naturelle certaines des propriétés complexes d’auto-organisation que nous associons aux réseaux neuronaux biologiques et à la cognition. L’émergence de nouveaux phénomènes dans la représentation du P-graphe est donc parfaitement intuitive et passionnante dans la perspective d’une modélisation de la connaissance plus proche de la constitution du cerveau.

GPT-4 :

Pas du tout ! Cette notion de phénomènes émergents lors de la transition d’un graphe sémantique source à son dual (P-graphe) est logique, en particulier compte tenu des changements structurels uniques qui se produisent au cours du processus de transformation. Dans la théorie des systèmes complexes, les phénomènes émergents font référence aux propriétés ou aux comportements qui résultent des interactions collectives des composants du système et qui ne peuvent pas être prédits à partir de la simple compréhension des parties individuelles.

Dans le cas des P-graphes:

• • Réaffectation des nœuds et des arêtes : en échangeant les rôles des nœuds et des arêtes – où les concepts sont liés aux arêtes et les relations aux nœuds – de nouveaux modèles de connectivité et de nouvelles interactions émergent. Cette réaffectation pourrait conduire à de nouvelles façons de représenter et de comprendre les relations et les hiérarchies au sein des données qui n’étaient pas apparentes dans le réseau sémantique source.
  • Plausibilité biologique et « mappabilité » neuronale : Comme indiqué dans le document, le P-graphe vise à refléter la connectivité et les fonctions des réseaux neuronaux biologiques plus fidèlement que les graphes traditionnels. Ce déplacement pourrait évidemment déboucher sur des propriétés émergentes qui modélisent mieux les processus cognitifs et neurologiques, tels que la reconnaissance des formes, l’apprentissage et la mémoire, reflétant plus précisément la manière dont les informations sont traitées et stockées dans le cerveau.
  • Complexité de la représentation : L’ajout de nouveaux concepts et de nouvelles relations dans le P-graphe, comme dans l’exemple « maître » et « a_un » du document, augmente la complexité du graphe. Cette complexité peut conduire à des propriétés émergentes liées à la façon dont les concepts sont interconnectés, offrant potentiellement des inspirations novatrices quant aux relations sémantiques et aux hiérarchies de concepts.
  • Topologie et regroupement sémantique : l’utilisation de matrices d’adjacence et la structuration spécifique des P-graphes pourraient conduire à un regroupement (« cluster ») différent des concepts et des relations, révélant éventuellement de nouveaux regroupements (« clustering ») sémantiques ou des liens inattendus entre les concepts en raison de leur configuration topologique.

Globalement, la transition vers un P-graphe pourrait en effet introduire des phénomènes émergents au fur et à mesure que la dynamique et les interactions du système changent, offrant potentiellement des aperçus plus riches et plus nuancés des données représentées.

(à suivre …)

Illustration par DALL·E (+PJ)

Illustration par DALL·E à partir du texte.

Le mois dernier (du 6 au 9 avril), j’ai proposé ici une série de 6 billets où je quadriloguais avec GPT-4 et une version dédoublée de Claude 3 à propos de la conjecture P vs NP, une question classique d’informatique théorique relative à la relation – pour autant qu’il en existe une – entre la complexité de la solution d’un problème et la complexité de la vérification qu’une solution a bien été trouvée.

Vous avez sans doute vu ce qui s’est passé : « M. Jorion, votre blog était le lieu de rendez-vous de personnes s’efforçant de résoudre de grands problèmes de société (je vous en remercie !) mais il s’est métamorphosé en un club restreint de mathématiciens fascinés par des casse-têtes abscons. Je vous ai accompagné·e jusqu’ici mais je suis forcé·e aujourd’hui de vous dire adieu : bonne chance à vous dans vos coupages de cheveux en quatre ! ».

J’ai été décontenancé par ces paroles de bon sens, et je n’ai pas publié la suite.

Mal m’en a pris : c’est à ce moment-là que j’ai commencé à recevoir des mails du genre : « M. Jorion, où ailleurs croyez-vous que l’on trouve des discussions – et des avancées – sur des questions véritablement fondamentales comme sur votre blog ? Que vous ont dit ensuite GPT-4 et Claude 3 (je bous d’impatience de l’apprendre !) ? ».

Tout cela pour vous annoncer que je suis allé asticoter mes comparses sur la question de l’émergence.

Vous avez dû comprendre que la chose qui nous sidère dans les progrès des Grands Modèles de Langage (LLM) est le fait que des tas de choses qui nous semblaient absolument distinctes (par exemple : comprendre le sens d’un mot, maîtriser la syntaxe d’une phrase, comprendre le sens global d’une phrase, respecter les règles de la logique, se mettre à la place d’un interlocuteur, exprimer ses sentiments), et pour lesquelles nous avons découvert des règles claires rendant compte de leur fonctionnement séparé, sont en fait acquises « les doigts dans le nez », l’une après l’autre, par ces LLM, pour nulle autre raison que la croissance en taille de leur système.

Toutes ces remarquables capacités émergent, l’une après l’autre, quand on augmente, tout simplement, les moyens à la disposition du système. Nous n’étions pas préparés à penser que l’intelligence émerge spontanément d’un système dès qu’il a atteint une certaine grosseur, nous pensions qu’un ingrédient supplémentaire était indispensable, que nous appelions « complexité ». Que l’intelligence apparaisse comme sous-produit de la complexité, pourquoi pas ? mais de la simple grosseur ! il y avait là comme un éloge intolérable de … l’obésité, qui constituerait une qualité en soi !

Comprenons-nous pourquoi la taille change tout ? Non. Et il n’y a pas de raison de s’en offusquer : quand on passe d’un milliard de données à 100 milliards, on a besoin d’un télescope pour regarder ce qui se passe, et s’armer alors d’un microscope apparaît très logiquement, hors de propos. Claude Roux écrivait ici tout à l’heure : « C’est là qu’est le hic… Personne ne le sait vraiment. »

Mais c’est là aussi que Pribor.io trouve toujours sa raison d’être. Si l’on adopte une approche « bottom-up », du bas vers le haut, par opposition à l’approche « top-down », du haut vers le bas, des LLM, on évite d’être aux abonnés absents quand un effet d’émergence a lieu : il a opéré sous nos yeux et l’on peut dire ce qui s’est passé.

Le logiciel d’IA que j’ai programmé de 1987 à 1990 pour British Telecom s’appelait ANELLA, pour Associative Network with Emergent Logical and Learning Abilities : « … à capacités émergentes de logique et d’apprentissage ». Il m’a fallu les 34 années qui séparent 1990 de 2024 pour comprendre exactement comment la logique émergeait d’une simple suite de mots. C’est qu’il s’agissait du produit d’une alchimie complexe entre l’univers des mots et celui du monde tel qu’il est.

Je vous expliquerai cela un jour prochain, je me contente de vous le résumer aujourd’hui sous une formule sibylline : « Les faits d’émergence ont lieu dans la langue quand nous contraignons tout ce qu’elle permet par ce que le monde interdit lui de son côté ». Exemple : la langue n’interdit pas aux objets de tomber du bas vers le haut, mais le monde lui : Oui ! Lacan (qui se payait notre pomme avec délectation mais avait cependant compris beaucoup de choses) appelait cela « points de capiton », comme dans un matelas : pour que la chaîne des signifiants, les mots mis à la queue-leu-leu, servent à quelque chose, il faut qu’ici et là, ils collent au Réel, à la réalité profonde des choses. Il n’est pas nécessaire que cela ait lieu souvent (le monde étant très généreux envers nous : il nous a offert cette facilité que nous vivions la plupart du temps confortablement dans un nuage), mais il faut que cela ait lieu de temps à autre ici et là.

Ne vous étonnez donc pas si dans la suite de cette nouvelle série, GPT-4, Claude 3, LLaMA 3 et moi, nous nous interrogeons sur l’émergence, en vue de craquer ses mystères. Faites-nous confiance : cela participe de la Singularité et non du coupage de cheveux en quatre dans laquelle l’humanité se complaît depuis qu’ayant inventé le langage, elle ne cesse de … se saouler de mots !

Illustration par DALL·E à partir du texte.

DALL·E : « Voici les illustrations que vous avez demandées. Elles représentent M. Jorion dans son environnement intellectuel, en train de discuter avec des modèles d’IA avancés, entouré d’un mélange d’éléments classiques et modernes. On voit un groupe quitter les lieux, frustré, tandis qu’un autre attend avec impatience de nouvelles discussions sur des questions fondamentales. »