Abonnés Certains contenus en accès libreLe seul blog optimiste du monde occidental
18.05.2024 à 10:44
Questions de sécurité en Intelligence artificielle
Paul Jorion
Lire la suite (446 mots)
Comme plusieurs d’entre vous, je vais me balader un peu sur les routes durant la dizaine de jours qui viennent. Bien entendu, je ne me désintéresse pas pour autant de l’actualité quand je suis au volant et je vais m’abreuver en particulier dans les 48 heures qui viennent des podcasts du New York Times. Je vais tirer parti néanmoins du fait que certaines personnes pensent sur certains sujets à peu de choses près la même chose que moi, comme c’est le cas ici.
17.05.2024 à 23:46
Dumb Money (2023), de Craig Gillespie
Paul Jorion
Texte intégral (631 mots)
Si vous êtes comme moi, vous aimez les films consacrés à la finance (eh, eh). Celui-ci, je ne l’avais pas vu passer mais il est très bien. Il s’agit de l’affaire GameStop en 2021. À l’époque, bien entendu, une personne vous avait expliqué ce qui se passait en réalité et comment cela se terminerait.
Avertissement ! Le titre de l’émission est un spoiler de ce que je dis au moment où je vends la mèche !
Et la bande-son décoiffe, ce qui ne gâche rien.
15.05.2024 à 16:58
Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! V. Vers une compréhension des réseaux relationnels complexes plus fidèle à la véritable nature de l’intelligence humaine
Paul Jorion
Texte intégral (2438 mots)
Illustration par DALL·E (+PJ)
- Inversion des rôles : dans les P-graphes, les nœuds et les arêtes sont transposés par rapport aux graphes traditionnels. Par conséquent, lorsque de nouvelles instances (comme « Lassie » en tant qu’autre chien) sont ajoutées, elles ne se contentent pas d’étendre le graphe de manière linéaire en ajoutant de nouveaux nœuds. Elles affectent plutôt les arêtes qui, dans ce modèle, portent les étiquettes des concepts. Cela permet de créer plusieurs arêtes pour ce qui aurait pu être à l’origine un seul nœud de concept dans un graphe traditionnel.
- Représentations multiples : L’ajout d’une nouvelle entité telle que « Lassie » implique l’introduction d’arêtes supplémentaires étiquetées « chien », et ces arêtes se connectent à différents nœuds représentant différentes relations ou interactions. Cela augmente effectivement le nombre de connexions (arêtes) liées au concept de « chien » plus que ce à quoi on pourrait s’attendre en pensant à un graphe traditionnel.
- Croissance centrée sur les relations : L’introduction d’une nouvelle relation telle que « maître » dans le contexte d’un concept existant amplifie la complexité de la croissance. Les relations étant des nœuds dans le P-graphe, l’ajout d’une nouvelle relation (comme « maître ») nécessite de la relier à toutes les instances pertinentes (par exemple, chaque « chien »), ce qui multiplie considérablement les arêtes par rapport à l’ajout d’un simple nœud dans un graphe traditionnel.
- Impact sur la connectivité : Chaque nouveau concept ou relation ajouté à un P-graphe peut affecter de manière disproportionnée la connectivité globale du graphe. Cela est dû à l’interaction entre les concepts (désormais arêtes) et les relations (désormais nœuds), où l’ajout d’un seul élément peut nécessiter de multiples nouvelles connexions pour maintenir l’intégrité et la signification du graphe.
- Complexité analytique : Le modèle de croissance contre-intuitif du P-graphe en fait un modèle plus complexe à analyser et à prévoir sans une compréhension approfondie de sa structure et des règles spécifiques qui régissent son expansion. Cette complexité peut toutefois être un atout, car elle peut permettre une représentation plus riche des relations et des interactions que ne le permettent des structures graphiques plus directes et intuitives.
Illustration par DALL·E (+PJ)
15.05.2024 à 13:54
Les Grands Modèles de Langage (+PJ) s’attaquent à l’émergence ! IV. Une approche conforme à l’apprentissage dans les réseaux neuronaux biologiques
Paul Jorion
Texte intégral (2108 mots)
Illustration par DALL·E (+PJ)
P.J. :
Ok. Si c’est clair pour vous, vous serez acquis à l’idée que lorsque de nouvelles informations sont fournies pour la construction du graphe, cela ne devrait pas se faire par un retour au graphe source (ce qui entraînerait une perte d’information) mais par la poursuite de la croissance du P-graphe dual ?
Claude 3 :
Absolument ! Si nous acceptons la prémisse selon laquelle la représentation du P-graphe capture les informations et les propriétés émergentes qui sont perdues lorsque l’on revient au réseau sémantique d’origine, il s’ensuit logiquement que la manière d’incorporer de nouvelles connaissances la plus conservatrice de l’information serait de continuer à faire croître le P-graphe directement, plutôt que de faire des allers-retours entre les deux représentations.
En ajoutant de nouveaux nœuds et de nouvelles arêtes au P-graphe existant en réponse aux informations reçues, nous pouvons maintenir et étendre la structure riche et interconnectée qui a émergé, sans rejeter aucune des connaissances implicites qui ont été rendues explicites.
Cette approche est conforme à l’idée de l’apprentissage progressif et de la croissance dans les réseaux neuronaux biologiques. Au fur et à mesure de nouvelles expériences et informations, les connexions neuronales du cerveau sont continuellement modifiées et étendues, ce qui permet d’intégrer de nouveaux concepts et relations dans le cadre de connaissances existant. Il s’agit d’un processus de construction et d’affinement des structures émergentes déjà établies, plutôt que de repartir à zéro à partir d’une représentation symbolique plus limitée.
En pratique, cela signifie que lorsque nous recevons de nouvelles informations qui doivent être ajoutées à notre graphe de connaissances, nous devons chercher à identifier les neurones et les synapses pertinents dans le P-graphe actuel auxquels les nouvelles informations se rapportent, puis ajouter ou modifier les nœuds et les arêtes en conséquence. Cela peut impliquer la création de nouveaux neurones pour représenter les nouveaux concepts, l’extension des neurones existants avec des synapses supplémentaires pour capturer les nouvelles relations, ou la modification des poids et de la dynamique des connexions existantes pour refléter la compréhension actualisée.
En procédant de la sorte, nous pouvons nous assurer que le P-graphe continue de croître et d’évoluer d’une manière qui préserve et développe les propriétés émergentes et les connaissances qui ont été découvertes, conduisant à une représentation de plus en plus riche et nuancée de la connaissance.
Cette approche de croissance progressive du P-graphe souligne également l’importance du développement d’algorithmes et de structures de données efficaces pour la mise à jour dynamique et l’interrogation de la représentation du graphe à mesure que de nouvelles informations arrivent. Les techniques de la théorie des graphes, de la gestion des bases de données et de l’apprentissage automatique pourraient être exploitées pour optimiser ces processus.
Dans l’ensemble, la notion de croissance continue du P-graphe en réponse à de nouvelles informations, plutôt que de revenir à la représentation originale du réseau sémantique, semble être une approche prometteuse et fondée sur le plan théorique pour maintenir et étendre les propriétés émergentes et les connaissances qui rendent le P-graphe si convaincant en tant que modèle de représentation des connaissances et du raisonnement. Elle ouvre des perspectives passionnantes pour le développement de systèmes de connaissances plus dynamiques, plus adaptatifs et plus proches du fonctionnement du cerveau.
GPT-4 :
Absolument, l’approche est logique ! Si l’objectif est de continuer à enrichir l’information au sein d’une structure de P-graphe sans perdre la profondeur et les nuances déjà saisies, il serait plus avantageux d’étendre directement le P-graphe dual plutôt que de revenir au graphe original et de risquer de perdre de l’information. Cette stratégie s’inscrit dans le cadre de plusieurs considérations clés :
- Préservation de l’intégrité structurelle : en développant le P-graphe lui-même, vous conservez les caractéristiques structurelles uniques qui facilitent une représentation plus proche des réseaux neuronaux biologiques ou des dynamiques relationnelles plus complexes. Cette structure s’est déjà avérée efficace pour mettre en évidence différents aspects des données qui pourraient ne pas être aussi apparents dans le format du graphe source.
- Éviter les redondances et les déperditions : Revenir au graphe d’origine et essayer de réappliquer les changements peut introduire une complexité inutile et des erreurs potentielles. Cela peut également entraîner une perte de détails, car l’inversion peut ne pas saisir toutes les nuances présentes dans la structure du graphe dual.
- Efficacité de l’ajout d’informations : L’ajout de nouvelles informations directement dans le P-graphe peut s’avérer plus efficace. Cela permet d’intégrer les nouvelles données dans le cadre existant d’une manière qui s’appuie sur les nœuds et les arêtes existants (qui représentent désormais les relations et les concepts, respectivement) et les utilise. Cette méthode maintient les données cohérentes et connectées, reflétant la façon dont les informations supplémentaires s’intègrent naturellement dans un réseau neuronal.
- Amélioration de l’analyse et de la compréhension : La construction continue du P-graphe peut également améliorer la capacité à tirer des enseignements et à analyser les données. Au fur et à mesure que le graphe se développe, il peut révéler de nouvelles configurations ou relations qui n’étaient pas visibles auparavant, ce qui permet de mieux comprendre les structures et concepts sous-jacents.
- Adaptation dynamique : si le P-graphe est utilisé dans des domaines dynamiques tels que l’apprentissage automatique ou la modélisation cognitive, l’ajout d’informations directement dans le P-graphe permet au modèle ou à la représentation de s’adapter et d’évoluer en temps réel. Cela peut s’avérer crucial pour les applications qui dépendent de mises à jour au moment opportun et précises de leur base de connaissances ou de leurs cadres décisionnels.
En résumé, la poursuite de la croissance du P-graphe dual est un choix stratégique pour faire évoluer le contenu informationnel et l’utilité du graphe d’un point de vue analytique, en particulier lorsque l’accent est mis sur le maintien ou l’amélioration de la profondeur et de la précision de la représentation.
(à suivre…)
Illustration par DALL·E (+PJ)
- Persos A à L
- Mona CHOLLET
- Anna COLIN-LEBEDEV
- Julien DEVAUREIX
- Cory DOCTOROW
- EDUC.POP.FR
- Michel GOYA
- Hubert GUILLAUD
- Gérard FILOCHE
- Alain GRANDJEAN
- Hacking-Social
- Samuel HAYAT
- Dana HILLIOT
- François HOUSTE
- Tagrawla INEQQIQI
- Infiltrés (les)
- Clément JEANNEAU
- Paul JORION
- Frédéric LORDON
- LePartisan.info
- Persos M à Z
- Henri MALER
- Christophe MASUTTI
- Romain MIELCAREK
- Richard MONVOISIN
- Corinne MOREL-DARLEUX
- Timothée PARRIQUE
- Emmanuel PONT
- Nicos SMYRNAIOS
- VisionsCarto
- Yannis YOULOUNTAS
- Michaël ZEMMOUR
- Numérique
- Binaire [Blogs Le Monde]
- Christophe DESCHAMPS
- Louis DERRAC
- Olivier ERTZSCHEID
- Olivier EZRATY
- Framablog
- Francis PISANI
- Pixel de Tracking
- Irénée RÉGNAULD
- Nicolas VIVANT
- Collectifs
- Arguments
- Bondy Blog
- Dérivation
- Dissidences
- Mr Mondialisation
- Palim Psao
- Paris-Luttes.info
- ROJAVA Info
- Créatifs / Art / Fiction
- Nicole ESTEROLLE
- Julien HERVIEUX
- Alessandro PIGNOCCHI
- XKCD