Texte intégral (2925 mots)
Max Dauchet nous parle d’une nouvelle théorie de la singularité humaine, d’après Leslie Valiant i. Il offre aux lecteurs de binaire l’occasion d’approcher une idée fondamentale : l’apprentissage Probablement Approximativement Correct (PAC). Le livre de Leslie Vaillant dont il nous parle est intéressant, pas si difficile à lire. Mais il n’est pas simple à résumer. Max y arrive. Serge Abiteboul et
Thierry Viéville.
L’éducabilité, notre avantage darwinien
De la sélection darwinienne à l’émergence des civilisations, des proto-organismes aux humains, l’évolution de la vie n’est selon le récent ouvrage de Leslie Valiant qu’un immense apprentissage « Probablement Approximativement Correct´´ PAC (cf. infra) – notion due à l’auteur et couronnée en 2010 du prestigieux prix Turingii.
Dans les interactions entre individus, entre espèces, avec l’environnement,
ce qui « apprend » le mieux prend le dessus. L’auteur explique
comment l’évolution « PAC-darwinienne » a fait émerger notre aptitude
à construire des Educable Learning Systems (Systèmes d’apprentissage
éducable). Le maître mot est là, nous sommes la seule espèce devenue éducable.
Dès lors nous n’avons guère le choix, nous devons tout miser sur une éducation
à l’épreuve de la scienceiii,
c’est notre meilleure chance de donner les bons coups de pagaie pour orienter
notre destin dans le flot de l’évolution qui nous emporte. Et comme
l’éducabilité tient en PAC une base solide, ce doit être là le pilote des
recherches en éducation, qui sont encore trop empiriques, morcelées, voire
idéologiques.
Si Charles Darwin avait été informaticien, il aurait pu écrire ce livreiv, qui en donnant une base
calculatoire à l’évolution, en étend les règles du vivant aux idées. Valiant a
l’habilité de nous amener progressivement à cette thèse au fil des pages. Je
suggère néanmoins comme mise en appétit de commencer la lecture par le dernier
chapitre, A Species Adriftv,
que je viens de résumer.
L’intelligence, une mauvaise notion
Valiant règle en quelques lignes son sort à l’intelligence : c’est un mauvais concept, impossible à définirvi. Il argumente que notre aptitude à traiter de l’information fait sens au niveau de l’espèce et de son histoire plutôt qu’au niveau individuel. Peut-être que la notoriété de Leslie Vaillant et la consistance de ses propos aideront à réviser notre approche de l’intelligence, source de regrettables confusions quand elle touche à l’IA, et parfois de ravages sur les bancs de l’école.
Un texte ambitieux mais facile à aborder
Si le lecteur est informaticien, il a forcément entendu parler de l’apprentissage PACvii, a eu du mal à s’imprégner de la définition, a trouvé le formalisme lourd et les exemples laborieux. Les autres peuvent être rebutés par l’évocation de PAC à chaque page – une coquetterie d’auteur que l’on pardonnera. Dans les deux cas, que l’on se rassure. La lecture est aisée, elle ne demande aucune connaissance particulière. Le style est sobre et l’argumentation solide, digne du grand scientifique qu’est Valiant – qui fustige au passage les vendeurs de peur d’un « grand remplacement » de l’humain par la machine, comme hélas nous en connaissons tous.
PAC : Une vision computationnelleviii
de l’évolution, des molécules aux civilisations
Plus en détail, il n’y a aucun formalisme mathématique dans cet ouvrage, PAC est présenté par sa « substantifique moelle ». L’idée est que l’évolution est un apprentissage, et qu’il ne peut y avoir d’apprentissage que Probablement Approximativement Correct (PAC). Approximativement, parce que retenir exactement est retenir par cœur, et cela ne dit rien d’une situation proche si l’on n’englobe pas les deux dans une même approximation ix. Probablement car il existera toujours de rares situations qui n’auront pas été échantillonnées lors de l’apprentissage et ne seront donc même pas approximées x. Enfin, dans un contexte darwinien de compétition, cet apprentissage ne doit pas prendre trop de tempsxi. Le deep learning (l’apprentissage profond, en français) qui fait l’actualité est un exemple d’apprentissage PAC.
L’apprentissage PAC est d’abord un apprentissage par des exemples ;
il lie par l’expérience des comportements à des stimuli dans les espèces
rudimentaires – Valiant cite les escargots de mer. Au fil de l’évolution, de
tels apprentissages peuvent se chaîner en comportements plus complexes,
mais ce processus évolutif trouve vite ses limites car si une chaîne se
rallonge, les incertitudes se cumulent. La plupart des espèces en sont là,
limitées au chaînage de quelques règles élémentaires, qui s’inscrivent
par sélection dans leur patrimoine biologique. Pour les espèces plus évoluées,
cet inné peut se compléter par l’expérience individuelle, comme pour le chien
de Pavlov. Mais seuls les humains ont une capacité corticale suffisante pour
transmettre par l’éducation, condition nécessaire à la constitution des
civilisations et des cultures. Pour éduquer, il faut nommer les choses ce qui
permet d’apprendre sur des mots (plus exactement des tokens – des occurrences)
et non seulement sur des stimuli. Valiant nomme de tels corpus de règles sur
des tokens des Integrative Learning Systems, qui, combinés à nos
capacités individuelles d’apprentissage par l’expérience et de communication,
constituent des Educable Learning Systems. L’apport de Valiant est de
décrire comment ces capacités sont apparues lors de l’évolution du vivant, par
une conjonction fortuite de contingences, et surtout de montrer qu’elles
devaient apparaître, d’une façon ou d’une autre, tôt ou tard, tant elles procurent
un avantage considérablexii.
Un monde redevenu intelligible
Au fil des pages, on comprend que le monde vivant est structuré, et
qu’il ne pouvait pas en être autrement. Il était en effet fort peu probable de
passer d’un seul coup des amibes aux humains ! Les mutations et le hasard
créent au fil du temps une diversité d’entités apprenantes, les plus adaptées
survivent, puis rentrent à nouveau en compétition d’apprentissage. Le neurone
est à cet égard une formidable trouvaille. La vie aurait pu évoluer tout
autrement, mais forcément en se structurant par assemblage avantageux du plus
simple au plus complexe. On peut ainsi relire la boutade des spécialistes du deep
learning étonnés par les succès de leurs techniques : « Soit Dieu
existe, soit le monde est structuré »xiii.
La réponse de Valiant est que le monde est structuré parce qu’il est né du PAC
learning, ce qui est une façon de dire que le monde est intelligible, comme le
rêvaient les encyclopédistes et les Lumières.
L’apprentissage PAC, conçu il y a un demi-siècle, est au cœur des développements récents des sciences du calcul et des données,au carrefour des statistiques, de l’informatique et des mathématiques, jalonné par le triangle Régularité-Approximation-Parcimoniexiv. On peut regretter l’absence dans l’ouvrage de considérations sur le troisième sommet de ce triangle, le principe de parcimonie xv, alors qu’y faire référence renforcerait les arguments du livre. On peut aussi regretter qu’il ne soit fait aucune allusion aux progrès considérables dans le traitement du signalxvi réalisés ces dernières décennies, et qui sont une des clés du succès de l’apprentissage profond.
Au-delà, le premier mérite de l’ouvrage est de faire réfléchir, de mettre en débats des idées en bonne partie nouvelles. Fussent-elles encore fragiles, celles-ci sont les bienvenues à une époque en manque de perspectives intellectuelles.
Max Dauchet, Université de Lille.
Pour aller un peu plus loin, Max nous propose un complément plus technique pour nous faire partager l’évolution scientifique d’une approche purement statistique à une vision scientifique de l’apprentissage : ici.
i The Importance of
Being Educable. A new theory of human uniqueness. Leslie Valiant, Princeton University Press,
2024.
ii Équivalent du
prix Nobel pour les sciences informatiques, créé en 1966. Deux Français en ont
été lauréats, Joseph Sifakis en 2007 et Yann Le Cun en 2018.
iii Pour Valiant,
la science est une croyance qui se distingue des autres par la robustesse de sa
méthode : la communauté scientifique internationale la teste, la conteste,
la réfute ou la conforte à l’épreuve des expérimentations, alors que les
complotismes ne font que se renforcer dans des bulles.
iv Comme chez
Darwin, il n’y a aucun finalisme chez Valiant, aucune « main
invisible » ne guide l’émergence d’une vie de plus en plus complexe, nous
sommes dans le cadre strict de la science.
v Une espèce à
la dérive, au sens de soumise aux flots de l’évolution.
vi Cette
attitude pourrait paraître désinvolte au regard de la démarche d’un cogniticien
comme Daniel Andler, auteur du récent et épais ouvrage Intelligence
artificielle, intelligence humaine : la double énigme (collection NRF
Essais, Gallimard, 2023). C’est que les buts différents. Valiant s’intéresse
aux principes et D. Andler décortique les détails d’une comparaison. S’il
s’agissait du vol, le premier étudierait l’aérodynamique et le second
comparerait la texture des plumes d’oiseaux à la courbure des ailes d’avions.
vii A Theory of the Learnable CACM, 1984, volume 27, numéro 11, pages 1134-1142. C’est dans cet article fondateur que l’on trouve l’exposé le plus clair des
motivations, qui sont déjà dans la perspective du présent ouvrage.
Entre temps, L. Vaillant avait publié en 2013 Probably Approximately
Correct: Nature’s Algorithms for Learning and Prospering in a Complex World,
traduit en français en 2018 avec une préface de Cédric Villani (Editions
Vuibert Cassini). Dans cet ouvrage comme dans son exposé de remise du prix
Turing (https://amturing.acm.org/ ),
Valiant met l’accent sur l’apprentissage computationnel du vivant, notamment au
niveau génétique.
viii Valiant
précise que pour lui, l’évolution n’est pas comme un calcul informatique, c’est
un calcul.
ix Ainsi
apprendre par cœur des mots de passe ne dit rien sur les autres mots de passe
ni sur la cryptographie.
x PAC capte précisément cette notion en termes d’outillage statistique.
xi Le cadre théorique est l’apprentissage en temps polynomial, ce qui
représente une classe d’algorithmes excluant les explosions combinatoires.
xii L’auteur introduit finalement le Mind’s Eye comme intégrateur des
fonctions précédentes. Cet « œil de l’esprit » s’apparente à la
capacité cognitive d’un individu de lier les acquis de l’histoire – la
condition humaine – à sa propre expérience. Cette notion reste vague, elle est
décrite en termes de métaphores informatiques, ce que l’on peut admettre
sachant que l’auteur ne considère que des fonctionnalités et non la façon de
les réaliser.
xiii Anecdote rapportée par Yann Le Cun.
xiv Cours de Stéphane Mallat, Chaire de Science des Données, Collège de
France.
xv Principe qui privilégie les causes simples.
xvi Le traitement du signal permet d’éliminer le bruit d’un signal, et là aussi le principe de parcimonie est un guide.