Série 2 (4/7 – commentaire)

Que retenir de ce long échange de la partie 4/7 ?
L’enjeu que j’avais proposé était de nommer et décrire plus précisément les capacités langagières qui apparaissent dans les LLM, à partir d’une certaine taille et avec une structure suffisamment complexe créée par apprentissage.
Une première formule apparaît dans les propositions de Chat GPT : « l’émergence d’une capacité de manipulation générative du langage qui produit des effets analogues à certaines formes d’intelligence ».

Puis une autre formulation suit :
« Certaines structures suffisamment riches, organisées et contraignantes (comme le langage, les mathématiques, ou certains systèmes symboliques), lorsqu’elles sont internalisées par un système d’apprentissage assez puissant, peuvent engendrer des capacités génératives et de généralisation qui produisent des effets d’intelligence. « 
Cette deuxième formule est intéressante. D’abord, avec l’idée que les structures sont internalisées.
On entre ici un peu dans le ventre de la machine qui n’est plus seulement en train de faire un bête calcul probabiliste, mais à réussi à « capturer » des formes, des propriétés, des « patterns » internes au langage.
Ensuite avec une autre idée : tout cela ne se limite pas au langage, mais peut être dit, par exemple, à propos des mathématiques.
Au passage, j’ai demandé à Chat GPT d’évoquer un peu les débats en cours sur ces sujets, dans le monde de la recherche. On voit lors s’opposer le point de vue fonctionnaliste qui n’hésite pas à dire : si la machine se comporte comme si elle comprenait, il faut prendre cela au sérieux et ceux qui insistent toujours sur les notions d’intention ou de conscience.
A la fin, j’interroge Chat GPT sur l’origine de l’expression « capacité de manipulation générative des structures symboliques » qu’il emploie. A-t-il été la pêcher chez un auteur humain, ou l’a-t-il créée lui-même. Il dit qu’il l’a créée et explique par quel cheminement.
Un LLM n’est donc pas un simple système probabiliste, ni un simple moteur de recherche qui va chercher la réponse aux questions difficiles chez les bons auteurs.
Continuons à préciser notre vision des LLM…