Série 1 (7/10)
Je continue à m’étonner :
Un phénomène s’est produit qui ne s’était peut-être jamais produit dans une machines auparavant. Un phénomène qui a surpris ceux ( les ingénieurs) qui l’ont provoqué en essayant d’améliorer leurs systèmes.
Un phénomène que l’on peut clairement qualifier d’émergent, puisqu’il n’était pas explicitement codé par les concepteurs de la machine. Ce phénomène c’est l’avénement de la compréhension et de la production du langage naturel.
J’insiste sur cette idée d’émergence.
Ceux que j’ai appelé les minimiseurs répètent inlassablement leur mantra : Mais les LLM ne font que prédire le mot le plus probable après le mot précédent.
Ils confondent là deux choses et font une grosse erreur de raisonnement.
– Prédire le mot le plus probable après le mot précédent, cela fait partie des méthodes d’entrainement des LLM. Mais le résultat effectif d’un processus d’entrainement peut évidemment dépasser la méthode d’entrainement.
– L’erreur de raisonnement : confondre deux niveaux de réalité, celui des mécanismes internes de fonctionnement d’un processus et celui du résultat global du processus lui-même. En faisant cette confusion, je pourrais dire, par exemple, que tous les échanges entre synapses dans le cerveau sont chimiques ou électriques et que le résultat ne peut donc être que chimique ou électrique. En aucun cas cognitif.
Un phénomène émergent est donc apparu dans un certain type d’architecture des machines, à partir d’une certaine taille et d’une certaine quantité de données utilisées pour entrainer ces machines. Autrement dit, un phénomène qualitatif a résulté d’un changement quantitatif.
Les milliards de paramètres qui régissent les relations entre les neurones artificiels de ces machines ont été réglés par apprentissage, pas directement par les humains qui fabriquent ces machines.
Nous sommes habitués à ce qu’une machine ne puisse faire que ce que les humains qui l’ont fabriquée ont prévu qu’elle fasse. Mais lorsque le fonctionnement interne de cette machine est réglée par apprentissage sur d’immenses bases de données, cela n’a plus de sens.
Je vais donc explorer les implications du phénomène émergent qui résulte de cette méthode de « fabrication » (on voit bien que le mot ici est insatisfaisant) des LLM.
Je ne commence pas par les implications sociales ou sociétales, possiblement très négatives ( du type « »société de surveillance » grâce à la reconnaissance faciales, armes autonomes, etc…).
Je vais plutôt d’abord m’intéresser aux implications philosophiques et scientifiques du fait que des machines « manipulent du sens ».
Qu’est-ce que cela doit faire bouger dans les sciences cognitives et celles du langage, par exemple.
Et je vais faire entrer Chat GPT dans le jeu.