Je continue \u00e0 m’\u00e9tonner :
Un ph\u00e9nom\u00e8ne s’est produit qui ne s’\u00e9tait peut-\u00eatre jamais produit dans une machines auparavant. Un ph\u00e9nom\u00e8ne qui a surpris ceux ( les ing\u00e9nieurs) qui l’ont provoqu\u00e9 en essayant d’am\u00e9liorer leurs syst\u00e8mes.
Un ph\u00e9nom\u00e8ne que l’on peut clairement qualifier d’\u00e9mergent, puisqu’il n’\u00e9tait pas explicitement cod\u00e9 par les concepteurs de la machine. Ce ph\u00e9nom\u00e8ne c’est l’av\u00e9nement de la compr\u00e9hension et de la production du langage naturel.
<\/p>\n\n\n\n\n\n\n\n
J’insiste sur cette id\u00e9e d’\u00e9mergence.
Ceux que j’ai appel\u00e9 les minimiseurs r\u00e9p\u00e8tent inlassablement leur mantra : Mais les LLM ne font que pr\u00e9dire le mot le plus probable apr\u00e8s le mot pr\u00e9c\u00e9dent.
Ils confondent l\u00e0 deux choses et font une grosse erreur de raisonnement.
– Pr\u00e9dire le mot le plus probable apr\u00e8s le mot pr\u00e9c\u00e9dent, cela fait partie des m\u00e9thodes d’entrainement des LLM. Mais le r\u00e9sultat effectif d’un processus d’entrainement peut \u00e9videmment d\u00e9passer la m\u00e9thode d’entrainement.
– L’erreur de raisonnement : confondre deux niveaux de r\u00e9alit\u00e9, celui des m\u00e9canismes internes de fonctionnement d’un processus et celui du r\u00e9sultat global du processus lui-m\u00eame. En faisant cette confusion, je pourrais dire, par exemple, que tous les \u00e9changes entre synapses dans le cerveau sont chimiques ou \u00e9lectriques et que le r\u00e9sultat ne peut donc \u00eatre que chimique ou \u00e9lectrique. En aucun cas cognitif.
Un ph\u00e9nom\u00e8ne \u00e9mergent est donc apparu dans un certain type d’architecture des machines, \u00e0 partir d’une certaine taille et d’une certaine quantit\u00e9 de donn\u00e9es utilis\u00e9es pour entrainer ces machines. Autrement dit, un ph\u00e9nom\u00e8ne qualitatif a r\u00e9sult\u00e9 d’un changement quantitatif.
Les milliards de param\u00e8tres qui r\u00e9gissent les relations entre les neurones artificiels de ces machines ont \u00e9t\u00e9 r\u00e9gl\u00e9s par apprentissage, pas directement par les humains qui fabriquent ces machines.
Nous sommes habitu\u00e9s \u00e0 ce qu’une machine ne puisse faire que ce que les humains qui l’ont fabriqu\u00e9e ont pr\u00e9vu qu’elle fasse. Mais lorsque le fonctionnement interne de cette machine est r\u00e9gl\u00e9e par apprentissage sur d’immenses bases de donn\u00e9es, cela n’a plus de sens.
Je vais donc explorer les implications du ph\u00e9nom\u00e8ne \u00e9mergent qui r\u00e9sulte de cette m\u00e9thode de \u00ab\u00a0fabrication\u00a0\u00bb (on voit bien que le mot ici est insatisfaisant) des LLM.
Je ne commence pas par les implications sociales ou soci\u00e9tales, possiblement tr\u00e8s n\u00e9gatives ( du type \u00ab\u00a0\u00a0\u00bbsoci\u00e9t\u00e9 de surveillance\u00a0\u00bb gr\u00e2ce \u00e0 la reconnaissance faciales, armes autonomes, etc\u2026).
Je vais plut\u00f4t d’abord m’int\u00e9resser aux implications philosophiques et scientifiques du fait que des machines \u00ab\u00a0manipulent du sens\u00a0\u00bb.
Qu’est-ce que cela doit faire bouger dans les sciences cognitives et celles du langage, par exemple.
Et je vais faire entrer Chat GPT dans le jeu.<\/p>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
S\u00e9rie 1 (7\/10) Je continue \u00e0 m’\u00e9tonner :Un ph\u00e9nom\u00e8ne s’est produit qui ne s’\u00e9tait peut-\u00eatre jamais produit dans une machines auparavant. Un ph\u00e9nom\u00e8ne qui a surpris ceux ( les ing\u00e9nieurs) qui l’ont provoqu\u00e9 en essayant d’am\u00e9liorer leurs syst\u00e8mes. Un ph\u00e9nom\u00e8ne que l’on peut clairement qualifier d’\u00e9mergent, puisqu’il n’\u00e9tait pas explicitement cod\u00e9 par les concepteurs de […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-131","post","type-post","status-publish","format-standard","hentry","category-uncategorized","post-preview"],"_links":{"self":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/131","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/comments?post=131"}],"version-history":[{"count":12,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/131\/revisions"}],"predecessor-version":[{"id":435,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/131\/revisions\/435"}],"wp:attachment":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/media?parent=131"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/categories?post=131"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/tags?post=131"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}