Que retenir de ce long \u00e9change de la partie 4\/7 ?<\/strong> Puis une autre formulation<\/strong> suit : S\u00e9rie 2 (4\/7 \u2013 commentaire) Que retenir de ce long \u00e9change de la partie 4\/7 ?L’enjeu que j’avais propos\u00e9 \u00e9tait de nommer et d\u00e9crire plus pr\u00e9cis\u00e9ment les capacit\u00e9s langagi\u00e8res qui apparaissent dans les LLM, \u00e0 partir d’une certaine taille et avec une structure suffisamment complexe cr\u00e9\u00e9e par apprentissage.Une premi\u00e8re formule appara\u00eet dans les propositions de […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-503","post","type-post","status-publish","format-standard","hentry","category-uncategorized","post-preview"],"_links":{"self":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/503","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/comments?post=503"}],"version-history":[{"count":3,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/503\/revisions"}],"predecessor-version":[{"id":506,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/503\/revisions\/506"}],"wp:attachment":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/media?parent=503"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/categories?post=503"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/tags?post=503"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
L’enjeu que j’avais propos\u00e9 \u00e9tait de nommer et d\u00e9crire plus pr\u00e9cis\u00e9ment les capacit\u00e9s langagi\u00e8res qui apparaissent dans les LLM, \u00e0 partir d’une certaine taille et avec une structure suffisamment complexe cr\u00e9\u00e9e par apprentissage.
Une premi\u00e8re formule<\/strong> appara\u00eet dans les propositions de Chat GPT : \u00ab\u00a0l’\u00e9mergence d\u2019une capacit\u00e9 de manipulation g\u00e9n\u00e9rative du langage qui produit des effets analogues \u00e0 certaines formes d\u2019intelligence\u00a0\u00bb.<\/p>\n\n\n\n\n\n\n\n
\u00ab\u00a0Certaines structures suffisamment riches, organis\u00e9es et contraignantes (comme le langage, les math\u00e9matiques, ou certains syst\u00e8mes symboliques), lorsqu\u2019elles sont internalis\u00e9es par un syst\u00e8me d\u2019apprentissage assez puissant, peuvent engendrer des capacit\u00e9s g\u00e9n\u00e9ratives et de g\u00e9n\u00e9ralisation qui produisent des effets d\u2019intelligence.\u00a0\u00ab\u00a0
Cette deuxi\u00e8me formule est int\u00e9ressante. D’abord, avec l’id\u00e9e que les structures sont internalis\u00e9es.<\/strong>
On entre ici un peu dans le ventre de la machine qui n’est plus seulement en train de faire un b\u00eate calcul probabiliste, mais \u00e0 r\u00e9ussi \u00e0 \u00ab\u00a0capturer\u00a0\u00bb des formes, des propri\u00e9t\u00e9s, des \u00ab\u00a0patterns\u00a0\u00bb internes au langage.
Ensuite avec une autre id\u00e9e : tout cela ne se limite pas au langage, mais peut \u00eatre dit, par exemple, \u00e0 propos des math\u00e9matiques.
Au passage, j’ai demand\u00e9 \u00e0 Chat GPT d’\u00e9voquer un peu les d\u00e9bats en cours<\/strong> sur ces sujets, dans le monde de la recherche. On voit lors s’opposer le point de vue fonctionnaliste<\/strong> qui n’h\u00e9site pas \u00e0 dire : si la machine se comporte comme si elle comprenait, il faut prendre cela au s\u00e9rieux et ceux qui insistent toujours sur les notions d’intention ou de conscience.
A la fin, j’interroge Chat GPT sur l’origine de l’expression \u00ab\u00a0capacit\u00e9 de manipulation g\u00e9n\u00e9rative des structures symboliques\u00a0\u00bb qu’il emploie. A-t-il \u00e9t\u00e9 la p\u00eacher chez un auteur humain, ou l’a-t-il cr\u00e9\u00e9e lui-m\u00eame. Il dit qu’il l’a cr\u00e9\u00e9e et explique par quel cheminement.
Un LLM n’est donc pas un simple syst\u00e8me probabiliste, ni un simple moteur de recherche qui va chercher la r\u00e9ponse aux questions difficiles chez les bons auteurs.
Continuons \u00e0 pr\u00e9ciser notre vision des LLM\u2026<\/p>\n","protected":false},"excerpt":{"rendered":"