J\u2019attaque donc tout de suite le sujet \u00e9voqu\u00e9 \u00e0 la fin du premier billet.\u2028
J\u2019aborderai bien d\u2019autres aspects des LLM, les \u201cLarge langage models\u201d. \u2028Mais je dois m\u2019arr\u00eater sur cette r\u00e9action qui m\u2019a fait sursauter d\u00e8s 2024, celle des nombreux \u201csachants\u201d, chercheurs dans le domaine num\u00e9rique ou philosophes.
<\/p>\n\n\n\n\n\n\n\n
En voici l\u2019id\u00e9e g\u00e9n\u00e9rale : <\/p>\n","protected":false},"excerpt":{"rendered":" S\u00e9rie 1 (2\/10) J\u2019attaque donc tout de suite le sujet \u00e9voqu\u00e9 \u00e0 la fin du premier billet.\u2028J\u2019aborderai bien d\u2019autres aspects des LLM, les \u201cLarge langage models\u201d. \u2028Mais je dois m\u2019arr\u00eater sur cette r\u00e9action qui m\u2019a fait sursauter d\u00e8s 2024, celle des nombreux \u201csachants\u201d, chercheurs dans le domaine num\u00e9rique ou philosophes.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-12","post","type-post","status-publish","format-standard","hentry","category-uncategorized","post-preview"],"_links":{"self":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/12","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/comments?post=12"}],"version-history":[{"count":19,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/12\/revisions"}],"predecessor-version":[{"id":560,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/12\/revisions\/560"}],"wp:attachment":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/media?parent=12"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/categories?post=12"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/tags?post=12"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
Un LLM serait un ensemble de proc\u00e9dures standardis\u00e9es et pr\u00e9dictives<\/strong>, qui visent \u00e0 engendrer les expressions les plus probables sur la base des moyennes des expressions pass\u00e9es<\/strong>. Les grands mod\u00e8les de langage fonctionnent donc de mani\u00e8re probabiliste<\/strong> : lorsque vous posez une question \u00e0 ChatGPT, le logiciel calcule les mots les plus probables venant apr\u00e8s les mots de votre requ\u00eate, un peu comme les logiciels d\u2019auto-compl\u00e9tion des t\u00e9l\u00e9phones portables ou des moteurs de recherche, qui compl\u00e8tent automatiquement les messages ou les requ\u00eates en fonction des messages ou des requ\u00eates les plus r\u00e9pandus, donc en se fondant sur des moyennes de donn\u00e9es pass\u00e9es.
C’est la fameuse formule du \u00ab\u00a0perroquet stochastique\u00a0\u00bb<\/strong> : l’IA r\u00e9p\u00e8te ce qui a d\u00e9j\u00e0 \u00e9t\u00e9 dit, en utilisant des probabilit\u00e9s.
J\u2019ai entendu ce genre de propos, par exemple, dans la bouche d\u2019un sp\u00e9cialiste reconnu, lors d\u2019une conf\u00e9rence, apr\u00e8s que le pr\u00e9sentateur de la conf. ait cit\u00e9 (comme je l\u2019ai fait moi-m\u00eame dans des circonstances analogues) une r\u00e9ponse d\u2019un LLM \u00e0 une question un peu subtile. R\u00e9ponse particuli\u00e8rement brillante qui \u00e0 l\u2019\u00e9vidence \u00e9tait tout autre chose qu\u2019une \u00ab moyenne de donn\u00e9es pass\u00e9es \u00bb.
Encore une fois, ce premier type de r\u00e9action est celui qu\u2019adoptent ou ont adopt\u00e9 beaucoup d\u2019experts au sujet des IA.
Cette attitude est marqu\u00e9e par le souci de minimiser ce qui se passe avec les LLM. On peut la caricaturer avec la formule \u201ccirculez, il n\u2019y a rien \u00e0 voir\u201d<\/strong>. Ou en tout cas rien de bien extraordinaire.
Or, cela est faux. Il s’est bien pass\u00e9 quelque chose de nouveau et d’inattendu avec les LLM. Ce que l’on appelle un ph\u00e9nom\u00e8ne \u00e9mergent<\/strong>. On l’expliquera dans les billets 8<\/a> et 9 de cette s\u00e9rie.
Mais auparavant, on essayera d\u2019examiner les raisons<\/strong> qui peuvent animer les experts<\/a> lorsqu’ils s’appliquent \u00e0 minimiser ce qui s’est pass\u00e9.
Pour plus de simplicit\u00e9, je les appelerai d’ailleurs \u00ab les minimiseurs<\/strong> \u00bb.<\/p>\n\n\n\n