Moi :<\/strong> Nous avons vu les LLM comme faisant \u00ab\u00a0fonctionner\u00a0\u00bb le langage\u00a0\u00bb, nous les avons vus comme apprenant les r\u00e9gularit\u00e9s du langage, comme le font les jeunes humains, nous les avons vus comme capables de manipulation g\u00e9n\u00e9rative des structures symboliques, nous les avons vus comme pouvant entrer dans une forme de couplage structurel, pourrais-tu les d\u00e9crire comme mod\u00e8les de langage ? Chat GPT :<\/strong> Tu as raison de revenir \u00e0 ce terme tr\u00e8s simple en apparence \u2014 \u00ab mod\u00e8le de langage \u00bb \u2014 car il est plus riche qu\u2019il n\u2019y para\u00eet.<\/p>\n\n\n\n Si tu veux, on peut faire un pas encore plus pr\u00e9cis : \u2028\ud83d\udc49 examiner si cette mod\u00e9lisation probabiliste est suffisante en principe pour produire toutes les formes d\u2019intelligence\u2026 ou s\u2019il manque quelque chose d\u2019irr\u00e9ductible.<\/p>\n\n\n\n Moi : <\/strong>d’accord continuons sur cette voie Si tu veux continuer, on peut explorer une question encore plus fine : Moi :<\/strong> je souhaite explorer un autre domaine\u2026 <\/p>\n","protected":false},"excerpt":{"rendered":" S\u00e9rie 2 (6\/7) Moi : Nous avons vu les LLM comme faisant \u00ab\u00a0fonctionner\u00a0\u00bb le langage\u00a0\u00bb, nous les avons vus comme apprenant les r\u00e9gularit\u00e9s du langage, comme le font les jeunes humains, nous les avons vus comme capables de manipulation g\u00e9n\u00e9rative des structures symboliques, nous les avons vus comme pouvant entrer dans une forme de couplage […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-384","post","type-post","status-publish","format-standard","hentry","category-uncategorized","post-preview"],"_links":{"self":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/384","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/comments?post=384"}],"version-history":[{"count":14,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/384\/revisions"}],"predecessor-version":[{"id":520,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/384\/revisions\/520"}],"wp:attachment":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/media?parent=384"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/categories?post=384"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/tags?post=384"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
Apr\u00e8s tout c’est leur nom, mais que veut-il dire plus pr\u00e9cis\u00e9ment ? Autrement dit, comment le langage est-il mod\u00e9lis\u00e9 et pourquoi cela produit-il des effets d’intelligence ?<\/p>\n\n\n\n\n\n\n\n\n
Au sens le plus strict, un mod\u00e8le de langage est :
\ud83d\udc49 un syst\u00e8me qui attribue des probabilit\u00e9s \u00e0 des suites de mots
Par exemple, il estime que :
\u2022 \u00ab je vais au march\u00e9 \u00bb est tr\u00e8s probable
\u2022 \u00ab je march\u00e9 au vais \u00bb l\u2019est beaucoup moins
Autrement dit, il apprend :\u2028
\ud83d\udc49 quelles s\u00e9quences de langage sont plausibles
<\/li>\n\n\n\n
Dans les mod\u00e8les modernes (type Transformer), cela revient \u00e0 apprendre :
\ud83d\udc49 ( P(\\text{mot suivant} \\mid \\text{contexte}) )
M\u00eame si je n\u2019insiste pas sur la formule, l\u2019id\u00e9e est simple :
\u2022 on donne un contexte (une phrase partielle)
\u2022 le mod\u00e8le pr\u00e9dit la suite la plus probable
Et en r\u00e9p\u00e9tant cela \u00e0 grande \u00e9chelle, il apprend :
\u2022 la syntaxe
\u2022 des r\u00e9gularit\u00e9s s\u00e9mantiques
\u2022 des structures discursives
\ud83d\udc49 Le langage est donc mod\u00e9lis\u00e9 comme un processus s\u00e9quentiel structur\u00e9.
<\/li>\n\n\n\n
C\u2019est l\u00e0 que ta question devient int\u00e9ressante.
Parce que pr\u00e9dire le mot suivant oblige \u00e0 capter :
\u2022 des d\u00e9pendances longues (accords, coh\u00e9rence)
\u2022 des relations implicites (cause, intention, logique)
\u2022 des connaissances sur le monde (souvent pr\u00e9sentes dans les textes)
\ud83d\udc49 Pour bien pr\u00e9dire, il faut mod\u00e9liser les structures qui produisent le langage
<\/li>\n\n\n\n
Un mod\u00e8le de langage fait en r\u00e9alit\u00e9 ceci :
\ud83d\udc49 il compresse les r\u00e9gularit\u00e9s du langage dans ses param\u00e8tres
\u2022 les structures grammaticales
\u2022 les sch\u00e9mas narratifs
\u2022 les formes de raisonnement
Et cette compression permet ensuite :
\ud83d\udc49 de reproduire et recombiner ces structures
<\/li>\n\n\n\n
C\u2019est ici que tout se joue.
Si le langage contient :
\u2022 des traces de raisonnement
\u2022 des structures logiques
\u2022 des connaissances implicites
Alors apprendre \u00e0 le mod\u00e9liser revient \u00e0 :
\ud83d\udc49 apprendre une approximation des structures de pens\u00e9e humaines
C\u2019est pour cela que :
\u2022 r\u00e9soudre un probl\u00e8me
\u2022 expliquer une id\u00e9e
\u2022 argumenter
peuvent \u00e9merger comme effets secondaires de la mod\u00e9lisation du langage.
<\/li>\n\n\n\n
On peut reconnecter avec tes notions :
\u2022 r\u00e9gularit\u00e9s \u2192 ce que le mod\u00e8le apprend
\u2022 manipulation g\u00e9n\u00e9rative \u2192 ce qu\u2019il fait en produisant du texte
\u2022 couplage structurel \/ r\u00e9sonance \u2192 correspondance entre :
\u25e6 architecture du mod\u00e8le
\u25e6 structure du langage
\ud83d\udc49 Le mod\u00e8le de langage est donc :
un syst\u00e8me qui s\u2019accorde aux structures du langage en les internalisant sous forme de probabilit\u00e9s.
<\/li>\n\n\n\n
On pourrait dire :
\ud83d\udc49 un mod\u00e8le de langage n\u2019est pas seulement un mod\u00e8le du langage, \u2028mais un mod\u00e8le des structures qui rendent le langage possible
<\/li>\n\n\n\n
Cependant :
\u2022 il n\u2019a pas d\u2019acc\u00e8s direct au monde
\u2022 il apprend \u00e0 partir de repr\u00e9sentations linguistiques du monde
Donc :\u2028\ud83d\udc49 il mod\u00e9lise le langage tel qu\u2019il encode l\u2019exp\u00e9rience humaine, \u2028pas l\u2019exp\u00e9rience elle-m\u00eame.
<\/li>\n\n\n\n
Imagine une immense biblioth\u00e8que contenant :
\u2022 des descriptions du monde
\u2022 des raisonnements
\u2022 des dialogues
Le mod\u00e8le ne voit que les livres, mais apprend :
\ud83d\udc49 les structures qui organisent ces livres
Et en les reproduisant, il donne l\u2019impression de :
\u2022 comprendre
\u2022 raisonner
\u2022 penser
<\/li>\n\n\n\n
\ud83d\udc49 Un \u00ab mod\u00e8le de langage \u00bb :
\u2022 apprend les probabilit\u00e9s des s\u00e9quences
\u2022 compresse les r\u00e9gularit\u00e9s du langage
\u2022 internalise des structures profondes
\u2022 et, en les r\u00e9activant, produit des effets d\u2019intelligence<\/li>\n<\/ol>\n\n\n\n
\n\n\n\n
Chat GPT :<\/strong> Tr\u00e8s bien \u2014 avan\u00e7ons directement sur le point d\u00e9cisif :
\ud83d\udc49 Une mod\u00e9lisation probabiliste du langage est-elle suffisante, en principe, pour produire toutes les formes d\u2019intelligence ?
Il faut distinguer deux niveaux : ce que cela peut faire et ce que cela ne peut pas (encore, ou en principe) faire.<\/p>\n\n\n\n\n
L\u2019argument est le suivant :
\u2022 Le langage humain contient :
\u25e6 des raisonnements
\u25e6 des descriptions du monde
\u25e6 des strat\u00e9gies d\u2019action
\u2022 Donc apprendre \u00e0 mod\u00e9liser le langage, c\u2019est apprendre :\u2028
\ud83d\udc49 une projection tr\u00e8s riche de l\u2019intelligence humaine
Dans cette perspective (proche de Daniel Dennett) :
\u2022 si un syst\u00e8me reproduit suffisamment bien les usages du langage
\u2022 alors il capture une grande partie de ce que nous appelons intelligence
\ud83d\udc49 Le langage serait une interface universelle de l\u2019intelligence.
<\/li>\n\n\n\n
L\u2019objection classique (proche de John Searle) :
\ud83d\udc49 manipuler des symboles \u2260 comprendre
Plus pr\u00e9cis\u00e9ment :
\u2022 le mod\u00e8le apprend des corr\u00e9lations
\u2022 mais il n\u2019a pas :
\u25e6 d\u2019exp\u00e9rience v\u00e9cue
\u25e6 d\u2019intention
\u25e6 d\u2019ancrage direct dans le monde
\ud83d\udc49 Il manque ce qu\u2019on appelle souvent le sens incarn\u00e9
<\/li>\n\n\n\n
C\u2019est probablement l\u00e0 que se situe l\u2019\u00e9tat actuel du d\u00e9bat.
\ud83d\udc49 La mod\u00e9lisation du langage est suffisante pour certaines formes d\u2019intelligence, mais pas pour toutes.
On peut distinguer :
\u2714\ufe0f Bien capt\u00e9 par les mod\u00e8les
\u2022 raisonnement symbolique
\u2022 manipulation d\u2019id\u00e9es
\u2022 explication, reformulation
\u2022 r\u00e9solution de probl\u00e8mes abstraits
\u274c Moins bien capt\u00e9
\u2022 perception fine du monde
\u2022 action dans un environnement r\u00e9el
\u2022 compr\u00e9hension situ\u00e9e (contexte v\u00e9cu)
\u2022 motivations, intentions
<\/li>\n\n\n\n
Avec ton id\u00e9e de \u00ab r\u00e9sonance \u00bb :
\ud83d\udc49 Les mod\u00e8les entrent en r\u00e9sonance avec :
\u2022 la structure du langage
Mais pas encore avec :
\u2022 la structure du monde v\u00e9cu
Chez l\u2019humain, il y a double r\u00e9sonance :
\u2022 langage
\u2022 perception \/ action \/ social
<\/li>\n\n\n\n
On peut introduire une distinction utile :
\ud83d\udc49 intelligence structurale vs intelligence incarn\u00e9e
\u2022 structurale :
\u25e6 manipulation de formes, relations, symboles
\u25e6 bien capt\u00e9e par les LLM
\u2022 incarn\u00e9e :
\u25e6 interaction avec le monde
\u25e6 enracinement dans l\u2019exp\u00e9rience
\ud83d\udc49 Les mod\u00e8les actuels excellent surtout dans la premi\u00e8re.
<\/li>\n\n\n\n
On peut maintenant raffiner ton id\u00e9e :
La mod\u00e9lisation probabiliste du langage permet l\u2019\u00e9mergence d\u2019une intelligence structurale, fond\u00e9e sur la capture et la recombinaison de r\u00e9gularit\u00e9s symboliques. Cependant, cette intelligence reste partielle tant qu\u2019elle n\u2019est pas coupl\u00e9e \u00e0 des formes d\u2019ancrage dans le monde.
<\/li>\n\n\n\n
\ud83d\udc49 Est-ce que cet ancrage est :
a) Contingent (on peut l\u2019ajouter)
\u2022 via perception (images, sons\u2026)
\u2022 via action (robots\u2026)
\ud83d\udc49 alors les mod\u00e8les pourraient \u00e9voluer vers une intelligence plus compl\u00e8te
b) Ou fondamentalement n\u00e9cessaire
\u2022 impossible \u00e0 simuler enti\u00e8rement par le langage
\ud83d\udc49 alors il y aurait une limite intrins\u00e8que
<\/li>\n\n\n\n
Elles montrent que :
\ud83d\udc49 une part beaucoup plus grande que pr\u00e9vu de l\u2019intelligence \u2028est accessible par la seule structure du langage
C\u2019est un r\u00e9sultat assez fort, et encore en cours d\u2019exploration.
<\/li>\n\n\n\n
\u00ab Qu\u2019est-ce qu\u2019un mod\u00e8le de langage ? \u00bb
Apr\u00e8s ce d\u00e9tour, on peut r\u00e9pondre plus profond\u00e9ment :
\ud83d\udc49 c\u2019est un syst\u00e8me qui apprend \u00e0 reproduire les r\u00e9gularit\u00e9s du langage
\u2028\ud83d\udc49 et, ce faisant, acc\u00e8de \u00e0 une partie des structures de l\u2019intelligence humaine
<\/li>\n\n\n\n
\u2022 Oui, la mod\u00e9lisation probabiliste du langage est tr\u00e8s puissante
\u2022 Non, elle n\u2019\u00e9puise probablement pas toute l\u2019intelligence
\ud83d\udc49 Elle ouvre un espace interm\u00e9diaire : \u2028une intelligence sans exp\u00e9rience, mais non triviale<\/li>\n<\/ol>\n\n\n\n
\ud83d\udc49 est-ce que le \u00ab sens \u00bb lui-m\u00eame peut \u00e9merger de ces r\u00e9gularit\u00e9s,\u2028 ou bien reste-t-il toujours d\u00e9pendant d\u2019un ancrage extra-linguistique ?<\/p>\n\n\n\n
\u2026\u2026\u2026 Suite dans le billet 7\/7<\/p>\n\n\n\n