Ce billet sur la vectorialisaton du langage<\/strong> interne aux LLM aura sans doute rebut\u00e9 celles et ceux qui ne parlent pas trop le langage math\u00e9matique. On peut maintenant dire que c’est la g\u00e9om\u00e9trie interne du LLM<\/strong> qui capture les \u00e9l\u00e9ments structurants<\/strong> du langage : grammaire, sch\u00e9mas narratifs, formes de raisonnement (voir le billet pr\u00e9c\u00e9dent). Dans cette g\u00e9om\u00e9trie, les relations entre vecteurs correspondent aux relations dans le langage. <\/p>\n","protected":false},"excerpt":{"rendered":" S\u00e9rie 2 (7\/7 – commentaire) Ce billet sur la vectorialisaton du langage interne aux LLM aura sans doute rebut\u00e9 celles et ceux qui ne parlent pas trop le langage math\u00e9matique.Il n’est pas forc\u00e9ment facile d’imaginer ces vecteurs et leurs relations dans un espace \u00e0 mille dimensions (ou plus).Pour celles et ceux qui connaissent mieux les […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-539","post","type-post","status-publish","format-standard","hentry","category-uncategorized","post-preview"],"_links":{"self":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/539","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/comments?post=539"}],"version-history":[{"count":5,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/539\/revisions"}],"predecessor-version":[{"id":546,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/posts\/539\/revisions\/546"}],"wp:attachment":[{"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/media?parent=539"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/categories?post=539"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/philippethomine.net\/index.php\/wp-json\/wp\/v2\/tags?post=539"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
Il n’est pas forc\u00e9ment facile d’imaginer ces vecteurs et leurs relations dans un espace \u00e0 mille dimensions (ou plus).
Pour celles et ceux qui connaissent mieux les vecteurs, la description de la mod\u00e9lisation<\/strong>, faite dans le billet pr\u00e9c\u00e9dent (6\/7) devient plus concr\u00e8te.<\/p>\n\n\n\n\n\n\n\n
Une analogie est \u00e9voqu\u00e9e : Cette structure vectorielle serait, un peu, au langage ce que la carte est au territoire.
Et un exemple ultra simple est donn\u00e9 : vecteur(\u00ab roi \u00bb) \u2212 vecteur(\u00ab homme \u00bb) + vecteur(\u00ab femme \u00bb) \u2248 vecteur(\u00ab reine \u00bb).
Dans la deuxi\u00e8me partie du dialogue, je pose \u00e0 Chat GPT des questions plus techniques sur cette vectorialisation du langage, et la fa\u00e7on dont elle nous permet d’observer plus pr\u00e9cis\u00e9ment les structures internes des LLM.
On voit dans cette g\u00e9om\u00e9trie, par exemple, des analogies, des regroupements s\u00e9mantiques, des hi\u00e9rarchies implicites. En un mot une grande richesse de formes internes au langage qui sont l\u00e0, captur\u00e9 par les LLM.
Tout cela rend plus concret l’id\u00e9e de mod\u00e9lisation du langage et aide \u00e0 comprendre son efficacit\u00e9. Voir le billet 6\/7<\/strong> de cette s\u00e9rie (qui se termine ici). Ce billet 6\/7, sur la mod\u00e9lisation, est pour moi le plus important et le plus utile de la s\u00e9rie.<\/p>\n\n\n\n