Série 2 (7/7 – commentaire)
Ce billet sur la vectorialisaton du langage interne aux LLM aura sans doute rebuté celles et ceux qui ne parlent pas trop le langage mathématique.
Il n’est pas forcément facile d’imaginer ces vecteurs et leurs relations dans un espace à mille dimensions (ou plus).
Pour celles et ceux qui connaissent mieux les vecteurs, la description de la modélisation, faite dans le billet précédent (6/7) devient plus concrète.
On peut maintenant dire que c’est la géométrie interne du LLM qui capture les éléments structurants du langage : grammaire, schémas narratifs, formes de raisonnement (voir le billet précédent). Dans cette géométrie, les relations entre vecteurs correspondent aux relations dans le langage.
Une analogie est évoquée : Cette structure vectorielle serait, un peu, au langage ce que la carte est au territoire.
Et un exemple ultra simple est donné : vecteur(« roi ») − vecteur(« homme ») + vecteur(« femme ») ≈ vecteur(« reine »).
Dans la deuxième partie du dialogue, je pose à Chat GPT des questions plus techniques sur cette vectorialisation du langage, et la façon dont elle nous permet d’observer plus précisément les structures internes des LLM.
On voit dans cette géométrie, par exemple, des analogies, des regroupements sémantiques, des hiérarchies implicites. En un mot une grande richesse de formes internes au langage qui sont là, capturé par les LLM.
Tout cela rend plus concret l’idée de modélisation du langage et aide à comprendre son efficacité. Voir le billet 6/7 de cette série (qui se termine ici). Ce billet 6/7, sur la modélisation, est pour moi le plus important et le plus utile de la série.