Dans le langage, il y a bien sûr des structures grammaticales.
Mais il y a aussi des structures sémantiques : des associations plus ou moins fortes entre des mots, des relations d’opposition, de parallélisme, etc…
Les ingénieurs qui gèrent les LLM ont la possibilité d’observer -au moins partiellement- la façon dont les informations sont organisées au sein des réseaux de neurones artificiels qui sont au cœur de ces machines.
Ils y retrouvent ces structures du langage.
Nous allons voir ici quelques-unes de ces structures et l’éclairage qu’elles apportent sur les LLM.
Examinons donc d’abord quelques exemples de ces structures :
- des relations partie → tout
:
page → livre ; branche → arbre ; doigt → main - des relations d’opposition assez concrètes :
chaud ↔ froid ; jour ↔ nuit ; vie ↔ mort ; présence ↔ absence - des relations d’opposition plus abstraites :
nature ↔ culture ; ordre ↔ désordre ; universel ↔ particulier - des relations de transformation :
graine → arbre ; enfant → adulte ; matière première → produit - Et bien d’autres encore, comme des relations causales, des relations de dépendance sociale,…
- Et ces relations peuvent s’emboîter :
problème → hypothèse → argument → conclusion - Mais aussi se superposer :
Dans une phrase comme « Le professeur transmet un savoir à l’élève. »
On peut voir simultanément : - une structure grammaticale : sujet → verbe → objet
- une relation sociale : professeur → élève
- une relation de transfert : source → destinataire
- une relation causale : enseignement → apprentissage
- une relation temporelle : avant l’enseignement → après l’enseignement
- une relation asymétrique : celui qui sait → celui qui apprend
En considérant toutes ces relations et structures qui tissent le langage, et en sachant qu’elles sont également présentes dans les LLM (acquises lors de leur phase d’apprentissage), on entrevoit comment et pourquoi ceux-ci arrivent à manipuler ce langage en argumentant de manière intelligente.
Le langage contient, en lui même, une forme de grammaire du raisonnement discursif.
Si les LLM parviennent à converser avec des humains de manière sensée, c’est donc d’abord grâce au langage lui-même.
En naviguant de manière probabiliste, et en fonction du contexte, dans les vastes espaces des structures sémantiques du langage, ces LLM en extraient la substantifique moëlle, ce que nous appelons l’intelligence.