Dans le langage, il y a bien sûr des structures grammaticales.
Mais il y a aussi des structures sémantiques : des associations plus ou moins fortes entre des mots, des relations d’opposition, de parallélisme, etc…
Les ingénieurs qui gèrent les LLM ont la possibilité d’observer -au moins partiellement- la façon dont les informations sont organisées au sein des réseaux de neurones artificiels qui sont au cœur de ces machines.
Ils y retrouvent ces structures du langage.
Nous allons voir ici quelques-unes de ces structures et l’éclairage qu’elles apportent sur les LLM.

Continue reading