Série 2 (6/7 – commentaire)
Je trouve que, à travers les réponses de Chat GPT dans cette partie, on commence à mieux voir ce que sont et ce que font les LLM.
Après leur phase d’apprentissage et d’entraînement, on peut dire qu’ils ont intégré, dans leur structure même, les régularités souterraines du langage qui nous permettent de communiquer de façon complexe.
Ils ont internalisé -outre le vocabulaire- les structures grammaticales, les schémas narratifs, les formes de raisonnement. C’est pour cela qu’ils peuvent, comme le fait Chat GPT dans ce texte et dans les autres, répondre à des interrogations, expliquer argumenter, ou ailleurs, inventer des histoires, ou bien résumer, ou encore traduire.
Une première conclusion proposée dans ce texte : un modèle de langage est donc un système qui s’accorde aux structures du langage en les internalisant sous forme de probabilités.
On est loin des idées couramment entendues : ils prédisent le mot suivant le plus probable ou bien ils se contentent de chercher les réponses dans des textes déjà écrits.
Une autre conclusion du texte élaboré par Chat GPT : un modèle de langage est un système qui apprend à reproduire les régularités du langage et, ce faisant, accède à une partie des structures de l’intelligence humaine.
Dans le billet suivant, on va voir une autre façon de parler de ces structures internalisées, en passant par un détour mathématique.