Série 1 (2/10)
J’attaque donc tout de suite le sujet évoqué à la fin du premier billet.
J’aborderai bien d’autres aspects des LLM, les “Large langage models”.
Mais je dois m’arrêter sur cette réaction qui m’a fait sursauter dès 2024, celle des nombreux “sachants”, chercheurs dans le domaine numérique ou philosophes.
En voici l’idée générale :
Un LLM serait un ensemble de procédures standardisées et prédictives, qui visent à engendrer les expressions les plus probables sur la base des moyennes des expressions passées. Les grands modèles de langage fonctionnent donc de manière probabiliste : lorsque vous posez une question à ChatGPT, le logiciel calcule les mots les plus probables venant après les mots de votre requête, un peu comme les logiciels d’auto-complétion des téléphones portables ou des moteurs de recherche, qui complètent automatiquement les messages ou les requêtes en fonction des messages ou des requêtes les plus répandus, donc en se fondant sur des moyennes de données passées.
C’est la fameuse formule du « perroquet stochastique » : l’IA répète ce qui a déjà été dit, en utilisant des probabilités.
J’ai entendu ce genre de propos, par exemple, dans la bouche d’un spécialiste reconnu, lors d’une conférence, après que le présentateur de la conf. ait cité (comme je l’ai fait moi-même dans des circonstances analogues) une réponse d’un LLM à une question un peu subtile. Réponse particulièrement brillante qui à l’évidence était tout autre chose qu’une « moyenne de données passées ».
Encore une fois, ce premier type de réaction est celui qu’adoptent ou ont adopté beaucoup d’experts au sujet des IA.
Cette attitude est marquée par le souci de minimiser ce qui se passe avec les LLM. On peut la caricaturer avec la formule “circulez, il n’y a rien à voir”. Ou en tout cas rien de bien extraordinaire.
Or, cela est faux. Il s’est bien passé quelque chose de nouveau et d’inattendu avec les LLM. Ce que l’on appelle un phénomène émergent. On l’expliquera dans les billets 8 et 9 de cette série.
Mais auparavant, on essayera d’examiner les raisons qui peuvent animer les experts lorsqu’ils s’appliquent à minimiser ce qui s’est passé.
Pour plus de simplicité, je les appelerai d’ailleurs « les minimiseurs ».