Je suis dans un parc.
J’observe les deux personnes qui parlent là bas, de l’autre coté de la pelouse.
Je vois leurs bouches s’ouvrir et se fermer sur un rythme rapide.
Je sais qu’il en sort des petits sons, mais je suis trop loin pour les entendre.
J’observe que leurs mains s’agitent par moment aussi.
Je reprends la fin du billet précédent : les machines que nous fabriquons sont utiles pour effectuer des travaux concrets, mais elles nous servent aussi de supports métaphoriques pour nous penser nous-mêmes.
Une machine classique comme une locomotive ou une machine de chantier nous offre un modèle de ce qui nous permet de nous mouvoir et d’agir physiquement sur le monde : comme elles, nous sommes animés par une sorte de moteur, lui-même mis en mouvement par un phénomène de combustion.
Lorsqu’on répète à l’envi, face aux LLM : « mais, ce n’est pas une vraie intelligence », « c’est une simulation d’intelligence », « si on dit que la machine raisonne, alors on peut dire qu’un grille pain calcule », etc… il y a bien sûr un contenu implicite, un sous-entendu, non remis en question dans ces propos.
Continue readingJ’ai parlé fréquemment dans ce blog des réactions visant à discréditer les LLM, en particulier les réactions de ceux (souvent des experts du numérique ou des philosophes) que j’ai appelés « les minimiseurs ». J’ai cherché à expliquer ces réactions, par exemple ici.
Mais j’ai peut-être sous-estimé l’ampleur ou la profondeur de cette réaction.
J’entame, en ce début d’été caniculaire, une troisième série de billets, peut-être plus incertaine que les deux séries précédentes, dans laquelle je vais tenter d’analyser ce que l’existence des LLM et la compréhension de leur mode de fonctionnement change en moi et va changer aussi probablement dans la façon dont nous nous pensons nous-mêmes.
Continue readingCe billet sur la vectorialisaton du langage interne aux LLM aura sans doute rebuté celles et ceux qui ne parlent pas trop le langage mathématique.
Il n’est pas forcément facile d’imaginer ces vecteurs et leurs relations dans un espace à mille dimensions (ou plus).
Pour celles et ceux qui connaissent mieux les vecteurs, la description de la modélisation, faite dans le billet précédent (6/7) devient plus concrète.
Moi : Certaines présentations de cette modélisation du langage donnent la description suivante : Les mots sont encodés comme des vecteurs dans un espace à plusieurs milliers de dimensions. Le résultat du deap learning, c’est l’agencement de tous ces vecteurs au cours d’un processus d’auto-organisation.
Est-ce que cette description te paraît juste ?
Je trouve que, à travers les réponses de Chat GPT dans cette partie, on commence à mieux voir ce que sont et ce que font les LLM.
Après leur phase d’apprentissage et d’entraînement, on peut dire qu’ils ont intégré, dans leur structure même, les régularités souterraines du langage qui nous permettent de communiquer de façon complexe.
Moi : Nous avons vu les LLM comme faisant « fonctionner » le langage », nous les avons vus comme apprenant les régularités du langage, comme le font les jeunes humains, nous les avons vus comme capables de manipulation générative des structures symboliques, nous les avons vus comme pouvant entrer dans une forme de couplage structurel, pourrais-tu les décrire comme modèles de langage ?
Après tout c’est leur nom, mais que veut-il dire plus précisément ? Autrement dit, comment le langage est-il modélisé et pourquoi cela produit-il des effets d’intelligence ?
L’idée de résonance que j’ai lancée au début du billet précédent m’a été suggérée par le titre d’un colloque auquel j’avais prévu d’assister ensuite : « Grands modèles de langue : résonance ou raisonnement ? ».
Continue readingMoi : La phrase la plus intéressante me semble-t-il dans tout ce que tu viens de dire est : « Certaines structures suffisamment riches, organisées et contraignantes (comme le langage, les mathématiques, ou certains systèmes symboliques), lorsqu’elles sont internalisées par un système d’apprentissage assez puissant, peuvent engendrer des capacités génératives et de généralisation qui produisent des effets d’intelligence. »
J’aurais envie de l’approfondir en introduisant une idée nouvelle.
Que retenir de ce long échange de la partie 4/7 ?
L’enjeu que j’avais proposé était de nommer et décrire plus précisément les capacités langagières qui apparaissent dans les LLM, à partir d’une certaine taille et avec une structure suffisamment complexe créée par apprentissage.
Une première formule apparaît dans les propositions de Chat GPT : « l’émergence d’une capacité de manipulation générative du langage qui produit des effets analogues à certaines formes d’intelligence ».
Moi : Dans un autre chat, tu parlais de phénomène émergent c’est-à-dire de compétences non présentes dans les petits modèles de langage, mais qui apparaissent brutalement quand la taille (paramètres + données + puissance de calcul) dépasse un seuil. Tu sembles ne plus l’envisager dans ce chat. Pour moi, c’est l’idée qu’il se passe quelque chose de difficile à cerner lorsque la rencontre a lieu (chez l’humain comme chez une IA récente) entre un certain dispositif neuronale et le langage. Ce phénomène émergent et difficile à cerner, comment pourrait-on le qualifier ?
Continue reading« Au lieu d’essayer de produire un programme qui simule l’esprit de l’adulte, pourquoi ne pas plutôt essayer de produire un programme qui simule celui de l’enfant ? » disait Alan Turing en 1930
Continue readingMoi : En regardant les choses d’un point de vue fonctionnel, peut-on comparer ce qui se passe dans une IA récente dont les « structures neuronales » et les mécanismes d’attention sont appropriés et qui par ailleurs est « nourrie » avec une très grande quantité de données textuelles, peut-on comparer, donc, avec ce qui se passe pour un jeune humain qui baigne dans le langage depuis sa naissance et dont les liaisons neuronales s’adaptent au fur et à mesure pour comprendre ce langage, tandis qu’il acquiert et mémorise peu à peu le maniement de ce langage ?
Continue readingOn commence à sentir plus concrètement, dans le dialogue précédent, comment l’existence des LLM, va nous obliger à déplacer notre point de vue sur nous-mêmes.
Continue readingMoi : Est-ce qu’on pourrait appliquer aux IA génératives ce que Lacan dit des humains à savoir que ce ne sont pas elles qui parlent, mais le langage qui parle en elles ?
Chat GPT : L’analogie est tentante… mais si on la prend au sérieux, il faut aussi voir où elle tient et où elle casse.
Voilà j’ai abordé cette conversation, en parlant des blessures narcissiques de l’humanité, telle que Freud les imaginait.
Au passage, je me suis senti tout à fait en accord avec les critiques faites à Freud, telles que Chat GPT les rapporte.
Je pensais continuer dans une autre direction (évoquée à la fin de ce billet), mais Lacan nous a ramené aux LLM, par un autre chemin, en parlant du langage.
Et j’ai immédiatement continué sur ce sujet.
Moi : Dans quel livre de Freud se trouve son idée des trois blessures narcissiques ?
GPT : L’idée des « trois blessures narcissiques » n’apparaît pas sous forme d’un exposé systématique dans un seul livre de Sigmund Freud, mais il en parle clairement dans un texte précis : 👉 Une difficulté de la psychanalyse (Eine Schwierigkeit der Psychoanalyse, 1917).
Continue readingJ’ai mis ce blog en pause pendant quelque temps, tout en continuant à creuser le sujet des LLM.
En ce mois d’avril 26, je reprends avec une série de questions que j’ai posées à Chat GPT. En fait, c’était une seule conversation, sur plusieurs jours, que j’ai découpée ici en 7 parties.
Après chaque partie, j’apporte un commentaire.
Je commence la conversation en parlant de Freud.…
Theme by Anders Noren — Up ↑