Moi : Certaines présentations de cette modélisation du langage donnent la description suivante : Les mots sont encodés comme des vecteurs dans un espace à plusieurs milliers de dimensions. Le résultat du deap learning, c’est l’agencement de tous ces vecteurs au cours d’un processus d’auto-organisation.
Est-ce que cette description te paraît juste ?
Je trouve que, à travers les réponses de Chat GPT dans cette partie, on commence à mieux voir ce que sont et ce que font les LLM.
Après leur phase d’apprentissage et d’entraînement, on peut dire qu’ils ont intégré, dans leur structure même, les régularités souterraines du langage qui nous permettent de communiquer de façon complexe.
Moi : Nous avons vu les LLM comme faisant « fonctionner » le langage », nous les avons vus comme apprenant les régularités du langage, comme le font les jeunes humains, nous les avons vus comme capables de manipulation générative des structures symboliques, nous les avons vus comme pouvant entrer dans une forme de couplage structurel, pourrais-tu les décrire comme modèles de langage ?
Après tout c’est leur nom, mais que veut-il dire plus précisément ? Autrement dit, comment le langage est-il modélisé et pourquoi cela produit-il des effets d’intelligence ?
L’idée de résonance que j’ai lancée au début du billet précédent m’a été suggérée par le titre d’un colloque auquel j’avais prévu d’assister ensuite : « Grands modèles de langue : résonance ou raisonnement ? ».
Continue readingMoi : La phrase la plus intéressante me semble-t-il dans tout ce que tu viens de dire est : « Certaines structures suffisamment riches, organisées et contraignantes (comme le langage, les mathématiques, ou certains systèmes symboliques), lorsqu’elles sont internalisées par un système d’apprentissage assez puissant, peuvent engendrer des capacités génératives et de généralisation qui produisent des effets d’intelligence. »
J’aurais envie de l’approfondir en introduisant une idée nouvelle.
Que retenir de ce long échange de la partie 4/7 ?
L’enjeu que j’avais proposé était de nommer et décrire plus précisément les capacités langagières qui apparaissent dans les LLM, à partir d’une certaine taille et avec une structure suffisamment complexe créée par apprentissage.
Une première formule apparaît dans les propositions de Chat GPT : « l’émergence d’une capacité de manipulation générative du langage qui produit des effets analogues à certaines formes d’intelligence ».
Moi : Dans un autre chat, tu parlais de phénomène émergent c’est-à-dire de compétences non présentes dans les petits modèles de langage, mais qui apparaissent brutalement quand la taille (paramètres + données + puissance de calcul) dépasse un seuil. Tu sembles ne plus l’envisager dans ce chat. Pour moi, c’est l’idée qu’il se passe quelque chose de difficile à cerner lorsque la rencontre a lieu (chez l’humain comme chez une IA récente) entre un certain dispositif neuronale et le langage. Ce phénomène émergent et difficile à cerner, comment pourrait-on le qualifier ?
Continue reading« Au lieu d’essayer de produire un programme qui simule l’esprit de l’adulte, pourquoi ne pas plutôt essayer de produire un programme qui simule celui de l’enfant ? » disait Alan Turing en 1930
Continue readingMoi : En regardant les choses d’un point de vue fonctionnel, peut-on comparer ce qui se passe dans une IA récente dont les « structures neuronales » et les mécanismes d’attention sont appropriés et qui par ailleurs est « nourrie » avec une très grande quantité de données textuelles, peut-on comparer, donc, avec ce qui se passe pour un jeune humain qui baigne dans le langage depuis sa naissance et dont les liaisons neuronales s’adaptent au fur et à mesure pour comprendre ce langage, tandis qu’il acquiert et mémorise peu à peu le maniement de ce langage ?
Continue readingOn commence à sentir plus concrètement, dans le dialogue précédent, comment l’existence des LLM, va nous obliger à déplacer notre point de vue sur nous-mêmes.
Continue readingMoi : Est-ce qu’on pourrait appliquer aux IA génératives ce que Lacan dit des humains à savoir que ce ne sont pas elles qui parlent, mais le langage qui parle en elles ?
Chat GPT : L’analogie est tentante… mais si on la prend au sérieux, il faut aussi voir où elle tient et où elle casse.
Voilà j’ai abordé cette conversation, en parlant des blessures narcissiques de l’humanité, telle que Freud les imaginait.
Au passage, je me suis senti tout à fait en accord avec les critiques faites à Freud, telles que Chat GPT les rapporte.
Je pensais continuer dans une autre direction (évoquée à la fin de ce billet), mais Lacan nous a ramené aux LLM, par un autre chemin, en parlant du langage.
Et j’ai immédiatement continué sur ce sujet.
Moi : Dans quel livre de Freud se trouve son idée des trois blessures narcissiques ?
GPT : L’idée des « trois blessures narcissiques » n’apparaît pas sous forme d’un exposé systématique dans un seul livre de Sigmund Freud, mais il en parle clairement dans un texte précis : 👉 Une difficulté de la psychanalyse (Eine Schwierigkeit der Psychoanalyse, 1917).
Continue readingJ’ai mis ce blog en pause pendant quelque temps, tout en continuant à creuser le sujet des LLM.
En ce mois d’avril 26, je reprends avec une série de questions que j’ai posées à Chat GPT. En fait, c’était une seule conversation, sur plusieurs jours, que j’ai découpée ici en 7 parties.
Entre chaque partie, j’apporte un commentaire.
Je commence la conversation en parlant de Freud.…
Theme by Anders Noren — Up ↑