Agora Software

Emergence

Ou comment se fait-il qu’une “machine à prédire le prochain mot” (GPT) soit capable de répondre à (presque) toutes nos questions ? Et d’ailleurs que répond-elle ?

Emergence de Chat-GPT

GPT, c’est qui quoi ?

Les concepteurs de GPT ont trouvé le moyen de transcoder une considérable base de connaissances textuelles (le Web) dans une autre base aussi énorme, mais numérique.

Cela permet à des ordinateurs de la manipuler facilement. Pour donner quelques ordres de grandeur :

  • Nombre de livres dans la bibliothèque de Babel, de Borges : 105000,
  • Nombre d’atomes dans l’univers observable : 1080,
  • Nombre de mots sur le web : 1015,
  • Nombre de paramètres de GPT : 1012,
  • Nombre de neurones chez un humain : 1011 (beaucoup plus chez le chat, comme on sait).

Cela ne nous avance pas beaucoup (quoique très utile dans les dîners chics). Sauf qu’on voit que la quantité ne fait pas tout.

Aussi que GPT concentre le Web d’un facteur 1.000, ce qui est à la fois beaucoup et pas si surprenant que ça.

Le principe de GPT est celui d’une “machine à prédire le prochain mot” (c’est-à-dire le plus probable) en fonction d’un contexte fait de :

  • Une base de mots ordonnés (le Web),
  • Une question plus ou moins précise (le ‘’prompt’’),
  • Son propre modèle algorithmique (dont les détails ne sont pas dévoilés).

Il se trouve que la puissance du modèle et la richesse de la base d’information font que les réponses sont le plus souvent pertinentes.

GPT répond par des mots qui ont du sens ! La sémantique émerge des signes, la connaissance émerge d’une simple suite de mots. Ouch !

Que nous dit GPT ?

Il ne nous dit rien. Ou plutôt il ne comprend pas ce qu’il dit. Pas plus qu’un lecteur de CD ou un site de streaming ne comprend la musique ou le film qu’il diffuse.

GPT est un perroquet qui n’est pas savant, mais doué d’un formidable talent pour chercher les aiguilles (prompts) dans une botte de foin (le Web).

Rien ne vient vraiment de lui. Mais il sait étonnamment bien trouver les informations recherchées et possède les éléments de langage pour le dire.

Et c’est cette apparente proximité qui nous étonne le plus.

D’ailleurs n’est-on pas tenté de lui parler poliment et de le remercier, comme s’IL s’en souciait ?

A blonde haired woman dressed in 1950's clothing, she is on a train looking at the desert in the background, by Edward Hopper (2 versions). Générées en quelques secondes sur une application grand public, ces images sont encore un peu naïves, mais on sent bien qu’on est à deux doigts d’obtenir un Hopper aussi (plus ?) vrai que nature.

DALL·E 2023-05-20 08.42.20 – A blond haired woman dressed in 1950’s clothing, she is on a train looking at the desert in the background, by Edward Hopper (2 versions). Générées en quelques secondes sur une application grand public, ces images sont encore un peu naïves, mais on sent bien qu’on est à deux doigts d’obtenir un Hopper aussi (plus ?) vrai que nature.

GPT c’est magique – donc ‘’y’a un truc’’

Le truc, c’est que le langage humain est un jeu de conventions. Consensus flou mis au point année après année entre ceux qui s’en servent.

C’est d’ailleurs ce découplage signifié/signifiant allié à l’invention de l’alphabet qui fait sa puissance. Il permet de n’utiliser que quelques dizaines de signes (les lettres) pour former des centaines de milliers de combinaisons (les mots). Ils s’agencent ensuite en un nombre illimité de concepts et de significations. Une économie radicale de moyens au service d’une infinité de possibilités.

Le sens sous-jacent aux combinaisons de signes n’est donc que latent dans le texte. Il réside en réalité dans l’esprit de celle ou de celui qui rédige ce texte à partir du sens qu’il souhaite partager.

Et qui espère que ceux qui le liront seront capables de faire le chemin à rebours : des signes vers le sens. C’est donc le lecteur (humain ou machine d’ailleurs) qui fait émerger le sens des mots et des phrases ‘’statistiques’’ construites par GPT.

Garbage in garbage out

GPT ne « connait » rien, mais a accès à tout (les textes). La connaissance qui émerge et nous étonne lorsque nous interagissons avec ce programme informatique est celle qui réside dans les zillions de fichiers interconnectés qui font le web.

Dépourvu de sens commun, si GPT ingère des informations trop (statistiquement) inexactes, il ne faudra pas s’étonner de voir GPT devenir conspirationniste et négationniste. Ou même de soutenir que la terre a une forme de tire-bouchon ou que les personnes aux yeux bleus sont des extra-terrestres venus nous dévorer à la première occasion, version Mars attacks !

Le Nœud noir – Georges Seurat – Les structures du dessin n’apparaissent que lorsqu’on prend de la distance. Le peintre fait la transcription de l’idée vers les signes (éléments du dessin), notre œil capte les signes et notre cerveau (pré-entraîné) fait émerger à nouveau l’idée originelle de l’artiste.
Le Nœud noir – Georges Seurat – Les structures du dessin n’apparaissent que lorsqu’on prend de la distance. Le peintre fait la transcription de l’idée vers les signes (éléments du dessin), notre œil capte les signes et notre cerveau (pré-entraîné) fait émerger à nouveau l’idée originelle de l’artiste.

GPT, et ensuite ?

GPT est-il (elle ?) conscient(e) ?

Evidemment pas, ni même intelligent, aussi peu que ce soit.

C’est bien cela qui nous trouble lorsque nous l’interrogeons. Ce n’est que l’intelligence de ses concepteurs, et celle de tous les contributeurs du Web que nous captons dans les réponses provenant de cet outil d’apparence magique. Et c’est déjà peu ordinaire.

Est-il possible d’augmenter ses capacités, en lui donnant une certaine forme d’intelligence ?

Cela n’est peut-être pas aussi impossible que ça (et sans doute à l’étude dans les laboratoires des acteurs de l’IA, bien ou mal intentionnés).

Par exemple en mettant au point une couche d’algorithmes capables d’utiliser cette mémoire universelle qu’est GPT, en lui proposant dynamiquement les bons prompts au service d’une tâche plus large.

L’ajout de structures récursives et d’un zeste d’apprentissage par renforcement pourrait décupler les capacités de cette future IA, nous entraînant avec elle dans des territoires inexplorés de la cohabitation entre les hommes et les machines.

On peut inférer que des propriétés d’adaptabilité propres à ce que nous appelons intelligence pourraient alors émerger de telles capacités, de la même manière qu’une forme de connaissance émerge de cette “machine à prédire le prochain mot” qu’est GPT.

Pour se rassurer, peut-on se dire que la base de connaissance, socle de tout cet édifice, est de nature humaine ? Et donc que les futures « hyper GPT » à venir resteront d’une certaine manière à notre image ?

Et pour combien de temps ?

Comment avons-nous intégré GPT à la solution Agora Software?

Agora ne pouvait rester à l’écart de cette transformation majeure du paysage technologique touchant au langage naturel.

Nous accompagnerons cette évolution au fur et à mesure des progrès qui ne manqueront pas d’être accomplis, tout en préservant les qualités de souveraineté, d’explicabilité et de confidentialité qui caractérisent notre solution.

A ce stade, la solution Agora utilise GPT pour remplir les deux tâches suivantes :

  • La construction des corpus d’apprentissage des réseaux de reconnaissance des intentions spécifiques. Plus besoin de se gratter la tête pour trouver une quantité suffisante d’exemples en langage naturel. De plus on peut utiliser le langage de son choix pour établir ce corpus,
  • L’affinage de la reconnaissance des intentions au sein des phrases issues des utilisateurs, dans le cas où celles-ci sortiraient du périmètre fonctionnel défini pas les applications de nos clients.

Références

GPT a inspiré une très nombreuse littérature que nous n’essayerons pas de citer, à l’exception des deux sources suivantes :

  • Le très bon article de Yann Torrent à lire ici,
  • Le passionnant et précis podcast sur France Culture, dans la série de Géraldine Muhlmann ‘’Avec philosophie’’, à écouter ici.

Tous nos remerciements à Michael McTear de l’Université de Belfast, pour les récentes et amicales discussions sur le traitement automatique du langage, les interfaces conversationnelles et bien sûr les apports et limites de GPT.

Si cet article vous intéresse, faites un tour sur notre page projets, et contactez-nous pour discuter de vision, de technologie et de nouvelles solutions !

Rejoignez-nous sur LinkedIn pour ne pas manquer notre actualité !

Vous voulez comprendre comment notre IA conversationnelle optimise la productivité et l’engagement de vos utilisateurs en complétant efficacement vos applications d’entreprise ?