La machine à deviner la suite

Nous avons vu que la machine ne pense pas, et qu’elle range nos mots sur une immense carte. Mais une carte, c’est silencieux. Ça ne raconte rien. Comment passe-t-on d’un catalogue d’adresses muettes à ces longs paragraphes qui s’affichent sur votre écran avec l’aisance d’un écrivain professionnel ?

La réponse tient dans une mécanique d’une simplicité presque vexante. Vous l’utilisez tous les jours sans y penser.

Prenez votre téléphone. Ouvrez un nouveau message et tapez « Je suis en ». Regardez juste au-dessus du clavier. Il vous propose trois mots pour finir la phrase : « route », « retard », « réunion ».

Comment fait-il ? Il ne lit pas dans vos pensées. Il applique une règle statistique. Il a observé qu’après « Je suis en », les humains tapent très souvent « route », assez souvent « retard », parfois « réunion ». Il vous propose les mots les plus probables, dans l’ordre.

Une IA générative fait la même chose. En beaucoup, beaucoup plus impressionnant, mais fondamentalement la même chose.

Une IA générative ne fait rien d’autre que deviner le mot suivant.

C’est sa fonction unique, et il n’y en a pas d’autre cachée derrière. Quand vous lui posez une question, elle ne va pas chercher la réponse dans une encyclopédie secrète. Elle prend les mots de votre question, les repère sur sa carte, et calcule quel mot a la plus forte probabilité de venir juste après.

Puis elle affiche ce mot. Puis elle recommence. Elle reprend votre question, plus le mot qu’elle vient d’écrire, et calcule le suivant. Mot après mot, fraction de seconde après fraction de seconde.

Demandez-lui la capitale de la France. Elle calcule que le mot le plus probable pour démarrer est « La ». Après « La », c’est « capitale ». Puis « de », puis « la », puis « France », puis « est », puis « Paris ». Elle n’a jamais su qu’elle allait répondre Paris. Elle l’a découvert en chemin, au dernier mot, comme vous.

C’est pour cette raison que le texte s’affiche en saccades sur votre écran, comme si quelqu’un tapait derrière. Ce n’est pas un effet de style pour faire vivant. C’est la machine au travail, en direct.

Seulement voilà : si elle prenait toujours le mot numéro un, le plus probable de tous, elle serait d’un ennui mortel. Elle écrirait des textes plats, et surtout elle se mettrait à bégayer. Des choses comme « Je suis en route pour la maison pour manger à la maison pour manger à la maison. » Le mot le plus probable appelle le mot le plus probable, et la phrase tourne en boucle.

Les ingénieurs ont ajouté un ingrédient indispensable : une pincée de hasard.

Quand la machine cherche le mot suivant, elle ne retient pas un candidat, elle dresse une liste avec leurs chances respectives. Pour finir « Le chat boit du », ça donne à peu près ceci.

Le chat boit du… lait 91 % · bol 5 % · jus 3 % · sirop 1 %

Au lieu de prendre systématiquement « lait », elle tire au sort parmi les meilleurs candidats, en respectant leurs probabilités. Neuf fois sur dix elle écrira « lait ». Mais de temps en temps, elle partira sur « bol », et la phrase prendra un autre chemin.

Ce minuscule grain de folie mathématique change tout. C’est lui, et lui seul, qui donne à la machine son air de créativité. C’est lui qui fait que la même question posée deux fois ne donne jamais deux fois la même réponse : la trajectoire bifurque au premier tirage un peu chanceux, et tout ce qui suit s’en trouve changé. La machine improvise, au sens le plus strict du terme.

Ce réglage se dose, d’ailleurs. Poussé au minimum, l’assistant devient scolaire, prévisible, parfait pour du code ou un calcul. Poussé trop haut, il part en vrille et finit par produire des phrases qui ressemblent à du français sans en être tout à fait.

Température

Le bouton qui règle ce grain de hasard. Froid, la machine répète le plus probable. Chaud, elle ose, puis elle déraille.

Fenêtre de contexte

Tout ce que la machine garde sous les yeux pendant qu’elle vous répond : votre conversation depuis le début, plus les documents que vous lui avez donnés.

Autorégressif

Le nom savant de ce mécanisme, qui dit simplement que la machine se nourrit de ce qu’elle vient elle-même d’écrire.

Une question devrait vous venir, à ce stade. Si elle improvise mot après mot, comment fait-elle pour ne pas perdre le fil ?

C’est la bonne question. Racontez une blague en improvisant chaque mot à partir du précédent, vous n’arriverez jamais à la chute. Comment cette machine écrit-elle trois pages sur la Révolution française, avec une introduction, un développement et une conclusion qui répond à l’introduction, si elle ne fait que deviner le mot d’après ?

Par la relecture. À chaque nouveau mot, elle ne regarde pas seulement le mot précédent. Elle relit tout.

Imaginez qu’elle en soit au millième mot de sa réponse. Pour le trouver, elle relit votre question de départ, puis les 999 mots qu’elle vient d’écrire. Elle pèse l’ensemble, repère le tout sur sa carte, et calcule le millième. Ensuite, pour le mille-unième, elle relit tout à nouveau, votre question, les 999 mots, plus celui qu’elle vient d’ajouter.

C’est un travail de forçat, répété des dizaines de fois par seconde. Et c’est cette relecture obsessionnelle qui lui permet de tenir le cap. Elle ne planifie pas sa conclusion à l’avance. À chaque pas, elle regarde tout le chemin parcouru pour décider où poser le pied suivant. Elle ne perd pas le fil parce qu’elle le tient tout entier dans la main, en permanence.

Vous voyez tout de suite la conséquence. Cette main n’est pas infiniment grande. C’est la fameuse fenêtre de contexte : au-delà d’une certaine longueur, le début de la conversation sort du champ et disparaît. D’où ce moment où un assistant avec qui vous discutez depuis une heure semble avoir oublié ce que vous lui aviez demandé au départ. Il ne l’a pas oublié au sens humain, avec une trace qui s’estompe. C’est plus radical : ces mots-là ne sont tout simplement plus sous ses yeux. Ils n’existent plus.

C’est aussi pourquoi une longue conversation devient plus lente et coûte plus cher que trois échanges courts. Chaque mot supplémentaire oblige à relire un peu plus de texte que le précédent. Quand une discussion s’enlise, repartir d’une page blanche avec un résumé propre est souvent plus efficace que de s’acharner.

Le moment est venu de fissurer la métaphore du téléphone, parce qu’elle a fait son travail et qu’elle commence à mentir.

Votre clavier, lui, regarde les deux ou trois mots qui précèdent, pas davantage. Il ne sait rien de ce que vous avez écrit en haut du message. La machine, elle, pèse simultanément tous les mots présents dans sa fenêtre, et surtout elle évalue lesquels comptent vraiment pour le mot qu’elle est en train de chercher. Dans la phrase « Le dossier que vous m’avez envoyé la semaine dernière, celui sur les retraites, est incomplet », le mot « est » se rattache à « dossier », douze mots plus haut, et pas à « retraites », qui le précède pourtant immédiatement. Votre téléphone s’y casserait les dents. C’est précisément ce que la machine sait faire, et c’est l’invention de 2017 qui a tout déclenché.

Gardez donc le clavier prédictif pour ce qu’il explique bien : le principe du mot suivant, et l’absence totale d’intention. Mais ne lui demandez pas d’expliquer comment on tient un raisonnement sur trois pages.

Il reste un phénomène à éclaircir, celui qui a dû vous intriguer si vous utilisez ces outils depuis quelques mois. Parfois, la machine affiche « Réflexion en cours » et vous fait patienter dix ou trente secondes avant de répondre. On appelle ces assistants des modèles de raisonnement.

Que se passe-t-il pendant ce temps ? Pense-t-elle enfin, pour de bon ? Non. Elle utilise exactement la même mécanique, mot après mot, mais elle s’en sert pour écrire un brouillon.

Au lieu de vous lâcher immédiatement sa réponse, elle génère d’abord des dizaines de phrases pour elle-même : reformuler votre question, poser une hypothèse, la tester, repérer une incohérence, recommencer. Certains assistants vous en montrent un résumé à l’écran, et on l’y voit écrire des choses comme « attends, ce calcul est faux, je reprends ». Une fois le brouillon terminé, elle l’utilise comme contexte supplémentaire pour rédiger la réponse finale.

C’est redoutablement efficace pour un problème de logique, un calcul ou du code. C’est du temps perdu pour rédiger un message d’anniversaire. Et surtout, cela ne change rien à ce que nous venons de voir : elle ne pense toujours pas, elle a simplement appris à se relire avant de parler.

Tout ce mécanisme porte un nom très sobre dans le métier : un modèle de langage. Un modèle, en sciences, c’est une représentation mathématique de la réalité. Les météorologues en utilisent pour prévoir le temps de demain à partir du vent et de la pression. Les ingénieurs ont fait la même chose avec notre langue : un modèle capable de prévoir le mot de demain à partir des mots d’aujourd’hui. Un modèle de raisonnement, celui dont nous venons de parler, n’est rien d’autre qu’un modèle de langage à qui on a appris à travailler au brouillon.

Voilà pourquoi les médias parlent de LLM. Ce sont les initiales de large language model, grand modèle de langage. Grand, parce que le dispositif contient des milliards de réglages internes. Langage, parce qu’il manipule des mots. Modèle, parce qu’il calcule des probabilités.

Une dernière remarque, et elle est lourde de conséquences. Relisez ce chapitre mentalement. Nous avons parlé de probabilités, de tirage au sort, de relecture, de mot suivant. Nous n’avons pas parlé une seule fois de vérité.

Ce n’est pas un oubli. La machine ne cherche pas le vrai, elle cherche le probable. Elle a été conçue pour être cohérente, pas pour être exacte. Nous verrons au chapitre 5 tout ce que cette petite différence provoque, et pourquoi le problème ne disparaîtra jamais complètement.

Mais avant cela, il faut répondre à une question que ce chapitre a soigneusement évitée. Je vous ai dit que la machine calcule des probabilités. Je ne vous ai pas dit d’où elles sortent. Qui lui a appris qu’après « Le chat boit du » vient « lait » neuf fois sur dix ? Personne n’a saisi ces chiffres à la main, il y en a bien trop.

Elle les a appris toute seule. Et la façon dont elle s’y est prise ressemble beaucoup plus à un dressage qu’à une scolarité.