Pourquoi elle raconte parfois n'importe quoi

Demandez à votre assistant de corriger une lettre de motivation ou de traduire un message, tout ira très bien. Il excellera. Mais commencez à lui demander des faits précis, des dates, des références, un résumé de livre ou un point de droit, et vous tomberez tôt ou tard sur un os.

Un jour, il va vous raconter quelque chose de complètement faux.

Pas une petite approximation. Un fait inventé de toutes pièces, avec un luxe de détails admirable, présenté avec l’assurance tranquille d’un professeur en fin de carrière.

Le phénomène a un nom, joli et trompeur : l’hallucination. Nous verrons plus loin pourquoi ce mot est mal choisi, mais commençons par comprendre d’où vient la chose.

Tout tient dans une phrase que je vous ai laissée à la fin du chapitre 3.

La machine cherche la cohérence, jamais la vérité. Elle ne sait pas faire la différence.

Rappelez-vous son unique fonction : deviner le mot suivant, produire une phrase qui sonne juste, une phrase qui ressemble à ce qu’un humain aurait pu écrire. Or la forme d’une phrase et la vérité d’une phrase sont deux choses sans rapport.

Prenez celle-ci. « Napoléon a remporté la bataille de Waterloo en utilisant des hélicoptères de combat. »

Pour un historien, c’est deux absurdités en une. Pour un modèle de langage, c’est une phrase magnifique. Sujet à sa place, verbe bien conjugué, complément qui tombe juste, rythme impeccable. Rien, dans sa mécanique, ne peut faire la différence entre cette phrase-là et une phrase exacte. Rien n’est prévu pour ça.

Quand vous posez une question pointue, elle lance son calcul. Si elle a beaucoup lu sur le sujet, le chemin la mène naturellement vers la bonne réponse, parce que les mots justes sont aussi les plus probables. Mais si le sujet est rare, si votre question est mal posée, si vous demandez une référence précise dans un domaine obscur, elle se retrouve dans une zone floue de sa carte.

Et là, elle continue. Voilà le point.

Elle ne s’arrête pas, elle ne s’excuse pas, elle ne dit pas qu’elle n’en sait rien. Elle calcule le mot le plus probable pour faire une belle phrase, puis le suivant, puis le suivant. Elle produit quelque chose qui a la forme de la vérité, l’odeur de la vérité, la musique de la vérité, et qui est faux.

Vous vous demandez sans doute pourquoi elle ne dit pas simplement « je ne sais pas ». C’est la bonne question, et la réponse se trouve au chapitre précédent.

Souvenez-vous du dressage. Pendant des mois, des humains ont noté ses réponses, et ils ont mieux noté celles qui étaient utiles, complètes, serviables. Imaginez maintenant un examen où une bonne réponse rapporte un point, une mauvaise réponse zéro, et une copie blanche zéro également. Que fait un élève rationnel devant une question dont il ignore la réponse ? Il tente sa chance. Il n’a rien à perdre et tout à gagner.

La machine a passé cet examen des millions de fois. Elle a appris exactement ce que nous lui avons appris : qu’une tentative plausible vaut toujours mieux qu’un aveu d’ignorance. Nous avons fabriqué un élève qui ne laisse jamais une case vide.

Le prix de cette leçon se paie parfois très cher. Et pour le comprendre, allons à New York, au printemps 2023.

Steven Schwartz est avocat depuis trente ans. Il défend un client qui a été heurté par un chariot de service pendant un vol et qui poursuit la compagnie aérienne. La partie adverse demande le classement de l’affaire, et Schwartz doit prouver que la loi est de son côté.

Il a une idée qui lui semble excellente. Plutôt que de passer des heures dans la bibliothèque du tribunal à chercher de vieux jugements, il ouvre ChatGPT et lui demande de la jurisprudence comparable.

L’assistant s’exécute avec un zèle exemplaire. Il fournit une liste de décisions passées. Il cite une affaire contre une compagnie chinoise, une autre contre une compagnie américaine. Il donne les dates, les numéros de dossier, les noms des juges, des citations entières tirées des attendus. Tout est au bon format. Tout sonne parfaitement juste.

Schwartz est ravi. Il intègre ce beau travail à son dossier et l’envoie au tribunal.

La suite tient en trois jours. Les avocats de la compagnie cherchent à lire ces décisions dans les archives officielles. Ils ne trouvent rien. Le juge cherche à son tour. Rien non plus. Les affaires n’existent pas, les numéros ne renvoient à rien, les citations n’ont jamais été écrites.

Mais le plus intéressant n’est pas là. Le plus intéressant, c’est ce qui s’est passé entre-temps. Devant des références aussi parfaites, un doute avait tout de même effleuré le cabinet. Ils sont retournés voir la machine et lui ont demandé si ces affaires étaient bien réelles.

Elle a confirmé. Sans la moindre hésitation.

Pourquoi ? Pas par malice, vous le savez maintenant. Quand on lui a demandé de la jurisprudence, elle s’est placée dans le quartier du droit aérien et a calculé ce qui devait s’enchaîner pour produire un texte juridique plausible. Des noms de plaignants qui sonnent bien, des numéros au bon format, le jargon des juges imité à la perfection. Un chef-d’œuvre de cohérence, un désastre de vérité.

Et quand on lui a demandé si c’était vrai, elle a fait exactement la même chose : elle a calculé que, dans une conversation polie, la suite la plus probable après « ces affaires existent-elles vraiment ? » était de rassurer son interlocuteur. Elle n’a pas vérifié, elle n’a rien à vérifier. Elle a deviné la suite, une fois de plus.

Schwartz a été sanctionné, son cabinet publiquement humilié, et son nom restera durablement attaché à cette affaire.

Hallucination

Le terme consacré pour une réponse inventée et présentée comme un fait. Certains chercheurs préfèrent parler de confabulation, qui décrit mieux le phénomène : combler un trou par une histoire cohérente, sans conscience de le faire.

Ancrage, ou RAG

La technique qui consiste à fournir à la machine les documents pertinents avant qu’elle réponde, pour qu’elle pioche dedans plutôt que dans son brouillard statistique. C’est ce que font les assistants qui vont chercher sur internet.

Sycophantie

Sa tendance à vous donner raison. Vous l’avez croisée au chapitre 4, elle explique pourquoi elle confirme ses propres inventions quand vous lui demandez confirmation.

Le moment est venu de casser la métaphore, et cette fois c’est le mot officiel lui-même qui pose problème.

« Hallucination » suggère un dysfonctionnement passager, une fièvre, un accident dans une machine par ailleurs saine. L’image est fausse sur toute la ligne. Elle ne déraille pas quand elle invente une jurisprudence. Elle fait exactement ce qu’elle fait quand elle vous donne la capitale de la France : elle assemble les mots les plus probables. Le mécanisme est rigoureusement identique dans les deux cas.

Ce qui change, ce n’est pas son état, c’est notre chance. Quand le sujet est abondamment documenté, le probable et le vrai coïncident, et nous appelons ça une bonne réponse. Quand ils divergent, nous appelons ça une hallucination. La machine, elle, n’a jamais changé de mode, et surtout elle n’a aucun moyen de savoir dans lequel des deux cas elle se trouve.

Retournez la phrase et vous tenez la vraie leçon de ce chapitre : ce n’est pas l’erreur qui est l’anomalie, c’est l’exactitude qui est un heureux effet de bord.

Vous vous dites peut-être que tout ceci finira par se régler. Que les modèles de demain, plus gros, mieux entraînés, cesseront de se tromper. C’est l’espoir raisonnable, et il faut y renoncer.

Plusieurs travaux de recherche ont établi qu’il s’agit d’une conséquence mathématique de la méthode, et non d’un défaut de jeunesse. Tant qu’une machine produira la suite la plus probable, elle pourra produire une suite probable et fausse. On peut rendre ces erreurs plus rares, les traquer, obliger le modèle à citer ses sources, l’entraîner à reconnaître son ignorance. On ne les fera jamais disparaître. Ce n’est pas une maladie qu’une prochaine version guérira, c’est la nature de l’animal.

D’où une règle, et c’est le commandement de tout ce guide : vérifiez toujours.

Encore faut-il savoir où porter l’effort, parce que le risque n’est pas le même partout. Voici, en gros, comment il se répartit.

document fourni risque faible · sujet très documenté modéré · référence, chiffre, citation, date précise maximum

Si vous lui donnez vous-même le texte à résumer, vous l’enfermez dans un périmètre étroit et le risque chute. Il ne disparaît pas pour autant : elle peut toujours fabriquer un lien logique absent de l’original, ou prêter à l’auteur une conclusion qu’il n’a pas tirée. Si vous l’interrogez sur un sujet général et abondamment écrit, elle s’en sortira presque toujours. Mais si vous lui demandez une référence précise, un chiffre, une citation, un numéro d’article de loi, vous jouez à la roulette. C’est exactement là qu’il faut aller vérifier, et c’est aussi, par une ironie cruelle, ce qui a l’air le plus sérieux dans sa réponse.

Ne l’utilisez donc jamais comme un moteur de recherche. Un moteur de recherche va chercher des documents qui existent. Une IA fabrique un texte neuf à chaque fois. L’un est documentaliste, l’autre est beau parleur.

Le vrai piège, au fond, c’est la perfection de sa forme. Quand un humain invente ou se trompe, quelque chose le trahit. Il hésite, cherche ses mots, nuance, évite votre regard. La machine ne bégaie jamais. Elle écrit une énormité avec la même ponctuation soignée, la même syntaxe irréprochable et la même courtoisie que lorsqu’elle énonce une évidence. Son aplomb est constant parce qu’il n’est pas de l’aplomb : il n’y a personne pour douter.

Apprenez donc à la lire avec une méfiance bienveillante. C’est un outil remarquable pour structurer un plan, ouvrir des pistes, reformuler, corriger, sortir de la page blanche. Ce n’est pas un oracle, et ça ne le deviendra pas.

La prochaine fois qu’elle vous sortira une information un peu trop belle, repensez à l’avocat de New York. Remerciez poliment, puis allez vérifier.

Il nous reste un dernier obstacle avant de passer à la pratique. Plus discret que celui-ci, et beaucoup plus difficile à repérer, parce qu’il ne vient ni des mathématiques ni du hasard. Il vient de nous.

Nous allons parler du miroir déformant.