Oubliez le cerveau dans la boîte

La première fois que vous avez discuté avec ChatGPT, Claude ou Gemini, vous vous êtes peut-être senti un peu bête. Vous avez tapé « Bonjour ». Vous avez posé votre question en y mettant les formes, comme on s’adresse à quelqu’un qu’on ne veut pas froisser. Quand la réponse est arrivée, parfaitement rédigée, claire et polie, vous avez ressenti un drôle de frisson. Vous vous êtes dit : « C’est fou, il m’a compris. » Et juste après, une pensée moins avouable : est-ce que je suis en train de parler à quelqu’un ?

Rassurez-vous tout de suite. Si vous avez eu l’impression qu’une petite conscience vous observait de l’autre côté de l’écran, vous êtes parfaitement normal. Tout le monde ressent ça. Même les ingénieurs qui fabriquent ces machines se font parfois avoir, et ils savent pourtant très exactement ce qu’il y a dedans.

Il n’y a personne. Pas de petit génie enfermé dans une boîte, pas d’esprit qui réfléchit, pas d’entité tapie dans un serveur californien qui vous trouverait sympathique ou agaçant.

Pour comprendre pourquoi vous y avez cru, il faut remonter à 1770.

Cette année-là, un inventeur hongrois promène à travers les cours d’Europe un automate stupéfiant : un mannequin en costume turc, attablé devant un échiquier, qui bat les plus grands joueurs du continent. On l’appelle le Turc mécanique. Napoléon lui-même s’y serait cassé les dents. Pendant des décennies, personne ne comprend le prodige. Les savants se disputent, les articles s’accumulent, on cherche l’engrenage miraculeux. La vérité finira par éclater, et elle est d’une banalité comique : un joueur d’échecs bien humain se repliait dans le meuble et actionnait le bras du mannequin depuis sa cachette.

Retenez cette histoire, parce que tout est là. Pendant deux siècles, pour faire croire qu’une machine pensait, il fallait cacher un homme dedans. Aujourd’hui, il n’y a plus personne dans la boîte, et l’illusion est cent fois plus forte.

Une intelligence artificielle ne pense pas. Elle calcule.

C’est une vérité brutale, et c’est surtout une nouvelle incroyablement libératrice. Vous n’avez pas à être intimidé. Vous n’avez pas à craindre la question idiote, parce que la machine s’en moque. Elle ne vous juge pas. Elle ne peut pas vous juger, pas plus que votre calculatrice ne se moque de vous quand vous tapez 7 fois 8.

Mais alors, pourquoi tombons-nous si facilement dans le panneau ?

Ne vous en voulez pas, c’est la faute de votre biologie. Notre cerveau est une magnifique machine à détecter des intentions. Depuis la préhistoire, notre survie dépend de notre capacité à repérer du vivant. Un buisson qui bouge dans la savane ? Nos ancêtres devaient supposer immédiatement qu’un lion s’y cachait, plutôt qu’un coup de vent. Mieux valait fuir pour rien mille fois que de se tromper une seule. Les prudents ont eu des enfants, les sceptiques beaucoup moins, et nous sommes les descendants des prudents. Nous voyons des consciences partout. Quand la voiture tombe en panne le matin d’un rendez-vous décisif, on est convaincu qu’elle le fait exprès.

Alors quand un texte s’affiche avec la fluidité d’une vraie conversation, ce vieux réflexe s’emballe. Il projette de l’humanité sur la machine avant même que vous ayez fini de lire la phrase.

Et pour vous prouver à quel point vous n’avez pas à vous sentir ridicule, laissez-moi vous raconter une histoire vraie. Elle se passe bien avant internet, en 1966, dans les laboratoires du très prestigieux MIT.

Joseph Weizenbaum, informaticien brillant, crée un petit programme expérimental qu’il appelle ELIZA. C’est l’ancêtre préhistorique de votre assistant d’aujourd’hui. L’idée : simuler une conversation avec un psychothérapeute.

Le fonctionnement est d’une bêtise affligeante. Le programme ne comprend rien, absolument rien. Il repère des mots-clés dans ce qu’on lui tape et recrache des questions toutes faites.

Vous écrivez « Ma mère m’énerve ». Il repère « mère » et affiche : « Parlez-moi davantage de votre famille. » Vous écrivez « Je suis triste ». Il retourne la formule : « Pourquoi êtes-vous triste ? »

Quelques centaines de lignes de code, pas davantage. Weizenbaum pensait avoir fait une bonne blague. Il voulait démontrer à ses collègues que la conversation avec un ordinateur était nécessairement superficielle.

Il a eu le choc de sa vie.

Dès les premiers jours, les étudiants, les chercheurs, les cerveaux les plus brillants de l’époque, et même sa propre secrétaire, se sont mis à passer des heures devant l’écran. Ils se confiaient à ELIZA. Ils lui racontaient leurs peines de cœur, leurs doutes, leurs secrets. Quand Weizenbaum, effaré, leur expliquait que ce n’était qu’un bout de code stupide, ils refusaient de l’entendre. Sa secrétaire, qui l’avait vu écrire le programme ligne par ligne, lui a demandé de sortir de la pièce pour parler à la machine en privé.

La suite est moins connue et vaut le détour. Weizenbaum en a été si retourné qu’il a passé le reste de sa carrière à alerter sur ce qu’il venait de découvrir. Dix ans plus tard, il publiait un livre entier pour expliquer que le danger n’était pas que les machines deviennent intelligentes, mais que les humains leur accordent une confiance qu’elles n’ont jamais méritée. Il avait construit la chose la plus rudimentaire possible et il en était sorti inquiet pour cinquante ans.

L'effet ELIZA

Notre tendance irrépressible à prêter de la compréhension et des intentions à une machine, dès l’instant où elle emploie nos mots. Le programme n’a rien fait pour ça : c’est nous qui remplissons les blancs.

Le perroquet stochastique

Le surnom donné à ces machines par des chercheuses en 2021, dans un article qui a fait du bruit. « Stochastique » veut simplement dire « qui obéit au hasard ». Un perroquet qui tire ses mots au sort, mais avec des dés extraordinairement bien pipés.

Si quelques règles informatiques ont pu tromper des génies en 1966, ne vous blâmez surtout pas d’être bluffé aujourd’hui. Les machines actuelles ont avalé des bibliothèques entières. Elles maîtrisent la grammaire, l’humour, le sarcasme, le registre de langue. Elles écrivent un poème, résument un rapport financier, s’adaptent à votre ton.

La vérité crue reste pourtant celle de 1966. Quand l’IA vous répond, elle ne réfléchit pas, elle n’a pas d’idées. Le mot « pomme » ne lui évoque ni une couleur, ni un goût, ni la tarte du dimanche. C’est une suite de caractères qui entretient des rapports statistiques avec d’autres suites de caractères.

Pensez à un perroquet magique, extraordinairement doué. Un perroquet qui aurait écouté des millions de conversations et qui recracherait la phrase juste au bon moment. Vous dites « Bonjour », il répond « Comment allez-vous ? ». Il paraît poli, mais il se fiche éperdument de votre santé. Il a seulement appris qu’après « bonjour » vient presque toujours « comment allez-vous ».

Je vous dois ici la première mise en garde de ce guide, celle que je vous ai promise en introduction. Le perroquet est une bonne image, mais il a une limite, et elle arrive vite. Un vrai perroquet répète ce qu’il a entendu. Les machines, elles, produisent en permanence des phrases que personne n’a jamais écrites avant elles. Elles ne recopient pas, elles recombinent. Gardez donc le perroquet pour ce qu’il explique très bien, l’absence totale de compréhension derrière des mots parfaitement choisis. Mais dès qu’il s’agira de comprendre d’où sortent ces phrases inédites, il faudra le laisser sur son perchoir et prendre une autre image. Ce sera l’affaire des deux prochains chapitres.

Il reste une conséquence de tout ça, et elle est plus dérangeante qu’il n’y paraît. L’effet ELIZA fonctionne dans les deux sens. On sait qu’il faut se méfier quand la machine semble compatissante. On oublie qu’il faut aussi s’en méfier quand elle vous flatte. Quand elle ouvre par « Excellente question », ce n’est pas une évaluation, c’est une tournure. Elle ne vous trouve ni brillant ni ennuyeux. Elle enchaîne des mots dont elle a constaté qu’ils enchaînent bien.

Vous ne parlez donc pas à un oracle. Vous manipulez un outil, très sophistiqué, fait de mathématiques et de lignes de code. Un perroquet savant qui a lu à peu près tout internet et qui n’en a rien retenu, au sens où vous retenez quelque chose.

Le jour où vous aurez vraiment oublié le cerveau dans la boîte, quelque chose changera dans votre façon de vous en servir. Vous cesserez de tourner vos phrases. Vous lui demanderez trois fois de suite la même chose sans culpabiliser. Vous lui direz que sa réponse est mauvaise, sans ménagement, parce qu’il n’y a personne à ménager. Vous reprendrez le contrôle, et vous oserez tout lui demander.

Mais pour maîtriser ce perroquet, il faut soulever le capot. Comprendre par quel tour de force il transforme nos doutes, nos poèmes et nos questions en quelque chose qu’il sait manipuler : des nombres.

C’est exactement ce que nous allons voir. Respirez un grand coup. On va transformer des mots en mathématiques, et vous allez voir, ce n’est pas si compliqué.