Des mots transformés en nombres

Nous venons de voir que la machine ne pense pas, qu’elle ne ressent rien et qu’elle n’a pas la moindre idée de ce que signifient les mots qu’elle emploie.

Mais alors, comment fait-elle pour ne jamais répondre « table » quand on lui parle de « chaise » ? Comment arrive-t-elle à écrire un poème sur la tristesse sans savoir ce qu’est une larme ? Puisqu’elle ne comprend pas le sens de nos phrases, comment parvient-elle à donner l’illusion parfaite du contraire ?

La réponse tient en un mot : la géométrie.

Pour la machine, le sens d’un mot n’est rien d’autre que sa position dans l’espace.

C’est sans doute l’idée la plus vertigineuse de l’IA moderne, et vous allez voir qu’elle s’attrape en cinq minutes. Oubliez le code, imaginez une carte de géographie.

Imaginez que vous deviez ranger tous les mots de la langue française sur une très grande feuille de papier, avec une seule consigne : placer côte à côte ceux qui parlent de la même chose.

Vous allez écrire « chien » juste à côté de « chat ». Un peu plus loin, « vache » et « cheval ». Vous venez de créer le quartier des animaux domestiques. Le mot « voiture », lui, ne restera pas dans les parages. Vous l’emmenez à l’autre bout de la feuille, près de « camion », « route » et « moteur ». Voilà le quartier des transports.

Maintenant, que faites-vous de « vétérinaire » ? Quelque part entre le quartier des animaux et celui des médecins, forcément. Et « niche » ? Juste à côté de « chien », mais légèrement en direction des maisons.

Faites cela avec les dizaines de milliers de mots du dictionnaire et vous obtenez une carte assez fascinante, où la distance entre deux mots dit à quel point leurs sens sont proches. « Pomme » et « poire » seraient voisins de palier. « Pomme » et « tracteur » vivraient dans des pays différents.

C’est exactement ce que font les ingénieurs pour apprendre le langage aux machines. Sauf qu’ils ne travaillent pas sur une feuille en deux dimensions.

Deux dimensions, c’est beaucoup trop peu. Il faudrait ranger « pomme » près de « poire » pour le fruit, près de « ordinateur » pour la marque, près de « Normandie » pour le cidre, et une feuille de papier ne permet pas d’être à trois endroits à la fois. La machine utilise donc une carte à des centaines, parfois des milliers de dimensions. Impossible à se représenter pour un cerveau humain, jeu d’enfant pour un ordinateur. Chaque mot y reçoit des coordonnées précises, une adresse, une sorte de point GPS dans un espace que personne ne verra jamais.

Reste une question que tout le monde se pose à ce moment-là, et qui est la bonne : qui dessine cette carte ?

Personne. C’est là que ça devient beau.

Aucune équipe d’ingénieurs n’a placé les mots un par un, le dictionnaire dans une main et la souris dans l’autre. La carte se dessine toute seule, à partir d’un principe qu’un linguiste britannique avait formulé dès les années cinquante, bien avant que les ordinateurs sachent en faire quoi que ce soit : on connaît un mot à ses fréquentations.

Prenez un mot dont vous ignorez tout, « wampf », et lisez ces trois phrases. Le wampf dormait devant la cheminée. Il a sorti le wampf avant la nuit. Le wampf du voisin aboie sans arrêt. Vous n’avez pas eu besoin de définition. Vous avez simplement regardé la compagnie que ce mot fréquente, et vous avez su où le ranger.

La machine fait la même chose, sur des milliards de phrases. Elle constate que « chien » et « chat » apparaissent souvent entourés des mêmes mots, et elle rapproche un peu leurs deux adresses. Elle constate que « chien » et « boulon » ne se croisent jamais, et elle les éloigne. Répétez l’opération des milliards de fois, et la carte s’organise d’elle-même. Les quartiers apparaissent sans que personne ne les ait tracés.

Une précision au passage, parce qu’elle explique beaucoup de comportements bizarres de ces machines. Ce ne sont pas exactement des mots qui reçoivent une adresse, mais des morceaux de mots. Avant tout calcul, le texte est découpé en fragments : les mots courants forment un fragment à eux seuls, les mots rares sont taillés en plusieurs bouts. « Anticonstitutionnellement » est débité en tranches, comme un saucisson. C’est pour cette raison qu’une IA peut buter sur le nombre de lettres d’un mot alors qu’elle vous rédige une dissertation impeccable : elle ne voit pas des lettres, elle voit des tranches.

Token

Un de ces fragments de texte. Comptez environ trois quarts d’un mot en moyenne pour le français. Quand un service d’IA facture « au token », il facture à la tranche de saucisson.

Embedding

Les coordonnées d’un token sur la carte. Inutile de chercher la traduction française, tout le monde emploie le terme anglais.

Vecteur, espace vectoriel

La liste de coordonnées, et la carte tout entière. Deux mots impressionnants pour une idée que vous venez de comprendre en dix minutes.

Et c’est là que quelque chose d’inouï devient possible. Puisque les mots sont devenus des nombres et qu’ils occupent une position précise, la machine peut faire des mathématiques avec le langage. Additionner et soustraire des idées.

L’expérience la plus célèbre date de 2013. Des chercheurs prennent les coordonnées du mot « roi ». Ils soustraient la direction du mot « homme », ajoutent celle du mot « femme », puis regardent quel mot se trouve à l’adresse d’arrivée.

roi − homme + femme = reine

Enfin, presque. Il fallait préciser une chose à la machine : ne pas répondre par l’un des trois mots de la question. Sans cette consigne, elle s’arrête sur « roi », qui reste son plus proche voisin, et vous renvoie tranquillement votre propre question en guise de réponse.

Le détail ne gâche rien, il rend l’histoire encore plus parlante. Elle avait tracé la bonne ligne et atteint la bonne région de sa carte, sans jamais soupçonner qu’on lui posait une devinette. Elle ne sait pas ce qu’est la royauté, elle ne sait pas ce qu’est le genre. Mais dans son espace, l’écart qui sépare un roi d’une reine est le même que celui qui sépare un homme d’une femme. Elle a suivi une parallèle, rien de plus.

Refaites l’essai avec des villes. Paris, moins France, plus Italie. La machine se déplace et atterrit sur Rome. Elle ignore ce qu’est une capitale. Elle a juste remarqué que la relation entre un pays et sa grande ville se traduit, sur sa carte, par un déplacement de même longueur et de même direction.

C’est un bouleversement complet. En transformant le vocabulaire en géométrie, on a donné à la machine le pouvoir de manipuler des concepts sans jamais avoir besoin de les comprendre.

Quand vous lui demandez de traduire, elle ne consulte aucun dictionnaire bilingue. Elle voit que « dog » et « chien » habitent le même quartier, au milieu de la même constellation d’idées, et elle en déduit que l’un vaut l’autre. Pareil pour les synonymes : elle ne réfléchit pas au sens, elle regarde qui habite dans la rue.

Un peu comme un bibliothécaire aveugle qui ne pourrait lire une seule ligne de ses rayonnages, mais connaîtrait au millimètre la position de chaque volume. Demandez-lui un ouvrage sur le jardinage, il ira le chercher les yeux fermés, parce qu’il sait qu’il est rangé entre celui sur les tomates et celui sur les râteaux.

Elle ne sait rien, mais elle sait où tout se trouve.

Maintenant, la fissure. Parce qu’il y en a une, et je vous ai promis de vous la montrer à chaque fois.

Une carte, c’est figé. Or prenez cette phrase : l’avocat a demandé une suspension d’audience. Puis celle-ci : l’avocat était trop mûr. Même mot, deux adresses qui n’ont rien à voir. Si chaque mot possédait une position fixe et définitive, la machine serait condamnée à choisir une fois pour toutes, et à se tromper une fois sur deux.

C’est d’ailleurs ce qui se passait avec les premiers systèmes. Le mot avait une adresse, une seule, et tant pis pour les malentendus. Les modèles d’aujourd’hui font autre chose : l’adresse d’un mot se recalcule à chaque phrase, en fonction de ce qui l’entoure. « Avocat » n’a pas de position définitive, il a une position provisoire, négociée avec ses voisins immédiats. La carte ne se contente plus d’exister, elle se redessine légèrement à chaque fois que vous appuyez sur Entrée.

Gardez donc l’image de la carte, elle reste juste sur l’essentiel : le sens est une affaire de position et de distance. Mais retirez-lui le papier glacé. Ce n’est pas un atlas, c’est une carte vivante, qui bouge au fur et à mesure de votre phrase.

Et quand la machine se trompe, quand elle rapproche deux idées qui n’avaient rien à faire ensemble, c’est très souvent là qu’il faut chercher. Deux concepts devenus voisins par accident, parce que les humains, sur internet, les ont écrits mille fois côte à côte. La carte n’invente aucun préjugé. Elle enregistre les nôtres avec une fidélité déprimante. Nous y reviendrons au chapitre 6, c’est un sujet à lui tout seul.

Vous savez désormais que votre assistant ne manipule pas des idées mais des adresses. Reste la question suivante, qui est le cœur du réacteur.

Comment fait-il pour écrire des phrases qui tiennent debout ? Comment aligne-t-il ces mots pour vous raconter une histoire ou vous expliquer un théorème, au lieu de vous recracher une liste de voisins de palier ?

La réponse est le secret de fabrication qui a permis à ces machines de conquérir le monde en quelques mois. Préparez-vous : on entre dans la machine à deviner la suite.