Le miroir déformant

Nous prêtons volontiers aux ordinateurs une vertu enviable : l’objectivité. Une machine n’a pas d’humeur. Elle ne se lève pas du pied gauche, ne vote pour personne, n’a ni religion ni origine. Elle calcule, et le calcul ne ment pas.

C’est parfaitement vrai pour une calculatrice. C’est faux, et de façon assez dérangeante, pour une intelligence artificielle générative.

Vous avez d’ailleurs déjà tout ce qu’il faut pour comprendre pourquoi. Revenez à la bibliothèque infinie du chapitre 4. La machine a appris à parler en lisant des milliards de pages écrites par des humains. Or nous ne sommes pas objectifs, et nos textes non plus. Ils sont pétris de croyances, de raccourcis, d’habitudes et de clichés que nous ne voyons même plus.

La machine, elle, ne trie pas. Elle compte.

Et souvenez-vous de ce que compter veut dire pour elle. Au chapitre 2, nous avons vu qu’elle range les mots selon leurs fréquentations. Si, dans les textes qu’elle a avalés, « infirmière » apparaît mille fois près de « elle » et « chirurgien » mille fois près de « il », ces mots se rapprochent sur sa carte. Aucune intention là-dedans, aucune opinion. Juste une distance qui se réduit, calcul après calcul.

Le biais n’est donc pas une poussière tombée dans le moteur. C’est le moteur qui fonctionne normalement.

Elle n’a pas de préjugés. Elle a les nôtres, transformés en géométrie.

L’illustration la plus nette de ce piège a été vécue par Amazon, et l’affaire est devenue un cas d’école.

L’entreprise recevait tant de candidatures pour ses postes techniques qu’elle a voulu automatiser le tri. L’idée paraissait non seulement pratique, mais vertueuse : confier la sélection à une machine froide, incapable de favoritisme, débarrassée des réflexes du recruteur humain. Enfin des candidats jugés sur leurs seules compétences.

Pour l’entraîner, les ingénieurs lui ont donné à lire les CV des personnes embauchées au cours des dix années précédentes, avec une consigne simple : regarde les profils qui ont réussi chez nous, et trouve les mêmes.

La machine s’est mise au travail. Elle a commencé à écarter les candidatures féminines.

Les ingénieurs ont d’abord cherché le bug. Il n’y en avait pas. Personne n’avait programmé quoi que ce soit de tel, et on ne lui avait même pas demandé de regarder le sexe des candidats. Mais elle était excellente statisticienne, et dans dix ans d’archives, elle avait repéré un motif écrasant : les profils recrutés étaient très majoritairement masculins. Conclusion mathématique, dépourvue de la moindre méchanceté : ce trait fait partie de ce qui marche ici.

Le plus troublant vient ensuite. Comme le sexe n’était pas indiqué, elle a appris à le déduire. Un CV mentionnant la capitainerie d’une équipe féminine était pénalisé. Le nom de certaines universités réservées aux femmes faisait chuter le score. Personne ne lui avait enseigné ces indices. Elle les avait trouvés seule, parce qu’ils étaient statistiquement utiles pour reproduire le passé.

Amazon a abandonné le projet. Mais retenez la leçon, elle vaut pour tout le reste : la machine n’a pas inventé ce déséquilibre, elle l’a mesuré, puis proposé de le perpétuer avec une efficacité qu’aucun recruteur humain n’aurait atteinte.

Vous croiserez la même mécanique tous les jours, en plus discret. Demandez une histoire avec un médecin et une infirmière, observez qui reçoit un prénom et qui reste « la jeune femme ». Demandez une image de dirigeant d’entreprise à un générateur, comptez les costumes gris sur des hommes d’une cinquantaine d’années. Ni racisme ni sexisme là-dedans : une moyenne, restituée fidèlement.

Le mot « moyenne » nous amène à la fissure de ce chapitre, et elle porte sur le titre lui-même.

Un miroir, ça reflète. Fidèlement, sans rien ajouter ni retrancher. Si la machine était vraiment un miroir, elle produirait des dirigeants d’entreprise dans les proportions exactes du monde réel, avec ses minorités visibles à leur juste mesure. Ce n’est pas du tout ce qu’elle fait.

Elle ne reflète pas, elle moyenne. Et une moyenne écrase.

ce qui est majoritaire devient la norme · ce qui est minoritaire devient l’exception · ce qui est rare disparaît

Voilà le vrai mécanisme. Le probable devient le normal, et ce qui existait en petit nombre cesse simplement d’exister. Ce n’est pas un reflet du monde, c’est un monde repassé à plat, dont on a supprimé les marges. Gardez donc le miroir pour ce qu’il explique bien, le fait que tout cela vient de nous et non de la machine. Mais sachez qu’il ment sur un point essentiel : ce reflet-là est plus caricatural que l’original.

Biais algorithmique

Une régularité statistique des données d’entraînement, reproduite et généralement amplifiée par le système. Le mot « biais » n’a ici aucun sens moral, c’est un terme de statistique.

Biais d'automatisation

Notre tendance à accorder plus de crédit à une réponse parce qu’elle vient d’une machine. Le plus dangereux des deux, parce qu’il est en nous.

Alignement

Le dressage du chapitre 4, quand il sert à corriger ces travers. C’est là que se prennent les décisions dont parle la suite de ce chapitre.

Face à ce problème, les concepteurs ont évidemment réagi. C’est même l’essentiel du travail d’alignement : apprendre à la machine à refuser certaines associations, à varier ses exemples, à ne pas traiter le masculin comme la valeur par défaut de l’humanité.

Sauf que corriger un reflet oblige à répondre d’abord à une question qui n’a pas de réponse technique. Corriger vers quoi ?

Vers la réalité mesurée, avec ses déséquilibres actuels ? Vers une représentation équilibrée, qui ne correspond à aucune statistique existante ? Vers ce que l’on souhaiterait ? Chacune de ces options est défendable, aucune n’est neutre, et aucune ne se déduit d’un calcul. Ce sont des choix, et quelqu’un doit les faire.

L’affaire la plus commentée sur ce terrain remonte au début 2024. Un grand générateur d’images avait été réglé pour diversifier ses représentations, ce qui répondait à un problème réel et documenté. Mais la consigne s’appliquait mécaniquement, sans considération du contexte historique. Résultat : les soldats allemands de 1943 et les pères fondateurs des États-Unis sont sortis dans une variété d’apparences qui n’avait aucun rapport avec les faits. L’entreprise a suspendu la fonction en quelques jours.

Ce qu’il faut voir dans cet épisode n’est pas l’objectif poursuivi, qui répondait à un vrai problème, ni sa maladresse d’exécution, qui saute aux yeux. C’est plutôt ceci : à aucun moment il n’existait de réglage évident vers lequel se tourner. Ne rien corriger, c’était entériner la surreprésentation. Corriger, c’était décider de quelque chose à la place de centaines de millions de personnes. Il n’y a pas de position d’où l’on ne choisit rien.

Et cette difficulté ne s’arrête pas aux images. Quelle place accorder aux positions minoritaires sur une question scientifique ? Comment présenter un conflit dont le récit diffère selon les pays ? Quels sujets refuser de traiter, et selon quelles mœurs, celles de la Californie, de la France, du Japon ou de l’Arabie saoudite ? Chaque réponse contentera les uns et paraîtra scandaleuse aux autres, et il n’existe pas de réglage qui satisfasse tout le monde.

D’où la seule conclusion honnête que je puisse vous proposer.

Une IA neutre n’existe pas. Brute de décoffrage, elle porte les habitudes de ceux qui ont écrit ses textes. Soigneusement alignée, elle porte les valeurs de ceux qui l’ont réglée. Dans les deux cas elle a des lunettes sur le nez, et la seule vraie question est de savoir qui les a taillées, et si on vous l’a dit.

Faut-il pour autant s’en détourner ? Bien sûr que non. Ce serait comme refuser de lire un journal parce qu’il a une ligne éditoriale. La bonne attitude n’est pas le rejet, c’est de savoir lequel on lit.

Reste le plus insidieux, et je le garde pour la fin parce qu’il ne concerne pas la machine. Il vous concerne, vous.

Un collègue vous affirme qu’un profil convient moins bien pour un poste, vous lui demandez pourquoi. Un logiciel attribue une note de 62 sur 100 au même profil, et l’envie de discuter s’évapore. Le chiffre a l’air d’un fait. Il n’en est pas un, c’est une opinion passée à la moulinette, mais notre esprit critique, qui s’allume tout seul face à un humain, reste éteint face à un écran.

C’est le biais d’automatisation, et il redouble tous les autres. Une machine biaisée que l’on discute reste un outil. Une machine biaisée que l’on croit devient un juge.

Voilà pourquoi il faut la traiter comme un interlocuteur qui a des idées, pas comme un instrument de mesure. Trois réflexes suffisent, dans l’usage courant. Regardez ce qu’elle produit quand vous ne précisez rien : c’est là que ses réglages par défaut se voient. Demandez-lui explicitement plusieurs points de vue, ou des exemples variés, elle s’exécute très bien quand on le lui demande. Et gardez pour vous les décisions qui engagent quelqu’un.

Vous savez maintenant qu’elle ne pense pas, qu’elle range les mots par adresse, qu’elle devine la suite, qu’elle a été dressée, qu’elle invente parfois, et qu’elle porte des lunettes. Le capot est ouvert, vous avez vu tout ce qu’il y avait dedans.

Il ne reste qu’une chose à apprendre, et c’est la seule qui dépende entièrement de vous : comment lui parler.