Rachid Taleb tient les fiches techniques d'un grossiste en plomberie à Roubaix, six cents références, et chacune passe par un modèle avant de partir au catalogue. Sa question de la première semaine n'était pas de savoir si le texte était bon. Elle était de savoir pourquoi le français lui coûtait plus cher que l'anglais pour une fiche de la même longueur.
La réponse tient dans la mécanique, et la mécanique ne sert qu'à cela : chaque fait sur la façon dont la machine produit une phrase annonce une panne précise, et une panne qu'on attend cesse d'être un caprice.
Le chiffre est tombé avant le comptage
Le catalogue de Rachid Taleb a un champ de désignation limité à 40 caractères, et une désignation trop longue est coupée à la saisie sans avertissement. Il a donc pris l'habitude de demander, pour chaque référence douteuse, si la désignation tient dans le champ. Pour « Raccord laiton à joint plat 15/21 femelle », la réponse est revenue en un mot, oui, suivie d'une phrase qui l'expliquait : la chaîne compte 38 caractères, il reste donc deux caractères de marge.
Elle en compte 41, espaces compris, et elle ne tient pas. Le compte de 38 n'a été fait nulle part. Il est arrivé après le oui, parce qu'un oui appelle un nombre inférieur à 40 et que 38 est un nombre inférieur à 40 qui a l'air d'avoir été mesuré.
C'est l'ordre qui produit cela. Un modèle s'engage sur chaque mot avant d'avoir vu le suivant, et rien ne revient en arrière effacer un mot déjà écrit. Une fois le oui posé, la suite la plus probable d'un oui est ce qui soutient un oui, et cette suite s'écrit exactement dans les mêmes phrases qu'une conclusion.
D'où la lecture qui vaut pour toute vérification chiffrée. Une réponse donnée avant son calcul est une défense, pas une conclusion. Le remède est dans l'ordre de la demande : faites poser le calcul d'abord et la conclusion ensuite, et le nombre cesse d'avoir à justifier une réponse déjà prise.
Le modèle n'a jamais vu une lettre de votre français
Avant d'arriver à la machine, un texte est découpé en jetons, et un jeton n'est pas un mot mais un morceau fréquent : parfois un mot entier, parfois une syllabe, parfois une seule lettre accentuée. Le modèle reçoit une suite de numéros de jetons et rend un score pour chaque jeton candidat suivant. La lettre, comme unité, n'existe à aucun moment du trajet.
C'est là que se trouve la facture de Rachid Taleb, et ce n'est pas le modèle qui est en cause, c'est le découpage. Les vocabulaires de jetons ont été construits sur des corpus où l'anglais domine, donc un mot anglais courant tient souvent en un jeton là où son équivalent français en demande deux ou trois. L'élision coupe, le trait d'union coupe, et une voyelle accentuée est rarement aussi bon marché que sa voisine non accentuée. Ne prenez pas un rapport tout fait : passez cinq de vos propres fiches dans un visualiseur de jetons et lisez le nombre, parce qu'il dépend du découpeur et de votre texte.
Deux conséquences, et elles sont chiffrables sur votre corpus plutôt que sur une moyenne. La fenêtre est comptée en jetons, donc elle tient moins de français que d'anglais, et un lot de fiches qui passait entier passe soudain tronqué. Et la facturation est comptée en jetons, donc six cents fiches françaises coûtent davantage que les mêmes six cents fiches en anglais, à texte égal.
La même mécanique annonce une famille de pannes qui n'a rien à voir avec l'argent. Tout ce qui porte sur les lettres d'un mot est aveugle : compter les s, trouver les mots de sept lettres, vérifier une longueur. Le remède est mécanique lui aussi. Pour compter des lettres, faites d'abord écrire le mot lettre par lettre. Une fois les lettres écrites dans la conversation, chacune est devenue un jeton visible, et le comptage redevient une continuation ordinaire.
L'ordre
L'étage qui porte l'actualité est celui qui ne soutient rien
Lu vers le bas c'est une liste de lectures. Lu vers le haut c'est ce qui porte quoi, et seule la seconde lecture explique quelque chose.
- Le paysageQui fabrique quoi. Le seul étage qui sera faux dans un anlà où tout le monde commence
- Les limitesDes échecs structurels, illisibles tant que les étages du dessous manquent
- Les architecturesLes schémas de la génération actuelle. Sautables à la première lecture
- Les tokens et les plongementsLe texte devenu nombres, et la raison pour laquelle les lettres sont invisibles
- L'idéeUn jeton à la fois, chacun la suite la plus probableporte tout le reste
Rien n'est numéroté ici, parce que rien n'est une étape. On peut tenir l'étage du haut pendant un an et ne rien prévoir avec.
Il n'y a pas de mémoire, seulement la transcription relue
Entre deux messages, rien n'est retenu. Toute la conversation est relue à chaque tour, ou elle n'est pas là. Ce que vous prenez pour de la mémoire est le fait que la transcription entière est renvoyée à chaque fois, et ce que vous prenez pour de l'oubli est le moment où elle a été raccourcie pour tenir dans la fenêtre.
La conséquence se voit chez Rachid Taleb autour de la quarantième fiche. La règle qu'il avait posée au premier message, interdire les superlatifs commerciaux dans une désignation technique, cesse de s'appliquer, et rien ne le signale. Elle n'a pas été oubliée au sens où une personne oublie : elle est sortie de la fenêtre, et une instruction hors de la fenêtre n'a jamais existé. Une règle qui doit tenir sur six cents fiches se remet dans chaque demande, ou se met dans un emplacement d'instruction permanente, et jamais dans un premier message.
Baisser la température ne rend pas juste
À la dernière étape, le modèle a un score pour chaque jeton candidat, et il en tire un. Le tirage est réglable, et c'est ce que règle la température. Deux demandes identiques donnent donc deux réponses différentes, et cet écart n'apprend rien sur votre demande, ce qui est la première chose à savoir avant de comparer deux essais.
Le réglage est le plus mal compris de tous, et l'erreur est toujours la même. Baisser la température fait répéter le modèle, elle ne le rend pas juste. À zéro il prend chaque fois le jeton le mieux noté, donc il produit la formulation la plus banale qu'il connaisse, avec la même assurance et les mêmes erreurs. La justesse ne se règle pas à cet endroit, parce qu'aucun des scores ne mesure la vérité. Le machine learning dit d'où ces scores viennent, et c'est le détour qui rend la phrase précédente évidente.
Ce qu'un dessin de l'intérieur peut dire
Toute image de l'intérieur est honnête jusqu'ici et pas plus loin
Des nombres entrent à gauche, un score pour chaque jeton candidat sort à droite, et le milieu n'est pas légendé parce que personne ne sait le légender.
- Les jetons envoyésDes morceaux de mots, déjà des nombres
- Des couches qui les mélangentDes dizaines, chacune regardant toutes les autres
- Encore les mêmesAucune couche ici n'a de rôle qu'on saurait nommer
- Un score par jetonDes dizaines de milliers, un par candidat
- Un jeton, tiréTiré au sort, pas pris en tête de liste
La seule affirmation de structure que ce dessin porte est que tout élément d'une couche atteint tout élément de la suivante. Il ne peut pas dire pourquoi la réponse était oui, et aucun meilleur dessin de la même chose ne le pourra.
L'ordre se lit de bas en haut, et le blocage est en haut
Le blocage de ce sujet est de tenir le vocabulaire pour la mécanique. Une personne qui sait dire transformeur, jeton et plongement, et qui ne peut prévoir aucune des quatre pannes ci-dessus, a lu un glossaire. Le signe n'est pas de ne pas savoir répondre, c'est de ne rien avoir à parier : devant une réponse chiffrée, savoir d'avance si elle mérite d'être recomptée.
L'ordre part du bas. L'idée derrière les modèles porte tout le reste, et sans elle chaque étage au-dessus est une liste de noms. Les tokens et les plongements viennent juste après, parce que c'est l'étage où le français cesse d'être du texte et devient une facture. Les architectures se sautent à la première lecture sans dommage, et se lisent bien la seconde fois.
Le paysage passe en dernier, et c'est le renversement que ce sujet demande. Le paysage des modèles est l'étage où presque tout le monde commence, parce que c'est celui dont on parle, et c'est le seul dont la totalité sera fausse dans un an. Lu en premier, il donne des noms et aucune prévision. Lu en dernier, il devient un choix entre des compromis qu'on sait nommer, et pour un lecteur français ce choix comprend le lieu où tourne le modèle autant que sa qualité.
Ce qu'on ouvre en 2026, et ce que chacun a remplacé
Un visualiseur de jetons est l'outil qui rend cette page vérifiable en dix minutes. Celui d'OpenAI se consulte dans un navigateur, la bibliothèque tokenizers de Hugging Face fait la même chose en trois lignes de Python, et l'un comme l'autre ont remplacé le comptage de mots comme approximation du coût. Collez-y une de vos fiches françaises et sa traduction anglaise : l'écart s'affiche, et il est le vôtre plutôt qu'une moyenne lue quelque part.
Ollama fait tourner un modèle sur la machine et donne la main sur la température et sur la longueur de la fenêtre, ce qu'aucune fenêtre de conversation grand public ne propose. Il a remplacé la compilation à la main des moteurs d'inférence. Il est gratuit et libre, le coût est le disque et la mémoire vive, et rien ne sort de la machine, ce qui en fait l'endroit où l'on peut essayer une température de zéro sur un vrai document de travail.
Mistral publie plusieurs de ses modèles sous licence ouverte, et c'est le seul moyen honnête de voir ce qu'un modèle est : des fichiers de nombres, téléchargeables, qu'on héberge en France chez OVHcloud ou Scaleway. Cela a remplacé l'idée que la mécanique décrite ici serait un secret industriel inaccessible. Pour un lecteur dont l'employeur ou le client impose une hébergement européen, c'est aussi la seule branche praticable.
Reste la question que la mécanique pose et ne referme pas. Chacun des quatre faits ci-dessus annonce un échec qui ne sera jamais corrigé par une mise à jour, parce qu'il n'est pas un défaut de fabrication. Les limites sont l'inventaire de ceux-là, et la façon de les distinguer de ce qui n'est qu'un modèle du mois dernier.