Le plus gros apporteur de la cave n'était pas le plus gros, et la cause tenait dans une apostrophe. Quatre orthographes d'un même domaine s'étaient réparties dans le fichier, et pendant une quinzaine le tableau des apports a désigné le mauvais adhérent.
La cave coopérative où travaille Camille Estève, près de Béziers, reçoit les apports de quarante et un adhérents pendant les vendanges. Le pont-bascule enregistre chaque livraison, le logiciel exporte un fichier, et le classement des apports par domaine sert à répartir des primes de qualité. C'est un fichier de gestion ordinaire, il n'a jamais été faux, et il a donné une réponse fausse.
Ce que la fusion a fait à la réponse
Le domaine des Aresquiers apparaissait sous quatre écritures : le nom complet, une abréviation avec un point, une version tout en majuscules sans accent, et une version suivie de la forme juridique. Le tableur les traitait comme quatre apporteurs, chacun avec un total modeste, aucun dans les premiers.
Réunis, ils font 10 885 kg sur trois récoltes au lieu de 4 980 kg pour la seule écriture la plus fréquente, et le domaine passe premier. Les deux apporteurs suivants n'ont pas bougé d'un kilo : le domaine du Pont Vieux reste à 9 410 kg et la SCEA Beaumas à 3 120 kg, parce qu'ils ont été saisis d'une seule façon depuis le début.
Ces deux lignes immobiles font autant de travail que celle qui a bougé. Un avant et après qui ne montre que la ligne modifiée est une publicité pour la modification, et ne dit rien de ce qui aurait pu bouger et n'a pas bougé. Un nom écrit de quatre façons est quatre fournisseurs tant que personne ne les réunit, et cette réunion est une décision, pas une opération technique : quelqu'un a regardé les quatre lignes et affirmé qu'il s'agit du même domaine.
Le geste qui aurait évité la quinzaine tient en une commande. Comptez les valeurs distinctes d'une colonne avant de faire confiance au moindre total construit dessus. Quarante et un adhérents et cinquante-trois libellés de domaine, l'écart se voit en une seconde et il annonce exactement ce qui s'est passé.
L'accent n'est pas du bruit, et c'est là que le nettoyage français se distingue
La recette qui traîne partout consiste à passer les noms en minuscules et à retirer les accents avant de comparer. Sur un fichier français elle répare une chose et en casse une autre, parce qu'en français l'accent porte du sens.
- Côte et cote sont deux mots, et deux lieux-dits du secteur en portent un chacun.
- Mas des Prés et Mas des Pres sont la même saisie faite deux fois, et doivent être réunis.
- Sallèles et Salleles aussi, et une commune voisine s'écrit sans accent pour de bon.
La règle utilisable est donc en deux temps plutôt qu'en un. Le repliage des accents sert à proposer des rapprochements, jamais à les appliquer, et la liste des paires proposées se lit à l'oeil avant d'être exécutée. Cinquante-trois libellés donnent une liste de propositions qui se relit en dix minutes, ce qui est très en dessous du prix d'une prime versée au mauvais adhérent.
L'ordre
Quatre maillons, et celui qu'on dessine fermé par habitude
Aucun ne compte plus qu'un autre, et la réponse ne vaut que ce que vaut celui qui a été sauté.
- La collecteCe que quelqu'un a choisi d'enregistrer décide de ce qu'on pourra demander
- Le nettoyageLe maillon que les formations dessinent fermé et sur lequel les métiers passent la semaine
- L'analyseDes médianes à côté des moyennes, et un coup d'oeil à ce qui dépasse
- La restitutionLà où une analyse honnête peut encore tromper, par son axe
Le maillon ouvert n'est pas le plus difficile. C'est celui dont les échecs ne se signalent pas, ce qui est une autre propriété et une pire.
La date qui se lit dans les deux sens
Le second piège est celui qui coûte le plus cher en France et il ne figure jamais sur une page anglaise. Une date écrite 03/04/2024 est le 3 avril pour la bascule et le 4 mars pour un logiciel réglé sur l'usage américain, et rien dans le fichier ne dit lequel des deux a écrit la ligne.
Sur les 1 842 lignes exportées par la cave, 1 637 seulement portaient une date qui ne se lit que d'une façon. Les 1 842 de départ ont d'abord perdu 96 lignes de test laissées par une migration, toutes datées d'un même mardi, ce qui les rend reconnaissables ; il en restait 1 746. Puis 48 lignes sans poids enregistré, et une case vide n'est pas un zéro, ce qui en laissait 1 698. Puis 61 lignes dont la date se lit dans les deux sens, sans rien pour trancher, et le fichier utilisable s'arrête à 1 637.
Une date ambiguë déplace une saison de lignes dans le mauvais trimestre, en silence. Pour une cave, un apport du 3 avril rangé au 4 mars change la récolte à laquelle il appartient, donc le total qui décide de la prime. Les 61 lignes n'ont pas été devinées : elles ont été mises de côté, listées, et rendues à la personne qui a le carnet du pont-bascule.
Chacune de ces quatre bandes est une décision défendable et écrite sur une ligne. Notez ce que vous avez changé, ou la réponse n'est pas reproductible. Le fichier de nettoyage de Camille Estève tient en une page et sert deux fois : pour refaire le travail à la vendange suivante, et pour répondre à l'adhérent qui demande pourquoi son apport de novembre n'apparaît pas.
Une ligne suffit à déplacer une moyenne et pas une médiane
Le troisième réflexe est arithmétique. Une médiane survit à une ligne absurde, une moyenne non. Le pont-bascule a enregistré une livraison à trente-huit tonnes, ce qui est une remorque impossible et un zéro de trop à la saisie. Elle relève la moyenne des apports de plusieurs centaines de kilos et laisse la médiane exactement où elle était.
D'où l'habitude de les afficher côte à côte plutôt que de choisir. Un écart entre les deux est une question, pas un défaut : il dit qu'il existe des lignes très au-dessus ou très en dessous, et il faut aller les regarder avant de décider si elles sont fausses ou simplement rares. Une grosse coopérative voisine qui livre réellement beaucoup n'est pas une erreur de saisie, et seule la lecture des lignes fait la différence.
La même prudence vaut au moment de montrer le résultat. Un axe tronqué est une affirmation, et ce n'est pas celle qu'on croit faire. Le graphique des apports par domaine commencé à 3 000 kg fait paraître le premier trois fois plus gros que le deuxième alors qu'il l'est d'un sixième, et personne dans la salle du conseil ne pense à regarder le pied de l'axe.
Avant et après une seule réunion
Une ligne a bougé, et cela a suffi à changer la réponse
Réunir quatre écritures d'un même domaine a changé le total d'un apporteur et laissé tous les autres exactement où ils étaient.
tel qu'exportéaprès réunion des écritures
- Domaine des Aresquiers4 980 kg10 885 kgQuatre écritures, un seul domaine, trois récoltes
- Domaine du Pont Vieux9 410 kg9 410 kgSaisi d'une seule façon d'un bout à l'autre. Rien n'a bougé
- SCEA Beaumas3 120 kg3 120 kgRien n'a bougé ici non plus, et c'est la raison de le dessiner
Les deux lignes immobiles travaillent autant que celle qui a bougé. Un avant et après ne portant que la ligne modifiée est une publicité pour la modification.
Le blocage est le tableau propre que personne n'a interrogé
Les gens cessent de progresser ici au moment où le tableau devient joli. Plus de cases vides, plus de doublons visibles, des colonnes bien nommées : le fichier a l'air fini, donc il a l'air vrai. Rien dans son apparence ne dit combien de lignes ont été écartées ni ce qu'elles auraient changé, et c'est précisément la question que ce sujet apprend à poser.
L'ordre est celui d'une chaîne dont aucun maillon ne compte plus qu'un autre. La collecte des données vient en premier parce que ce que quelqu'un a choisi d'enregistrer décide de ce qu'on pourra demander : le pont-bascule note un poids et une heure, pas un cépage, donc aucune question sur le cépage n'aura de réponse. Le nettoyage est le maillon que les formations dessinent fermé et sur lequel les métiers passent la semaine.
L'analyse arrive ensuite, médianes à côté des moyennes et coup d'oeil à tout ce qui dépasse, puis la visualisation, qui est l'endroit où une analyse honnête peut encore tromper, par son axe. Le maillon ouvert n'est pas le plus difficile : c'est celui dont les échecs ne se signalent pas, ce qui est une autre propriété et une pire.
Ce qu'on ouvre en 2026, et ce que chacun a remplacé
Un tableur reste le bon premier outil et il faut le dire, parce que la mode consiste à le mépriser. Pour cinquante-trois libellés, un tableau croisé dynamique sur la colonne des domaines donne la liste des valeurs distinctes en trente secondes et rend visible la panne de la cave. LibreOffice le fait gratuitement et sans abonnement, ce qui compte pour une structure qui achète ses licences à l'année.
Au-delà de quelques dizaines de milliers de lignes, une bibliothèque de manipulation de tableaux en Python remplace le tableur, et elle apporte la chose que le tableur ne donne pas : un fichier de commandes qu'on relit, qu'on corrige et qu'on relance à l'identique l'année suivante. C'est ce qui transforme un nettoyage en procédure, et la procédure est ce que la cave relance à la vendange suivante sans que Camille Estève ait à s'en souvenir.
Pour les référentiels, la base Sirene et le code officiel géographique sont publics, gratuits et téléchargeables. Ils ont remplacé la liste de communes recopiée à la main dans un onglet, et ils règlent la moitié des rapprochements de noms d'un coup, parce qu'un domaine inscrit au répertoire y porte une écriture unique et un numéro qui, lui, ne s'écrit que d'une façon.
Reste la question qui vient après un fichier propre. Un tableau nettoyé est prêt à répondre, et c'est aussi à ce moment qu'il devient tentant de lui faire prévoir quelque chose. Le machine learning apprend sur les colonnes qui sont là, donc il apprend aussi les quatre orthographes si personne ne les a réunies avant, et la mesure d'audience pose la même question sur des chiffres que la loi rend structurellement incomplets.