Der größte Erzeuger in drei Jahren Anlieferungen einer Genossenschaftsmühle im Kraichgau war der falsche, und der ganze Fehler war ein Umlaut. Bettina Mahnke hatte mit dem zweitgrößten schon vierzehn Tage über die Konditionen des kommenden Jahres verhandelt, bevor jemand ordentlich gezählt hat.
Der Auszug aus der Waage waren 2.140 Zeilen: Datum, Erzeuger, Kilo, Preis. Das Hofgut Grünsbach steht darin als Hofgut Grünsbach, Hofgut Gruensbach, HOFGUT GRUNSBACH, Hofgut Grünsbach GmbH und schlicht Grünsbach. Ein Name in fünf Schreibweisen ist fünf Lieferanten, bis jemand sie zusammenlegt.
Fünf Schreibweisen: zwei davon macht der Umlaut
Zwei dieser fünf gibt es nur, weil das Deutsche einen Umlaut hat und die Tastatur an der Waage keinen. Wer ue tippt, legt eine zweite Firma an; wer im Großbuchstabenfeld die Punkte verliert, eine dritte. Dazu kommt die Rechtsform, die manchmal mitgetippt wird und manchmal nicht. Eine englische Lieferantenliste kennt nur die letzte dieser drei Quellen, eine deutsche alle drei.
So sortiert, wie ausgelesen, führte der Mühlbacher Hof mit 94.860 kg und das Hofgut Grünsbach lag mit 48.990 kg auf dem zweiten Platz. Die vier anderen Schreibweisen bringen 27.140 kg, 19.050 kg, 10.430 kg und 4.520 kg dazu, und damit hat Grünsbach 110.130 kg geliefert und liegt mit einem Abstand vorn, den niemand gesehen hatte. Jeder andere Erzeuger in der Tabelle blieb genau dort, wo er war.
Die Prüfung, die das gefangen hätte, ist eine Zeile und dauert vier Sekunden. Die verschiedenen Werte einer Spalte zählen, bevor eine Summe daraus geglaubt wird: 38 verschiedene Namen in einer Spalte bei 31 Erzeugern, mit denen die Mühle Verträge hat, ist ein Befund, und es ist ein Befund, den man vor der Auswertung bekommt statt nach vierzehn Tagen davon.
Das Trennzeichen: der deutsche Fehler kommt beim Import
Vor allem anderen steht hier eine Hürde, die eine englische Fassung dieser Seite nicht hat. Die Waage schreibt eine Datei mit Semikolon als Trennzeichen und Komma als Dezimalzeichen, weil beides deutsch richtig ist. Wird dieselbe Datei in einer Tabellenkalkulation geöffnet, deren Gebietsschema auf Englisch steht, wird aus jeder Zahl entweder Text oder etwas anderes.
Genau so ist die teuerste Zeile dieses Auszugs entstanden. Ein Komma, das beim Import verschwindet, macht aus 912,00 kg die Zahl 91.200, und nichts daran sieht kaputt aus: Die Spalte bleibt eine Zahlenspalte, die Summe rechnet weiter, und die Zeile steht ordentlich zwischen ihren Nachbarn. Der Punkt als Tausendertrennzeichen macht dieselbe Sache in die andere Richtung, und aus 1.250 wird die Zahl 1,25 oder die Zahl 1250, je nachdem, wer die Datei zuerst geöffnet hat.
Deshalb gehört das Gebietsschema in dieselbe Notiz wie alles andere, was verändert wurde. Was geändert wurde, gehört aufgeschrieben, sonst ist die Antwort nicht wiederholbar, und derselbe Auszug durch dieselben acht Entscheidungen gibt im nächsten Quartal dieselben Zeilen, durch jemandes Erinnerung daran nicht. Das ist das ganze Argument von Datenbereinigung, und in einem Betrieb, der ohnehin eine Verfahrensdokumentation führt, ist es kein neuer Gedanke, sondern ein Formular, das schon existiert.
Was ankam: und was sich zählen ließ
Von den 2.140 ausgelesenen Zeilen waren 111 Probewägungen aus der Umstellung auf die neue Waage, alle auf denselben Dienstag datiert. Bleiben 2.029. Weitere 56 hatten überhaupt kein Gewicht, und leer ist nicht null: Eine Anlieferung ohne eingetragenes Gewicht ist eine Zeile, über die nichts bekannt ist, und sie als Anlieferung von null Kilo zu führen zieht jeden Durchschnitt nach unten. Bleiben 1.973.
Dann die Daten. 71 Zeilen kamen aus einem älteren Auszug in einer Schreibweise, die sich in beide Richtungen lesen lässt, also kann 03/04 der dritte April oder der vierte März sein. Ein mehrdeutiges Datum schiebt eine Saison lautlos ins falsche Quartal, und anders als eine falsche Zahl sieht es nie falsch aus. Diese 71 hatten nichts, womit sich die Sache entscheiden ließe, also sind sie herausgefallen, und übrig bleiben 1.902 Zeilen, die je eine Bedeutung haben.
238 Zeilen entfernt von 2.140, und keine der Entfernungen ist strittig, sobald sie aufgeschrieben ist. Das ist das eigentliche Ergebnis einer Bereinigung.
Die Ordnung
Vier Glieder, und das eine, das meistens geschlossen gezeichnet wird
Keines davon wiegt schwerer als ein anderes, und die Antwort taugt nur so viel wie das Glied, das übersprungen wurde.
- BeschaffenWas jemand aufzuzeichnen beschloss, entscheidet, was sich fragen lässt
- BereinigenDas Glied, das die Kurse zumachen und die Woche im Beruf auffrisst
- AuswertenMedian neben Mittelwert, und ein Blick auf alles, was widerspricht
- ZeigenWo eine ehrliche Auswertung noch irreführt, über ihre Achse
Das offene Glied ist nicht das schwerste. Es ist das, dessen Fehler sich nicht melden, was eine andere und schlechtere Eigenschaft ist.
Der Median hält: der Schnitt nicht
Die durchschnittliche Anlieferung über die bereinigten Zeilen kam auf 470 kg heraus, was in der Mühle niemand wiedererkannte. Eine Zeile war der Grund: die 91.200 aus dem vorigen Abschnitt. Berichtigt auf 912,00 kg liegt der Schnitt bei 423 kg.
Der Median lag beide Male bei 370 kg. Ein Median überlebt eine absurde Zeile, ein Mittelwert nicht, und deshalb lohnt es sich, beide nebeneinander auf jede Tabelle zu schreiben, die noch niemand bereinigt hat: Wo sie stark auseinandergehen, zeigt die Abweichung auf die Zeilen, die anzusehen sind. Eine Tabelle so zu lesen ist Auswertung, und das meiste davon ist so unglamourös.
Die Achse behauptet mit
Das Schaubild für die Generalversammlung zeigte die Monatsmengen mit einer senkrechten Achse, die bei 30 Tonnen anfing. Der Anstieg des Jahres betrug etwa ein Zehntel, und auf dieser Achse sah es aus, als hätte die Mühle ihren Umschlag ungefähr verdoppelt.
Beabsichtigt hat das niemand; die Zeichenbibliothek hat die Achse gewählt, wie Zeichenbibliotheken das tun, um den Platz zu füllen. Eine abgeschnittene Achse ist eine Behauptung, und meist nicht die gemeinte, also lautet die Regel, den Nullpunkt selbst zu entscheiden und ihn zu benennen. Visualisierung ist das letzte Glied und das, an dem eine ehrliche Auswertung noch in die Irre führen kann.
Vor und nach einem Zusammenlegen
Eine Zeile hat sich bewegt, und das hat die Antwort geändert
Das Zusammenlegen von fünf Schreibweisen eines Hofguts hat die Summe eines Erzeugers verändert und jede andere Zeile genau dort gelassen, wo sie war.
wie ausgelesennach dem Zusammenlegen der Schreibweisen
- Hofgut Grünsbach48.990 kg110.130 kgFünf Schreibweisen, ein Hofgut, drei Jahre
- Mühlbacher Hof94.860 kg94.860 kgDurchgängig gleich geschrieben. Nichts hat sich bewegt
- Erzeugerhof Selz29.730 kg29.730 kgAuch hier nichts, und genau dafür steht die Zeile in der Zeichnung
Die beiden Zeilen, die sich nicht bewegt haben, arbeiten hier genauso hart wie die eine, die es tat. Ein Vorher und Nachher mit nur der geänderten Zeile darauf ist eine Werbung für die Änderung.
Vier Glieder: eines wird immer geschlossen gezeichnet
Die Reihenfolge ist die Kette. Datenbeschaffung zuerst, denn was sich fragen lässt, ist davon entschieden, was jemand aufzuzeichnen beschlossen hat. Dann das Bereinigen, dann die Auswertung, dann das Schaubild, und Analysewerkzeuge neben allen vieren statt vor ihnen.
Rückwärts genommen, und so wird es meistens gelehrt, lernt jemand Zeichnen und Statistik an aufgeräumten Übungsdaten und trifft den ersten echten Auszug im Beruf. Jeder Übungsdatensatz hat seine 238 Zeilen längst von jemandem entfernt bekommen, und diese Entfernung war die Lektion.
Die saubere Tabelle: der Halt
Hier hören Menschen an dem Punkt auf, an dem die Datei ohne Fehlermeldung lädt. Nichts beschwert sich, jede Spalte hat einen vernünftigen Typ, die Summen gehen auf, und die Tabelle sieht jetzt aus wie die aus der Schulung. Es fühlt sich nicht wie ein Halt an, weil die Arbeit wirklich schwerer geworden ist und die Fehler wirklich weg sind.
Was fehlt, ist die Gewohnheit, die Tabelle zu fragen, was sie nicht wissen kann. Die 1.902 Zeilen aus dem Kraichgau können nichts über einen Erzeuger sagen, mit dem die Mühle vor der neuen Waage aufgehört hat, können eine zurückgewiesene Anlieferung nicht von einer unterscheiden, die nie kam, und können kein Wort über den Preis je Kilo sagen, weil die Preisspalte das Abgerechnete führt und die Kilospalte das am Tag Verwogene. Jeder dieser Sätze handelt von der Erhebung und nicht von den Daten, und keiner davon ist in der Datei zu sehen.
Drei Werkzeuge für eine Datei, Stand 2026
DuckDB rechnet SQL unmittelbar über CSV- und Parquet-Dateien auf einem Notebook, ohne dass ein Server aufzusetzen wäre, kostenlos und quelloffen, Stand 2026, und hat das Einladen einer Datei in eine Datenbank ersetzt, bevor sich überhaupt etwas fragen ließ. Für diese Sprache zählt eine Kleinigkeit besonders: Trennzeichen und Dezimalzeichen werden beim Lesen angegeben, also fällt die Entscheidung sichtbar in einer Zeile statt unsichtbar im Gebietsschema. Die Zählung der verschiedenen Werte von oben ist eine Abfrage gegen die ausgelesene Datei, bevor sie irgendwohin importiert wurde.
OpenRefine ist für genau das Grünsbach-Problem gebaut, kostenlos und quelloffen, Stand 2026: Es gruppiert Werte, die einander fast gleichen, und bietet das Zusammenlegen an, was das Sortieren einer Spalte von Hand und das Hinsehen ersetzt hat. Es führt außerdem die Liste der angewandten Schritte mit, womit die Wiederholbarkeit eine Datei wird statt eines Vorsatzes.
Pandas bleibt für die Auswertung selbst die Voreinstellung, kostenlos und quelloffen, Stand 2026, und hat die Tabellenkalkulation mit einer über 2.140 Zeilen heruntergezogenen Formel ersetzt, samt der einen Zeile, an der jemand aufgehört hat zu ziehen.
Bleibt, was keine Bereinigung heilt. Jede Entscheidung oben betraf Zeilen, die es schon gab, und die eigentliche Frage ist, was nie aufgezeichnet wurde: Die Mühle hat keine Zeile für eine Anlieferung, die angeboten und abgelehnt wurde, also wird keine Arbeit an dieser Datei je sagen, was sie nicht gekauft hat. Das ist eine Frage der Erhebung und nicht der Auswertung, und dieselbe Frage liegt unter Maschinelles Lernen, wo aus einer fehlenden Zeile ein fehlender Fall wird. Sie liegt auch unter KI-Entwicklung, wo ein Modell aus genau diesen Zeilen antworten soll, und sie ist der Grund, warum Webanalyse ihre Zeit vor allem darauf verwendet, was zu erfassen ist, statt darauf, was zu rechnen ist.