Ο συνεταιρισμός διαπραγματευόταν δεκαπέντε μέρες με τον δεύτερο μεγαλύτερο προμηθευτή του, επειδή ο πρώτος ήταν γραμμένος με τέσσερις τρόπους και μετρήθηκε ως τέσσερις.
Η Ρούλα Τσαγκάρη κρατά τα βιβλία σε έναν αγροτικό συνεταιρισμό οσπρίων στα Φάρσαλα. Η εξαγωγή από το ταμείο ήταν 2.140 γραμμές: ημερομηνία, προμηθευτής, κιλά, τιμή. Ένα όνομα γραμμένο με τέσσερις τρόπους είναι τέσσερις προμηθευτές μέχρι να τους ενώσει κάποιος, και τίποτα μέσα σε ένα πεδίο κειμένου δεν λέει ότι δύο συμβολοσειρές είναι ο ίδιος άνθρωπος.
Τέσσερις γραφές ενός ονόματος, και οι τρεις είναι σωστές
Ο ίδιος προμηθευτής μπήκε στο ταμείο έτσι:
- Αφοί Παπαδόπουλου, όπως γράφεται σωστά
- ΑΦΟΙ ΠΑΠΑΔΟΠΟΥΛΟΥ, κεφαλαία, και τα ελληνικά κεφαλαία δεν παίρνουν τόνο, οπότε η γραφή είναι εξίσου σωστή
- Αφοι Παπαδοπουλου, χωρίς τόνους, όπως πληκτρολογεί όποιος βιάζεται
- Afoi Papadopoulou, από το παλιό πρόγραμμα που δεν κρατούσε ελληνικά
Αυτό είναι το σημείο όπου η ελληνική καθαριότητα δεδομένων χωρίζει από κάθε αγγλικό εγχειρίδιο. Στα αγγλικά οι τέσσερις γραφές ενός ονόματος είναι τέσσερα λάθη ή τέσσερις συντομογραφίες. Εδώ οι δύο πρώτες είναι και οι δύο ορθογραφικά σωστές, επειδή ο κανόνας των κεφαλαίων το επιβάλλει, και καμία διόρθωση δεν πρόκειται να τις ενώσει. Η ένωση είναι απόφαση που την παίρνει άνθρωπος, μία φορά, και τη γράφει κάπου.
Ο έλεγχος που θα το έπιανε παίρνει μία γραμμή και τέσσερα δευτερόλεπτα. Μετρήστε τις διακριτές τιμές μιας στήλης πριν εμπιστευτείτε ένα άθροισμα πάνω της: στήλη προμηθευτών με 41 διακριτά ονόματα σε συνεταιρισμό που συνεργάζεται με 34 προμηθευτές είναι εύρημα, και είναι εύρημα που το παίρνετε πριν από κάθε ανάλυση αντί για μετά από δεκαπέντε μέρες διαπραγμάτευσης.
Τι έκανε η ένωση στην απάντηση
Ταξινομημένος όπως εξήχθη, ο πίνακας έδειχνε πρώτο το Αγρόκτημα Ενιπέα με 9.870 κιλά και δεύτερους τους Αφούς Παπαδόπουλου με 5.420 κιλά. Προσθέστε τις άλλες τρεις γραφές, 3.180 και 2.010 και 1.350 κιλά, και ο Παπαδόπουλος έχει παραδώσει 11.960 κιλά, που τον βάζει πρώτο με διαφορά που δεν την είχε δει κανείς. Η Θεσσαλική Γη έμεινε στα 3.640 κιλά και κάθε άλλος προμηθευτής του πίνακα έμεινε ακριβώς εκεί που ήταν.
Από τις 2.140 γραμμές που εξήχθησαν, οι 111 ήταν δοκιμαστικές παραδόσεις από τη μετάπτωση στο σημερινό ταμείο, όλες με την ίδια ημερομηνία μιας Τρίτης. Έμειναν 2.029. Άλλες 56 δεν είχαν καθόλου βάρος, και το κενό δεν είναι μηδέν: παράδοση χωρίς καταγεγραμμένο βάρος είναι γραμμή για την οποία δεν ξέρετε τίποτα, και το να μετρηθεί ως παράδοση μηδέν κιλών τραβά προς τα κάτω κάθε μέσο όρο. Έμειναν 1.973.
Μετά οι ημερομηνίες. 71 γραμμές έβγαιναν από παλαιότερη εξαγωγή σε μορφή που διαβάζεται και προς τις δύο, οπότε το 03/04 μπορεί να είναι τρεις Απριλίου ή τέσσερις Μαρτίου. Μια διφορούμενη ημερομηνία μετακινεί μια εποχή γραμμών σε λάθος τρίμηνο, αθόρυβα, και σε αντίθεση με έναν κακό αριθμό δεν φαίνεται ποτέ λάθος. Εκείνες οι 71 δεν είχαν τίποτα να λύσει την ισοπαλία και αφαιρέθηκαν, αφήνοντας 1.902 γραμμές που σημαίνουν η καθεμία ένα πράγμα. Διακόσιες τριάντα οκτώ γραμμές λιγότερες, και καμία αφαίρεση δεν αμφισβητείται από τη στιγμή που γράφτηκε. Γράψτε τι αλλάξατε, αλλιώς η απάντηση δεν αναπαράγεται, και αυτό είναι όλο το επιχείρημα του Καθαρίσματος.
Η σειρά
Τέσσερις κρίκοι, και εκείνος που συνήθως σχεδιάζεται κλειστός
Κανένας δεν μετράει περισσότερο από τους άλλους, και η απάντηση αξίζει όσο ο κρίκος που παραλείφθηκε.
- Η συλλογήΌ,τι διάλεξε κάποιος να καταγράφει αποφασίζει τι μπορεί να ρωτηθεί
- Το καθάρισμαΟ κρίκος που τα μαθήματα σχεδιάζουν κλειστό και οι δουλειές του δίνουν την εβδομάδα
- Η ανάλυσηΔιάμεσοι δίπλα σε μέσους όρους, και μια ματιά σε ό,τι διαφωνεί
- Η παρουσίασηΕκεί που μια τίμια ανάλυση μπορεί ακόμη να παραπλανήσει, με τον άξονά της
Ο ανοιχτός κρίκος δεν είναι ο δυσκολότερος. Είναι εκείνος του οποίου οι αποτυχίες δεν δηλώνονται μόνες τους, που είναι άλλη ιδιότητα και χειρότερη.
Το κόμμα που είναι υποδιαστολή
Ο μέσος όρος παράδοσης πάνω στις καθαρές γραμμές βγήκε 47 κιλά, που δεν τον αναγνώρισε κανείς στα Φάρσαλα. Η διάμεσος ήταν 34. Μία γραμμή ήταν ο λόγος: παράδοση περασμένη ως 8.275 κιλά εκεί που το τιμολόγιο λέει 82,75 κιλά. Βγάλτε την και ο μέσος όρος πέφτει στα 43. Η διάμεσος αντέχει μία παράλογη γραμμή και ο μέσος όρος δεν αντέχει, γι' αυτό οι δύο αξίζει να τυπώνονται δίπλα δίπλα σε κάθε πίνακα που δεν έχει καθαριστεί ακόμη: εκεί που διαφωνούν άσχημα, η διαφωνία δείχνει τις γραμμές που πρέπει να ανοιχτούν.
Το λάθος αυτό είναι ελληνικό και επαναλαμβανόμενο. Στα ελληνικά η υποδιαστολή είναι κόμμα και ο χιλιαδικός διαχωριστής τελεία, οπότε το 8.275 και το 8,275 είναι δύο αριθμοί με χίλιες φορές διαφορά μεταξύ τους, και ένα αρχείο που πέρασε από μηχάνημα με αγγλικές ρυθμίσεις τους ανταλλάσσει χωρίς να το πει. Στην ίδια ρίζα κάθεται και ο λόγος που το ελληνικό Excel γράφει τα αρχεία CSV με ερωτηματικό αντί για κόμμα: το κόμμα είναι πιασμένο. Όποιος διαβάζει ελληνική εξαγωγή με τις προεπιλογές μιας αγγλικής βιβλιοθήκης παίρνει είτε μία στήλη είτε χίλιες φορές λάθος νούμερα, και το δεύτερο δεν βγάζει κανένα σφάλμα.
Ο άξονας είναι μέρος του ισχυρισμού
Το διάγραμμα που πήγε στη γενική συνέλευση έδειχνε μηνιαία κιλά με τον κατακόρυφο άξονα να ξεκινά από τους 30 τόνους. Η άνοδος της χρονιάς ήταν περίπου ένα δέκατο, και πάνω σε εκείνον τον άξονα έμοιαζε σαν να είχε σχεδόν διπλασιάσει ο συνεταιρισμός τη δουλειά του. Κανείς δεν το εννοούσε. Τον άξονα τον διάλεξε η βιβλιοθήκη σχεδίασης, όπως κάνουν οι βιβλιοθήκες σχεδίασης, για να γεμίσει τον χώρο.
Ένας κομμένος άξονας είναι ισχυρισμός, και συνήθως όχι αυτός που εννοούσατε, οπότε ο κανόνας είναι να αποφασίζετε εσείς τη βάση και να τη λέτε. Η Οπτικοποίηση είναι ο τελευταίος κρίκος και ο μόνος όπου μια τίμια ανάλυση μπορεί ακόμη να παραπλανήσει. Πριν από αυτόν, η Ανάλυση είναι κυρίως αυτή η δουλειά χωρίς λάμψη, και πριν από όλους η Συλλογή δεδομένων, επειδή το σχήμα όσων μπορούν να ρωτηθούν το αποφάσισε κάποιος όταν διάλεξε τι θα καταγράφεται. Τα Εργαλεία ανάλυσης στέκονται δίπλα και στους τέσσερις κρίκους αντί για πριν από αυτούς.
Πριν και μετά από μία ένωση
Μία γραμμή κουνήθηκε, και έφτανε για να αλλάξει η απάντηση
Η ένωση τεσσάρων γραφών ενός ονόματος άλλαξε το σύνολο ενός προμηθευτή και άφησε κάθε άλλη γραμμή ακριβώς εκεί που ήταν.
όπως εξήχθηαφού ενώθηκαν οι γραφές
- Αφοί Παπαδόπουλου5.420 κιλά11.960 κιλάΤέσσερις γραφές, ένας προμηθευτής, τρία χρόνια
- Αγρόκτημα Ενιπέα9.870 κιλά9.870 κιλάΓραμμένο με έναν τρόπο παντού. Τίποτα δεν κουνήθηκε
- Θεσσαλική Γη3.640 κιλά3.640 κιλάΟύτε εδώ κουνήθηκε τίποτα, που είναι ο λόγος που σχεδιάζεται
Οι δύο γραμμές που δεν κουνήθηκαν κάνουν εδώ όση δουλειά κάνει και εκείνη που κουνήθηκε. Ένα πριν και μετά με μόνο την αλλαγμένη γραμμή πάνω του είναι διαφήμιση της αλλαγής.
Το σταμάτημα είναι η αναζήτηση επίσημου πίνακα
Ο Έλληνας αναγνώστης σταματά εδώ με τρόπο που δεν έχει αγγλικό αντίστοιχο: ψάχνει επίσημο πίνακα αντί για το εξαγόμενο αρχείο που έχει μπροστά του. Ένας δημοσιευμένος πίνακας έχει κύρος, μια εξαγωγή από το ταμείο δεν έχει, και η αναζήτηση μοιάζει με σοβαρότητα. Δεν μοιάζει με σταμάτημα, επειδή η δουλειά έγινε πράγματι πιο δύσκολη και τα σφάλματα πράγματι εξαφανίστηκαν.
Κάθε διδακτικός πίνακας έχει ήδη χάσει τις δικές του διακόσιες τριάντα οκτώ γραμμές από κάποιον, και εκείνη η αφαίρεση ήταν το μάθημα. Αυτό που λείπει είναι η συνήθεια να ρωτιέται ο πίνακας τι δεν μπορεί να ξέρει. Οι 1.902 γραμμές της Ρούλας δεν λένε τίποτα για προμηθευτή που ο συνεταιρισμός σταμάτησε πριν από το σημερινό ταμείο, δεν ξεχωρίζουν μια παράδοση που επιστράφηκε από μια που δεν ήρθε ποτέ, και δεν λένε λέξη για την τιμή ανά κιλό, επειδή η στήλη της τιμής είναι ό,τι τιμολογήθηκε και η στήλη των κιλών είναι ό,τι υπογράφηκε την ημέρα.
Τι ανοίγει από την Ελλάδα το 2026
Το DuckDB τρέχει ερωτήματα κατευθείαν πάνω σε αρχεία CSV και Parquet σε ένα φορητό, χωρίς διακομιστή για εγκατάσταση, δωρεάν και ανοιχτού κώδικα το 2026, και αντικατέστησε το φόρτωμα ενός αρχείου σε βάση για να μπορέσει να ρωτηθεί οτιδήποτε. Ο έλεγχος των διακριτών τιμών παραπάνω είναι ένα ερώτημα πάνω στο εξαγόμενο αρχείο. Δηλώστε του τον διαχωριστή, γιατί το ελληνικό αρχείο σπάνια έρχεται με κόμμα.
Το OpenRefine είναι φτιαγμένο ακριβώς για το πρόβλημα του Παπαδόπουλου, δωρεάν και ανοιχτού κώδικα το 2026: ομαδοποιεί τιμές που είναι σχεδόν ίδιες και προτείνει την ένωση, το οποίο αντικατέστησε την ταξινόμηση μιας στήλης στο χέρι και το στραβοκοίταγμά της. Κρατά και τη λίστα των πράξεων που εφαρμόστηκαν, που είναι η αναπαραγωγιμότητα σε αρχείο αντί για απόφαση. Δοκιμάστε την ομαδοποίηση πρώτα πάνω στη μορφή χωρίς τόνους και πάνω στα κεφαλαία, γιατί εκεί ζει το ελληνικό μισό του προβλήματος.
Το pandas παραμένει η προεπιλογή για την ίδια την ανάλυση, δωρεάν και ανοιχτού κώδικα το 2026, και αντικατέστησε ένα λογιστικό φύλλο με έναν τύπο αντιγραμμένο σε 2.140 γραμμές και μία γραμμή όπου κάποιος σταμάτησε να αντιγράφει.
Μένει αυτό που κανένα καθάρισμα δεν διορθώνει. Κάθε απόφαση παραπάνω πάρθηκε πάνω σε γραμμές που υπήρχαν ήδη, και το ενδιαφέρον ερώτημα είναι τι δεν καταγράφηκε ποτέ: ο συνεταιρισμός δεν έχει καμία γραμμή για παράδοση που προσφέρθηκε και δεν έγινε δεκτή, οπότε καμία δουλειά πάνω σε αυτό το αρχείο δεν θα πει ποτέ τι αρνήθηκε να αγοράσει. Είναι ερώτημα συλλογής και όχι ανάλυσης, και είναι το ίδιο ερώτημα κάτω από τη Μηχανική μάθηση, όπου μια απούσα γραμμή γίνεται απούσα περίπτωση. Είναι και ο λόγος που η Μέτρηση και ανάλυση ξοδεύει τον περισσότερο χρόνο της στο τι καταγράφεται και όχι στο τι υπολογίζεται, ενώ η Ανάπτυξη με μοντέλα κληρονομεί το ίδιο αρχείο και το στέλνει σε πελάτη.