Faragiri

Aprender Análisis de datosInteligencia artificial

Cuatro maneras de escribir el nombre de una cooperativa pusieron arriba al proveedor equivocado. Qué quita la limpieza y qué no puede devolver.

6Secciones
6Minutos
2Profundidad

Una exportación, tres años

Lo que entregó el sistema de compras, y lo que se pudo contar

Doscientos cinco renglones quitados, cada uno por una razón que cabe en una línea y se puede repetir el trimestre que viene.

  1. Exportado del sistemaProveedor, fecha, kilos, precio1842
  2. Entregas reales96 renglones de prueba de la migración, todos el mismo martes1746
  3. Con kilos anotados48 en blanco, y en blanco no es cero1698
  4. Con fecha de una sola lectura61 que se leían de las dos maneras, sin nada que desempatara1637

Cada banda es una decisión que alguien tomó y puede defender. Un embudo sin las razones anotadas al lado de cada caída es una disculpa por haber perdido renglones.

El proveedor más grande de la comercializadora no era el que aparecía arriba de la tabla, y la diferencia no era un error de captura de kilos. Era una tilde.

Ese es el trabajo de este tema, y explica por qué se lleva la mayor parte de la semana de cualquiera que analice datos. Casi nada de lo que sale mal en una respuesta viene del cálculo. Viene de que las filas no eran lo que la cuenta suponía que eran.

Lo que la fusión le hizo a la respuesta

Elvia Canché compra miel para una comercializadora en Mérida y reparte cada año un anticipo entre los proveedores más grandes. La tabla la arma con la exportación del sistema de compras: proveedor, fecha, kilos, precio. Tres años, un archivo.

El proveedor de arriba llevaba 9410 kg y era una cooperativa de la carretera a Motul. La de Hopelchén salía cuarta, con 4980 kg. Cuando alguien miró la columna de proveedores en vez de la de totales, aparecieron cuatro renglones distintos que eran el mismo: «Apicultores de Hopelchén», «Apicultores Hopelchen», «APICULTORES DE HOPELCHEN» y «Apic. de Hopelchén». Unidos, esa cooperativa lleva 10885 kg y es la primera de la lista, por bastante.

Un nombre escrito de cuatro maneras son cuatro proveedores hasta que alguien los une. Las cuatro versiones se generaron de maneras normales: dos capturistas distintos, un teclado sin tilde configurada, un sistema viejo que guardaba en mayúsculas y una abreviatura para que cupiera en la pantalla. Ninguna es un error de nadie, y las cuatro rompen el mismo total.

La columna de proveedores lo delata en un minuto, y casi nunca se mira antes de sumar. Cuenta los valores distintos de una columna antes de confiar en cualquier total: si la comercializadora le compra a nueve cooperativas y la columna tiene diecisiete valores distintos, la diferencia son variantes de escritura y hay que resolverlas antes de sumar nada.

Lo que llegó, y lo que se pudo usar

La exportación traía 1842 renglones. Contar sobre esos 1842 hubiera dado una respuesta, y ninguna de las tres cosas que había que quitar se anuncia sola.

Primero, 96 renglones con fecha del mismo martes, todos con montos redondos: son las pruebas que alguien capturó cuando se migró el sistema. Quedan 1746 entregas reales. Después, 48 renglones sin kilos anotados, y vacío no es cero: una entrega sin peso no es una entrega de cero kilos, es una entrega cuyo peso nadie escribió. Quedan 1698.

Lo último es lo que más daño hace porque no deja rastro. El sistema exportaba la fecha como texto, y 61 renglones se pueden leer de las dos maneras: 03/07/2024 es el tres de julio para quien capturó y el siete de marzo para el programa que la leyó después. Una fecha ambigua manda una temporada de filas al trimestre equivocado, sin avisar, y el reporte trimestral sale con la cosecha en el trimestre que no era. Quedan 1637 renglones que se pueden contar.

Anota qué cambiaste, o la respuesta no se puede volver a producir. Cuatro renglones de bitácora, uno por decisión, con el número de filas que salió y por qué. Es lo que separa un análisis de una opinión con tabla, y es lo que permite que otra persona llegue al mismo total en marzo.

El orden

Ninguno importa más que otro, y la respuesta vale lo que valga aquel que se saltaron.

El eslabón abierto no es el más difícil. Es aquel cuyas fallas no se anuncian solas, que es otra propiedad y es peor.

Una fila puede mover un promedio y no una mediana

De las entregas que quedaron, el promedio de kilos por entrega es 41. La mediana es 28. La distancia entre los dos números no es un detalle de estadística: es un dato sobre el negocio, y dice que hay unas pocas entregas enormes entre muchas chicas.

Un renglón de 900 kg, que resultó ser un acopio de varias cooperativas capturado como una sola entrega, mueve el promedio y deja la mediana donde estaba. Una mediana sobrevive a una fila absurda y un promedio no, y por eso los dos números van juntos en cualquier reporte: cuando se separan mucho, la pregunta siguiente es cuál fila los separó.

El eje es parte de la afirmación

La última manera de equivocarse llega cuando los datos ya están limpios. La gráfica mensual de kilos comprados, dibujada con el eje empezando en 8000, muestra un derrumbe entre mayo y junio de 2025. Con el eje desde cero, el mismo par de meses es una bajada del 6%, que en miel es la temporada.

Un eje cortado es una afirmación, y casi nunca es la que se quería hacer. La regla corta: en barras el eje empieza en cero siempre, porque el largo de la barra es el número; en una línea de tendencia se puede cortar, y entonces hay que decirlo en el propio dibujo. Eso es Visualización, y es donde un análisis honesto todavía alcanza a mentir.

Antes y después de una sola fusión

Se movió un renglón, y alcanzó para cambiar la respuesta

Unir cuatro formas de escribir el nombre de una cooperativa cambió el total de un proveedor y dejó a todos los demás exactamente donde estaban.

como se exportódespués de unir las escrituras

  1. Apicultores de Hopelchén4980 kg10885 kgCuatro escrituras, una cooperativa, tres años
  2. Cooperativa de Motul9410 kg9410 kgEscrita igual siempre. No se movió nada
  3. Apiarios de Tekax3120 kg3120 kgAquí tampoco se movió nada, y por eso está dibujado

Los dos renglones que no se movieron trabajan aquí tanto como el que sí. Un antes y después con solo la fila que cambió es un anuncio de la fusión.

Cuatro eslabones, y el que se dibuja cerrado

Los cuatro pedazos de este tema son una cadena y no una escalera: ninguno importa más que otro, y la respuesta vale lo que valga el que se saltaron. La obtención de datos va primero porque lo que alguien decidió registrar decide qué se puede preguntar; a la miel de Elvia nadie le anotó la humedad, así que ninguna cuenta sobre humedad existe.

Limpieza es el eslabón que casi todos los cursos dibujan cerrado y donde se va la semana de trabajo real. Después Análisis, con la mediana al lado del promedio y una mirada a lo que no cuadra, y la visualización al final. Con qué se analiza se cruza en los cuatro eslabones y conviene decidirlo tarde: ninguna herramienta cambia el orden ni devuelve un dato que nadie registró.

El atasco de este tema es una tabla limpia que nadie interrogó. Una tabla ordenada, sin celdas vacías y con los nombres parejos se siente terminada, y puede seguir teniendo adentro las pruebas de la migración y las fechas de doble lectura. Limpio y correcto no son la misma palabra.

Qué abrir en 2026, y qué ya está en la computadora

Para el problema de los cuatro nombres, OpenRefine. Es libre y gratuito, corre en la propia computadora sin subir nada a ninguna nube, y reemplazó a buscar y reemplazar a mano cada variante de un nombre. Su función de agrupar por parecido junta «Hopelchén», «Hopelchen» y «HOPELCHEN» sola y deja que una persona apruebe cada grupo, que es exactamente el reparto correcto del trabajo.

Para todo lo demás, una hoja de cálculo alcanza más de lo que la gente admite. Google Sheets y LibreOffice Calc son gratis, y contar valores distintos de una columna es una fórmula. Debajo, pandas: libre, se instala con pip, y reemplazó a arrastrar fórmulas por diez mil renglones sin poder decir después qué se cambió. Lo que compra pandas no es velocidad, es la bitácora: el análisis queda escrito y se vuelve a correr.

Nada de esto se paga en dólares, y conviene decirlo porque la conversación sobre datos suele empezar por una plataforma con suscripción. La suscripción se justifica cuando hay tableros para mucha gente, y ese punto llega bastante después de donde empieza casi todo el mundo.

Queda una pregunta que este tema deja armada y no contesta. Con 1637 renglones limpios y una columna que dice qué pasó, la pregunta siguiente es si se puede predecir lo que va a pasar, y esa es otra disciplina con otras trampas: Aprendizaje automático. Si en cambio los datos que interesan son los de un sitio web, la aritmética propia de ese caso está en Analítica web, y los datos como material para un modelo de lenguaje se trabajan en Desarrollo con IA, dentro de Inteligencia artificial.

Al lado de esto

Arriba de esto