Faragiri

Aprender Desarrollo con IAInteligencia artificial

Por qué el pasaje correcto no aparece cuando la pregunta llega sin tildes, qué mide de verdad una evaluación, y en qué orden se arma todo esto.

6Secciones
6Minutos
2Profundidad

El orden

El segundo escalón es el que todo el mundo pasa por encima

Una escalera y no una lista: el cuarto escalón no se puede juzgar sin el segundo, y el tercero tampoco se puede depurar sin él.

  1. 01Hacer la llamadaUna tarde. Deja fijados el costo por token y las maneras de fallar
  2. 02Escribir el conjunto de pruebasAntes de que exista la función, y con respuestas equivocadas adentro
  3. 03Darle tus documentosRecuperación, y antes que nada es un problema de búsqueda
  4. 04Cambiar la formaAjuste fino, y solamente contra el segundo escalón
  5. 05Ponerlo frente a desconocidosEsperas, reintentos, costo y salidas que nadie escribió

Saltarse el segundo escalón es invisible unas seis semanas, porque todo lo de arriba sigue corriendo. Lo que falta no es corrección, es la capacidad de saber si algo cambió.

Casi todo lo que se rompe al meter un modelo en un producto se rompe afuera del modelo. Antes de la llamada, porque el párrafo que contestaba la pregunta nunca llegó a la petición. Después, porque nadie definió cómo se ve una respuesta correcta.

Y hay una parte de lo de antes que solo aparece cuando el producto está en español. La recuperación de documentos es un problema de búsqueda, y una búsqueda en español falla de maneras que la misma arquitectura en inglés no encuentra nunca.

La pregunta que no encontró su renglón

Diana Restrepo atiende un consultorio odontológico en Laureles, en Medellín, y conectó un asistente al WhatsApp del consultorio para que contestara precios y disponibilidad leyendo la lista de tarifas y la agenda. La lista tiene once páginas y la escribió su asistente administrativa hace dos años.

Un lunes, una paciente escribe: «buenas, cuanto vale una limpieza». La respuesta que sale es un precio, redondo y con buen tono, y está inventado. Ese renglón de la lista dice «Profilaxis dental» y cuesta 95000 pesos colombianos.

La palabra «limpieza» no está en la lista de tarifas. Tampoco está «cuánto vale» con tilde, ni nada parecido a como escribe alguien desde el celular en la fila del banco. La búsqueda trajo los tres párrafos que más se parecían, ninguno era ese, y el modelo hizo lo que hace un modelo cuando le entregan una pregunta sin el material: la contestó igual.

Si el pasaje correcto no está entre los primeros resultados, ningún modelo lo arregla. Eso manda el trabajo al lado de la búsqueda, en vez de a probar otro proveedor de modelos, que es por donde se va el mes y el presupuesto.

Cuatro maneras en que una búsqueda en español no encuentra

El usuario escribe sin tildes y con la palabra de la calle, y el documento no. Cuatro huecos, y los cuatro se abren entre lo que se teclea y lo que está escrito:

  • Las tildes. Desde un teclado de celular casi nadie las pone, y el documento las lleva todas. «Odontologia» y «odontología» son dos cadenas distintas para cualquier índice que no las haya aplanado antes.
  • La palabra de la calle contra la palabra del oficio. Limpieza contra profilaxis, muela contra molar, calza contra obturación. La paciente nunca va a teclear la segunda de cada par.
  • La variedad. El mismo objeto cambia de nombre entre Medellín y Monterrey, y un consultorio que atiende a alguien recién llegado recibe las dos versiones.
  • El trato. La lista de tarifas está redactada en tercera persona y hacia usted; la pregunta llega tuteada y en primera. Un modelo de embeddings acerca temas, no registros, y esa distancia se paga en el orden de los resultados.

Los cuatro se arreglan del lado de la búsqueda y ninguno del lado del modelo. Aplanar tildes al indexar y al consultar, guardar junto a cada tarifa un renglón con los nombres que la gente usa, y buscar por palabra además de por vector, porque una clave exacta como «profilaxis» la encuentra mejor un índice de texto que un vector. El precio va adentro del mismo párrafo que el nombre del servicio, no en una tabla tres páginas más allá.

El ajuste fino enseña una forma, no un dato

La tentación siguiente es entrenar el modelo con la lista de tarifas. No funciona, y falla de una manera que parece funcionar: el ajuste fino enseña una forma, no un dato. Un modelo ajustado sobre la lista de Diana aprende a sonar como la lista, a devolver el precio con la misma cadencia y el mismo formato, y a inventarlo con más aplomo cuando no lo tiene.

El ajuste fino sirve cuando lo que hay que cambiar es la salida misma: un formato que ninguna instrucción logra sostener, un tono, una clasificación con etiquetas propias. Cuando lo que hay que cambiar es qué sabe, el camino es Recuperación y no Ajuste fino. Una tarifa que sube en marzo se edita en un archivo; en un modelo ajustado hay que volver a entrenar.

Dónde está el trabajo

Todo se angosta hasta una petición, y la petición es la parte que no escribiste

Cuatro cosas se aprietan adentro de una sola llamada y de ella caen tres consecuencias. La llamada en sí son unas pocas líneas.

  1. La pregunta de la pacienteTecleada en el celular, sin tildes y con la palabra de la calle
  2. La lista de tarifasOnce páginas, escritas con los nombres del oficio
  3. La agendaCambia cada semana y vive en otro programa
  4. La instrucción fijaPara quién es la respuesta, y qué no se puede inventar
Una petición, una respuestaCambiable por la de otro proveedor en una tarde, que es la pista sobre dónde no está el valor
  1. Una respuesta con su precioO una negativa, guardada para la evaluación del mes que viene
  2. Una cita agendada, o negadaUn renglón en una base de datos que es incómodo devolver
  3. El sábado de alguienDonde termina llegando un párrafo que nadie recuperó

Los dos conos son el sistema y la cintura es el proveedor. Un dibujo que hiciera la cintura la parte más grande sería el retrato de la demostración y no el del servicio.

El orden, y el escalón que todos se saltan

El orden que funciona empieza por El uso de una API, que es una tarde y deja fijados el costo por token y las maneras en que la cosa falla. El segundo escalón es el que se salta casi todo el mundo, y es Evaluaciones: escribe el conjunto de pruebas antes que la función, cuando todavía no hay nada que defender.

Después van la recuperación, el ajuste fino si de verdad hace falta, y En producción al final. Saltarse el segundo escalón no rompe nada durante unas seis semanas: todo lo de arriba corre igual. Lo que falta no es corrección, es poder decir si el cambio del jueves mejoró algo o solo lo movió.

La evaluación que no le dijo nada a Diana

Diana sí armó una prueba, después del lunes. Veinte preguntas de pacientes reales, con la respuesta correcta al lado, y el sistema acertó las veinte. Un mes después seguían llegando precios inventados.

Las veinte preguntas eran las que el sistema ya contestaba bien, porque son las que ella tenía a mano en el historial de conversaciones resueltas. Una evaluación sin respuestas equivocadas adentro solo mide que el sistema corre. La versión que sirve tiene tres clases de renglón en proporciones parejas: preguntas que se contestan con la lista, preguntas cuya respuesta correcta es «eso no está en la lista, le paso a recepción», y preguntas escritas mal a propósito, sin tildes y con la palabra de la calle.

La segunda clase es la que hace el trabajo. Un sistema que nunca se abstiene no está acertando, está contestando siempre, y la diferencia solo se ve cuando la prueba tiene renglones donde la respuesta correcta es no saber.

Los dos lados de la llamada, y qué abrir en 2026

Del lado de ida, la llamada es una llamada de red y no una función local. Cada llamada es una llamada de red y falla como fallan las llamadas de red: se cae, tarda de más, devuelve a medias, y en hora pico devuelve un error de límite de uso que hay que reintentar con espera creciente. Un consultorio en Medellín llamando a un centro de datos en Virginia paga además el viaje.

Del lado de vuelta, trata la salida del modelo como un formulario que llenó un desconocido. Si pediste un objeto con un precio y una fecha, valida que el precio sea un número y que la fecha exista antes de escribir nada en la agenda. El oficio general de poner algo en servicio, con sus reintentos y su registro, está en Puesta en producción y no cambia por tener un modelo adentro.

Lo que hay que abrir para esto, en 2026, casi todo es gratis. PostgreSQL con pgvector guarda los vectores en la misma base que ya está corriendo y reemplazó a montar un servicio vectorial aparte para unas decenas de miles de fragmentos, que es un umbral que desde aquí llega mucho más tarde que en una página en inglés. La extensión unaccent, del mismo PostgreSQL, o el tokenizador unicode61 de SQLite con remove_diacritics, aplanan las tildes de los dos lados y reemplazaron a escribir a mano una tabla de reemplazos en cada consulta. Lo único que se paga son los tokens del proveedor, en dólares y con tarjeta internacional, y el saldo prepagado sigue siendo el único tope de gasto que existe.

Queda una pregunta que este tema no contesta y que aparece apenas la lista de tarifas crece. Antes de buscar un documento hay que tenerlo, limpio, con los nombres parejos y sin renglones repetidos, y eso ya es Análisis de datos. Cuando el sistema deje de contestar y empiece a agendar solo, el problema se muda otra vez, a Agentes de IA, dentro de Inteligencia artificial.

Al lado de esto

Arriba de esto