Saber cómo funciona un modelo por dentro sirve para una cosa concreta: predecir en qué va a fallar antes de que falle. Cuatro piezas del mecanismo alcanzan, y ninguna de las cuatro es una fórmula que haya que memorizar.
Desde aquí hace falta para algo más. Una respuesta mala en español puede serlo porque la máquina hace eso con cualquier idioma, o porque del otro lado hay menos texto sobre este país. Sin el mecanismo las dos se ven idénticas, se sienten como error propio, y el lector carga con las dos.
Nada de lo que sigue depende de qué empresa hizo el modelo ni de qué número de versión corre este mes. Es la misma máquina en las tres familias grandes, era la misma en 2023, y va a seguir siéndolo cuando los nombres de arriba hayan cambiado.
La oración se arma hacia adelante y no se puede desarmar
Iván Berrones arma paquetes escolares en una papelería de Toluca. Le quedaron 1591 cuadernos del ciclo pasado y quiere repartirlos en paquetes iguales sin que sobre ninguno. Antes de ponerse a dividir, pregunta: si 1591 es primo, no hay reparto posible. Escribe «¿1591 es primo? Responde sí o no primero».
Vuelve «Sí», y abajo tres renglones prolijos explicando que no tiene divisores además de uno y él mismo, como confirma la división por tentativa. Iván guarda los cuadernos. La cuenta correcta es 37 por 43, que da 1591: le salían 37 paquetes de 43 cuadernos, exactos.
El modelo se compromete con cada palabra antes de haber visto la siguiente. Cuando escribió «Sí» no había dividido nada, porque la petición pedía el veredicto primero y no había ningún lugar donde hacer la cuenta. A partir de esa palabra, lo más probable que puede seguir es una defensa del sí, y la defensa está redactada con las mismas oraciones con las que se redactaría una conclusión.
De ahí sale la única regla de lectura que este mecanismo obliga: una respuesta dada antes que su cuenta es una defensa, no una conclusión. Cuando el orden se invierte y la división aparece escrita arriba, la palabra final ya tiene de dónde salir, y además queda revisable con la calculadora del celular.
El modelo no ve una letra, y en español las piezas son más
Pídele a un asistente que cuente las erres de «ferrocarril» y hay una probabilidad seria de que conteste tres. Son cuatro. No es distracción ni descuido: el texto se corta en tokens antes de que el modelo vea una letra, y lo que le llega son dos o tres pedazos de palabra convertidos en números. Adentro de un pedazo las letras ya no existen como cosas separadas.
Tres tareas fallan por esto y van a seguir fallando aunque el modelo sea más grande:
- Contar letras, sílabas o caracteres de un texto. La cuenta se hace sobre algo que el modelo no tiene.
- Armar un acróstico o un juego con la primera letra de cada renglón. La primera letra de una palabra está adentro de un pedazo, no al principio de nada.
- Revisar una rima o una métrica. Rimar es comparar sonidos finales, y el final de un pedazo no siempre es el final de la palabra.
El corte tiene una consecuencia que en inglés no se nota. Los tokenizadores se armaron sobre montañas de texto en inglés, así que una palabra inglesa frecuente suele entrar en un solo pedazo, mientras que una palabra en español se parte en más pedazos que su gemela en inglés: la terminación se va por un lado, la raíz por otro, y una tilde o una eñe fuerzan un corte adicional. Eso no cambia la calidad de la respuesta. Cambia dos cosas que sí se sienten: el mismo texto llena antes la ventana, y la misma llamada medida cuesta más, cobrada en dólares.
El orden
La losa que trae la novedad es la que no sostiene nada
Leído hacia abajo esto es una lista de lectura. Leído hacia arriba es qué carga con qué, y solo la segunda lectura explica algo.
- El terrenoQuién hace qué. La única losa que va a estar equivocada en un añodonde empieza todo el mundo
- LímitesFallas estructurales, ilegibles mientras no existan las losas de abajo
- ArquitecturasLos diseños de la generación actual. Se puede saltar en una primera pasada
- Tokens y embeddingsCómo el texto se vuelve números, y por qué las letras no se ven
- La idea detrásUna palabra por vez, cada una la continuación más probablecarga con todo lo demás
Nada está numerado, porque nada de esto es un paso. Se puede sostener la losa de arriba un año entero sin poder predecir con ella una sola falla.
No hay memoria, solo la transcripción leída de nuevo
Un modelo no recuerda la conversación anterior. En cada turno se le vuelve a entregar todo lo que se dijo, desde el principio, y él lo lee otra vez como si fuera la primera. La conversación entera se vuelve a leer en cada turno, o no está.
Cuando ya no cabe, lo primero que se cae es el principio, y nada lo anuncia. La instrucción que se dio en el segundo mensaje deja de aplicarse alrededor del cuarenta sin que ningún aviso lo diga, y el síntoma es que el asistente vuelve a portarse como al empezar. Quien pega en pedazos una conversación larga con un cliente y después pregunta por el primer acuerdo está preguntando por algo que ya no está adentro.
Por eso la corrección de una sesión larga no es insistir. Es abrir una sesión nueva y volver a poner adelante lo que tiene que valer, que cuesta un minuto y arregla la mitad de las quejas sobre modelos que «se olvidan».
El muestreo, y por qué bajarlo no es acertar
Lo que el modelo produce en cada paso no es una palabra, es un puntaje para cada palabra posible, decenas de miles de puntajes. Después se sortea una entre las más altas. Ese sorteo tiene una perilla, que en las interfaces de programación se llama temperatura, y es la que decide cuánto se aleja el sorteo de la punta.
La lectura equivocada de esa perilla es tratarla como un control de exactitud. Bajar el muestreo hace que el modelo se repita, no que acierte: en cero, la misma pregunta devuelve la misma respuesta dos veces, y si esa respuesta estaba equivocada va a estar equivocada las dos veces, con más aplomo. Lo que la perilla quita es variedad. La equivocación de Iván no baja con la temperatura, porque no vino del sorteo, vino del orden.
Lo que un dibujo del adentro puede decir
Cualquier dibujo del interior es así de honesto y nada más
Por la izquierda entran números, por la derecha sale un puntaje para cada palabra posible, y el medio no lleva etiquetas porque nadie puede ponérselas.
- Los tokens que mandastePedazos de palabras, ya convertidos en números
- Capas que los mezclanDecenas de ellas, cada una mirando a todas las demás
- Más de lo mismoNinguna capa de aquí tiene un oficio que se pueda nombrar
- Un puntaje por cada tokenDecenas de miles, uno por cada candidato
- Un token, sorteadoSorteado entre los altos, no tomado del más alto
Lo único estructural que afirma este dibujo es que todo lo de una capa alcanza todo lo de la siguiente. No puede decir por qué la respuesta fue que sí, y ningún dibujo mejor del mismo asunto tampoco.
El orden va de abajo hacia arriba
Los cinco temas de abajo se leen casi siempre al revés de como sostienen. El terreno, que es quién hace qué y cuál conviene, es donde empieza todo el mundo y es la única losa que va a estar equivocada dentro de un año. Debajo están Límites, que son las fallas estructurales y resultan ilegibles mientras no exista lo de abajo, y Arquitecturas, que en una primera pasada se puede saltar entero.
Lo que carga con todo es lo de más abajo. La idea detrás es una palabra por vez, cada una la continuación más probable, y arriba de eso Tokens y embeddings explica cómo el texto se vuelve números. Con esas dos losas puestas, las tres de arriba se leen en una tarde. Sin ellas, la de arriba es una lista de nombres de empresas.
El desvío que sí conviene tomar temprano es Ingeniería de prompts, porque una petición mejor escrita cambia el resultado hoy y no depende de nada de esta página. Y hacia el otro lado, Aprendizaje automático es la casa de la que este mecanismo salió: un modelo de lenguaje es un caso particular de algo más viejo y más ancho.
Qué abrir en 2026, y qué se puede ver sin pagar
Para ver los pedazos, tiktoken. Es una biblioteca libre que se instala con pip, corre en la computadora sin conexión y sin tarjeta, y reemplazó a la costumbre de contar caracteres y dividir entre cuatro para estimar el tamaño de un texto. Tokeniza para los modelos de OpenAI; pegar «ferrocarril» y pegar «railway» al lado toma treinta segundos y deja de ser una afirmación de esta página para ser algo que viste.
Para los modelos abiertos, Hugging Face. Reemplazó a buscar los pesos de un modelo en el enlace de un foro, es gratis para leer y para descargar, y ahí vive el tokenizador de cada familia junto con su ficha. Es también donde se comprueba, sin creerle a nadie, en cuántos pedazos se parte una palabra con eñe.
Lo tercero es un asistente de frontera en su nivel gratuito, que en 2026 quiere decir Claude, ChatGPT o Gemini, para correr los dos ejemplos de arriba. Reemplazaron al resultado de búsqueda que había que leer entero. El nivel gratuito alcanza: el pagado cuesta USD 20 al mes sin localizar, más el impuesto sobre servicios digitales del exterior, que en 2026 es de 16% en México y de 19% en Colombia, y no cambia ninguna de las cuatro piezas de esta página.
Queda una pregunta que el mecanismo solo no contesta. Esta misma máquina, que se compromete con una palabra antes de la siguiente y no recuerda nada entre turnos, ahora recibe herramientas y permiso para usarlas sin que nadie lea cada paso. Qué cambia y qué no, en Agentes de IA, y por qué el atasco se mueve de la respuesta al registro de lo que hizo. Todo esto cuelga de Inteligencia artificial.