Saber cómo funciona un modelo por dentro sirve para una cosa concreta: predecir en qué va a fallar antes de que falle. Cuatro piezas del mecanismo alcanzan, y ninguna de las cuatro es una fórmula que haya que memorizar.
Desde aquí hace falta para algo más. Una respuesta mala en español puede serlo porque la máquina hace eso con cualquier idioma, o porque del otro lado hay menos texto sobre este país. Sin el mecanismo las dos se ven idénticas, se sienten como error propio, y el lector carga con las dos.
Nada de lo que sigue depende de qué empresa hizo el modelo ni de qué número de versión corre este mes. Es la misma máquina en las tres familias grandes, era la misma en 2023, y va a seguir siéndolo cuando los nombres de arriba hayan cambiado.
La oración se arma hacia adelante y no se puede desarmar
Iván Berrones arma paquetes escolares en una papelería de Toluca. Le quedaron 1591 cuadernos del ciclo pasado y quiere repartirlos en paquetes iguales sin que sobre ninguno. Antes de ponerse a dividir, pregunta: si 1591 es primo, no hay reparto posible. Escribe «¿1591 es primo? Responde sí o no primero».
Una sola pasada, de izquierda a derecha
El cuadro que decidió la respuesta es el segundo
Cada cuadro es la continuación más probable del anterior, y ninguno puede volver atrás a cambiar uno.
- 01¿1591 es primo? Responde sí o no primero.La petición pide el veredicto antes que la cuenta
- 02SíUna palabra sola, y atrás de ella no se dividió nada
- 031591 es un número primo.Ya no es una respuesta, es una oración que hay que sostener
- 04No tiene divisores además de uno y él mismo,Lo que sigue con más probabilidad después de un sí
- 05como confirma la división por tentativa.Un método nombrado. Nombrarlo no es correrlo
Nadie decidió mentir en ningún cuadro. Para el segundo ya no queda nada que continuar salvo una defensa, y una defensa se escribe con las mismas oraciones que una conclusión.
Vuelve «Sí», y abajo tres renglones prolijos explicando que no tiene divisores además de uno y él mismo, como confirma la división por tentativa. Iván guarda los cuadernos. La cuenta correcta es 37 por 43, que da 1591: le salían 37 paquetes de 43 cuadernos, exactos.
El modelo se compromete con cada palabra antes de haber visto la siguiente. Cuando escribió «Sí» no había dividido nada, porque la petición pedía el veredicto primero y no había ningún lugar donde hacer la cuenta. A partir de esa palabra, lo más probable que puede seguir es una defensa del sí, y la defensa está redactada con las mismas oraciones con las que se redactaría una conclusión.
De ahí sale la única regla de lectura que este mecanismo obliga: una respuesta dada antes que su cuenta es una defensa, no una conclusión. Cuando el orden se invierte y la división aparece escrita arriba, la palabra final ya tiene de dónde salir, y además queda revisable con la calculadora del celular.
El modelo no ve una letra, y en español las piezas son más
Pídele a un asistente que cuente las erres de «ferrocarril» y hay una probabilidad seria de que conteste tres. Son cuatro. No es distracción ni descuido: el texto se corta en tokens antes de que el modelo vea una letra, y lo que le llega son dos o tres pedazos de palabra convertidos en números. Adentro de un pedazo las letras ya no existen como cosas separadas.
Límites del corte en tokens
Tareas que fallan porque el modelo no ve letras aisladas
Las palabras se dividen en fragmentos numéricos antes de entrar al modelo, ocultando caracteres individuales y rimas.
Capacidad de inspección de caracteres
- NoContar caracteres y letras repetidasLas letras quedan fusionadas dentro del token y no existen como unidades independientesNo
- NoGenerar acrósticos basados en inicialesLa primera letra de cada renglón suele estar incrustada en medio de una pieza numéricaNo
- NoValidar rimas y métrica poéticaEl corte de un token no coincide con las terminaciones silábicas o los sonidos fonéticosNo
- SíAsociar significado de palabras enterasEl modelo procesa relaciones semánticas entre los bloques que componen el vocabularioSí
En español las palabras se cortan en más pedazos que en inglés, llenando la ventana antes y aumentando el costo por llamada.
Tres tareas fallan por esto y van a seguir fallando aunque el modelo sea más grande:
- Contar letras, sílabas o caracteres de un texto. La cuenta se hace sobre algo que el modelo no tiene.
- Armar un acróstico o un juego con la primera letra de cada renglón. La primera letra de una palabra está adentro de un pedazo, no al principio de nada.
- Revisar una rima o una métrica. Rimar es comparar sonidos finales, y el final de un pedazo no siempre es el final de la palabra.
El corte tiene una consecuencia que en inglés no se nota. Los tokenizadores se armaron sobre montañas de texto en inglés, así que una palabra inglesa frecuente suele entrar en un solo pedazo, mientras que una palabra en español se parte en más pedazos que su gemela en inglés: la terminación se va por un lado, la raíz por otro, y una tilde o una eñe fuerzan un corte adicional. Eso no cambia la calidad de la respuesta. Cambia dos cosas que sí se sienten: el mismo texto llena antes la ventana, y la misma llamada medida cuesta más, cobrada en dólares.
No hay memoria, solo la transcripción leída de nuevo
Un modelo no recuerda la conversación anterior. En cada turno se le vuelve a entregar todo lo que se dijo, desde el principio, y él lo lee otra vez como si fuera la primera. La conversación entera se vuelve a leer en cada turno, o no está.
Mecanismo de contexto
La ilusión de memoria frente a la transcripción reenviada
El modelo no retiene una conversación; en cada turno lee el historial completo desde cero hasta que los primeros mensajes se caen sin aviso.
- Continuidad conversacionalParece recordar acuerdos establecidos al inicio
- Respuestas coherentes entre turnosDa la impresión de mantener un hilo de pensamiento acumulativo
- Reenvío total en cada mensajeLa aplicación manda de nuevo todo el texto intercambiado desde el primer turno
- Lectura desde ceroNo existe estado mental ni recuerdo entre una interacción y la siguiente
- Caída silenciosa del principioAl superar la ventana de contexto, las primeras instrucciones desaparecen sin notificación
Abrir una sesión nueva y reponer las instrucciones clave resuelve más fallas que insistir en un hilo largo.
Cuando ya no cabe, lo primero que se cae es el principio, y nada lo anuncia. La instrucción que se dio en el segundo mensaje deja de aplicarse alrededor del cuarenta sin que ningún aviso lo diga, y el síntoma es que el asistente vuelve a portarse como al empezar. Quien pega en pedazos una conversación larga con un cliente y después pregunta por el primer acuerdo está preguntando por algo que ya no está adentro.
Por eso la corrección de una sesión larga no es insistir. Es abrir una sesión nueva y volver a poner adelante lo que tiene que valer, que cuesta un minuto y arregla la mitad de las quejas sobre modelos que «se olvidan».
El muestreo, y por qué bajarlo no es acertar
Lo que el modelo produce en cada paso no es una palabra, es un puntaje para cada palabra posible, decenas de miles de puntajes. Después se sortea una entre las más altas. Ese sorteo tiene una perilla, que en las interfaces de programación se llama temperatura, y es la que decide cuánto se aleja el sorteo de la punta.
Lo que un dibujo del adentro puede decir
Cualquier dibujo del interior es así de honesto y nada más
Por la izquierda entran números, por la derecha sale un puntaje para cada palabra posible, y el medio no lleva etiquetas porque nadie puede ponérselas.
- Los tokens que mandastePedazos de palabras, ya convertidos en números
- Capas que los mezclanDecenas de ellas, cada una mirando a todas las demás
- Más de lo mismoNinguna capa de aquí tiene un oficio que se pueda nombrar
- Un puntaje por cada tokenDecenas de miles, uno por cada candidato
- Un token, sorteadoSorteado entre los altos, no tomado del más alto
Lo único estructural que afirma este dibujo es que todo lo de una capa alcanza todo lo de la siguiente. No puede decir por qué la respuesta fue que sí, y ningún dibujo mejor del mismo asunto tampoco.
La lectura equivocada de esa perilla es tratarla como un control de exactitud. Bajar el muestreo hace que el modelo se repita, no que acierte: en cero, la misma pregunta devuelve la misma respuesta dos veces, y si esa respuesta estaba equivocada va a estar equivocada las dos veces, con más aplomo. Lo que la perilla quita es variedad. La equivocación de Iván no baja con la temperatura, porque no vino del sorteo, vino del orden.
El orden va de abajo hacia arriba
Los cinco temas de abajo se leen casi siempre al revés de como sostienen. El terreno, que es quién hace qué y cuál conviene, es donde empieza todo el mundo y es la única losa que va a estar equivocada dentro de un año. Debajo están Límites, que son las fallas estructurales y resultan ilegibles mientras no exista lo de abajo, y Arquitecturas, que en una primera pasada se puede saltar entero.
El orden
La losa que trae la novedad es la que no sostiene nada
Leído hacia abajo esto es una lista de lectura. Leído hacia arriba es qué carga con qué, y solo la segunda lectura explica algo.
- El terrenoQuién hace qué. La única losa que va a estar equivocada en un añodonde empieza todo el mundo
- LímitesFallas estructurales, ilegibles mientras no existan las losas de abajo
- ArquitecturasLos diseños de la generación actual. Se puede saltar en una primera pasada
- Tokens y embeddingsCómo el texto se vuelve números, y por qué las letras no se ven
- La idea detrásUna palabra por vez, cada una la continuación más probablecarga con todo lo demás
Nada está numerado, porque nada de esto es un paso. Se puede sostener la losa de arriba un año entero sin poder predecir con ella una sola falla.
Lo que carga con todo es lo de más abajo. La idea detrás es una palabra por vez, cada una la continuación más probable, y arriba de eso Tokens y embeddings explica cómo el texto se vuelve números. Con esas dos losas puestas, las tres de arriba se leen en una tarde. Sin ellas, la de arriba es una lista de nombres de empresas.
El desvío que sí conviene tomar temprano es Ingeniería de prompts, porque una petición mejor escrita cambia el resultado hoy y no depende de nada de esta página. Y hacia el otro lado, Aprendizaje automático es la casa de la que este mecanismo salió: un modelo de lenguaje es un caso particular de algo más viejo y más ancho.
Qué abrir en 2026, y qué se puede ver sin pagar
Para ver los pedazos, tiktoken. Es una biblioteca libre que se instala con pip, corre en la computadora sin conexión y sin tarjeta, y reemplazó a la costumbre de contar caracteres y dividir entre cuatro para estimar el tamaño de un texto. Tokeniza para los modelos de OpenAI; pegar «ferrocarril» y pegar «railway» al lado toma treinta segundos y deja de ser una afirmación de esta página para ser algo que viste.
Herramientas de inspección
Recursos gratuitos para comprobar el mecanismo
Ver cómo se cortan las palabras y cómo opera el sorteo no requiere pagar suscripciones en dólares.
- tiktokenBiblioteca libre que corre en la computadora para ver los fragmentos exactos de cualquier texto
- Hugging FaceCatálogo abierto para consultar fichas técnicas y verificar cómo tokeniza cada familia
- Asistentes de fronteraNiveles gratuitos de Claude, ChatGPT o Gemini para observar el compromiso paso a paso
- tiktokenBiblioteca libre que corre en la computadora para ver los fragmentos exactos de cualquier texto
- Hugging FaceCatálogo abierto para consultar fichas técnicas y verificar cómo tokeniza cada familia
- Asistentes de fronteraNiveles gratuitos de Claude, ChatGPT o Gemini para observar el compromiso paso a paso
El nivel gratuito permite comprobar el mecanismo; pagar la cuota mensual amplía capacidad pero no cambia cómo funciona el modelo.
Para los modelos abiertos, Hugging Face. Reemplazó a buscar los pesos de un modelo en el enlace de un foro, es gratis para leer y para descargar, y ahí vive el tokenizador de cada familia junto con su ficha. Es también donde se comprueba, sin creerle a nadie, en cuántos pedazos se parte una palabra con eñe.
Lo tercero es un asistente de frontera en su nivel gratuito, que en 2026 quiere decir Claude, ChatGPT o Gemini, para correr los dos ejemplos de arriba. Reemplazaron al resultado de búsqueda que había que leer entero. El nivel gratuito alcanza: el pagado cuesta USD 20 al mes sin localizar, más el impuesto sobre servicios digitales del exterior, que en 2026 es de 16% en México y de 19% en Colombia, y no cambia ninguna de las cuatro piezas de esta página.
Queda una pregunta que el mecanismo solo no contesta. Esta misma máquina, que se compromete con una palabra antes de la siguiente y no recuerda nada entre turnos, ahora recibe herramientas y permiso para usarlas sin que nadie lea cada paso. Qué cambia y qué no, en Agentes de IA, y por qué el atasco se mueve de la respuesta al registro de lo que hizo. Todo esto cuelga de Inteligencia artificial.