Pide cinco palabras esdrújulas y cuenta tú las sílabas. Vuelven brújula, pájaro, médico, cámara y árbol. Las cuatro primeras lo son; árbol es llana, y lleva tilde solo porque acaba en una consonante que no es ene ni ese.
Eso no es un hueco en lo que el modelo sabe. Es el mecanismo haciendo exactamente lo suyo, y lo que tiene de útil conocerlo es que el fallo de arriba era previsible antes de que nadie lo probara. Esta página es la parte de la maquinaria que se paga sola en predicciones.
La frase se construye hacia delante y no se puede deshacer
Un modelo se compromete con cada pieza antes de haber visto la siguiente. No hay un borrador guardado en algún sitio y luego corregido: el texto que lees se produce de una pasada, de izquierda a derecha, y cada trozo se elige como la continuación más probable de todo lo que ya está escrito, incluidos sus propios trozos anteriores.
Por eso el orden de la petición decide la respuesta. Pedida la lista primero, las cinco palabras salen en un punto en el que no se ha separado ni una sílaba en ningún sitio. Todo lo que viene detrás es ya la continuación más probable de esa lista, y por eso sigue así: las cinco llevan el acento en la antepenúltima sílaba, como demuestra la tilde que todas escriben.
La tilde se nombra y la sílaba no se cuenta. Una respuesta dada antes que su cuenta es una defensa, no una conclusión, y va a leerse igual que una conclusión, porque las defensas y las conclusiones se escriben con las mismas frases.
Dale la vuelta a la petición y el mismo modelo acierta. Haz que escriba la separación antes que el veredicto: primero ár-bol, brú-ju-la, pá-ja-ro, y encima de cuál de esas sílabas carga la voz, y solo después la clasificación. Ahora las piezas que hay que producir antes del veredicto son justo las que lo sujetan, y el veredicto llega detrás de una cuenta que ya está escrita:
- brú-ju-la, y la voz carga en «brú»: tres sílabas, la antepenúltima, esdrújula.
- pá-ja-ro, la voz en «pá»: tres sílabas, esdrújula.
- mé-di-co, la voz en «mé»: tres sílabas, esdrújula.
- cá-ma-ra, la voz en «cá»: tres sílabas también, y la tilde cae justo donde carga la voz.
- ár-bol, la voz en «ár»: son dos sílabas, así que no hay antepenúltima donde cargar y la palabra es llana.
El modelo no ve una letra, y en español eso se paga aparte
El texto se corta en piezas antes de que el modelo vea una sola letra. Una pieza es un trozo frecuente de caracteres, más o menos una palabra corta o un pedazo de una larga, y las letras de dentro son tan invisibles para lo que hace la predicción como el grano del papel para quien lee.
De ahí sale una familia entera de fallos, y árbol es uno. La categoría se define por dónde cae el acento, que es una posición dentro de una palabra, y la condición estaba dicha en unidades que el modelo no puede observar. Así que se cumplió por parecido con las listas que sí la cumplen, que era la única forma de cumplirla, y lo que coló a árbol fue la tilde: de todo lo que tiene una esdrújula, la tilde es lo único que se ve desde fuera.
El mismo hecho decide lo que cuesta una conversación. Las palabras corrientes en inglés valen una pieza cada una, y las letras que aparecen menos en el texto de entrenamiento se parten en más trozos.
Una tilde se paga en piezas, y por eso el español llena la ventana antes que el inglés: la misma página, traducida, ocupa más en un idioma que en el otro, y las vocales acentuadas, la eñe, la diéresis y los signos de apertura entran todos por esa puerta. Quien no lo sepa concluirá que el modelo es peor en español cuando parte de lo que ha pasado es que le han dejado menos sitio para trabajar.
El orden
La losa que trae noticias es la que no sostiene nada
Leído hacia abajo es una lista de lecturas. Leído hacia arriba es qué sostiene a qué, y solo la segunda lectura explica algo.
- El panoramaQuién hace qué. La única losa que estará mal dentro de un añopor donde entra todo el mundo
- Los límitesFallos estructurales, ilegibles mientras no existan las losas de abajo
- Las arquitecturasLos diseños de la generación actual. Se salta en una primera vuelta
- Tokens y embeddingsCómo el texto se vuelve números, y por qué las letras no se ven
- La idea de fondoUna pieza cada vez, y cada una la continuación más probablesostiene el resto
Aquí no hay números, porque nada de esto es un paso. Alguien puede tener la losa de arriba un año entero y no predecir nada con ella.
No hay memoria, hay una transcripción que se vuelve a leer
Entre un turno y el siguiente no queda nada dentro del modelo. La conversación entera se vuelve a leer en cada turno, o no está ahí: lo que parece recordar es el intercambio anterior reenviado como parte de la petición nueva, y lo que parece olvidar es esa transcripción creciendo por encima de lo que cabe.
Salen dos predicciones de ahí. Una conversación larga se vuelve más lenta y más cara en cada turno, porque cada turno la relee entera. Y «acuérdate de esto para luego» no es una instrucción que haga nada, salvo que algo de fuera del modelo lo escriba y lo vuelva a poner delante de la petición siguiente, que es todo lo que hace una instrucción guardada o un paso de recuperación.
El muestreo, y por qué bajarlo no es acertar
En cada paso el modelo tiene una puntuación para cada pieza que podría producir a continuación, y una sale sorteada de esa distribución en vez de cogerse la más alta. Por eso la misma petición contesta distinto el martes, y es un ajuste y no una avería.
El ajuste se entiende del revés. Bajar el muestreo hace que un modelo se repita, no que acierte.
Con el mando casi a cero, la lista de esdrújulas vuelve con árbol dentro todas las veces, y esa firmeza se lee como seguridad para cualquiera a quien no le hayan explicado qué mueve el mando. Que la lista cambie entre dos intentos es información sobre el modelo; que no cambie no lo es.
El atasco es traducir el vocabulario
La gente deja de avanzar en este asunto cuando llega el vocabulario, y en español hay un escalón más donde pararse: las palabras vienen en inglés y hay que decidir qué se hace con ellas. Token, embedding, atención, ventana de contexto. Buscar el equivalente en español da trabajo, se parece mucho a estudiar y se siente como entender.
No lo es, y encima la decisión ya está tomada por el oficio: token y embedding se quedan como están, porque es lo que hay que escribir en un buscador y lo que dice la documentación que vas a leer. Traducirlos no añade una predicción. Quince días de lectura entregan las cuatro palabras y ninguna de ellas predice nada por sí sola, y no parece que te hayas parado, porque el vocabulario hace que todos los artículos sobre modelos se vuelvan legibles justo cuando el predecir deja de mejorar.
La prueba no es si sabes definir una ventana de contexto. Es si la lista con árbol dentro ya no te sorprendía antes de esta página, y si puedes decir ahora, sin probarlo, qué vuelve cuando pides una frase en la que ninguna palabra lleve tilde.
Quien tiene las palabras y no el mecanismo se sabe las cuatro y sigue sorprendiéndose, y las palabras son la mitad que no ayuda un martes. Es el único tema de inteligencia artificial que sigue siendo verdad cuando cambian los modelos, y por eso está debajo de los demás.
Lo que un dibujo de esto puede decir
Cualquier dibujo del interior es así de honrado y no más
Por la izquierda entran números, por la derecha sale una puntuación para cada pieza posible, y el centro no se etiqueta porque nadie sabe etiquetarlo.
- Las piezas que has mandadoTrozos de palabras, ya convertidos en números
- Capas que las mezclanDecenas, y cada una mira a todas las demás
- Más de lo mismoNinguna capa de aquí tiene un oficio que puedas nombrar
- Una puntuación por piezaDecenas de miles, una por cada candidata
- Una pieza, sorteadaSale de un sorteo, no de coger la más alta
Lo único que afirma este dibujo es que todo lo de una capa llega a todo lo de la siguiente. No dice por qué salió árbol, y ningún dibujo mejor de lo mismo lo dice tampoco.
El orden de aprendizaje va de abajo arriba
Casi todo el mundo empieza por arriba, en el panorama, porque es la capa que trae noticias. También es la única que estará mal dentro de un año, y no explica nada: saber qué empresa sacó qué modelo no predice ni una sola cosa sobre cómo se comporta ninguno.
Debajo están los límites, que es donde está el rendimiento y solo se puede leer cuando existen las capas de abajo. En frío es una lista de quejas; leído después de tokens y embeddings, el fallo de las esdrújulas deja de ser una queja y pasa a ser una consecuencia. Las arquitecturas quedan en medio y son la capa que más tranquilamente se salta en una primera vuelta, porque casi nada del comportamiento que intentas explicar las necesita.
La losa del fondo es la idea de fondo, y tomar el asunto en la otra dirección es lo que produce al lector que sabe nombrar cuatro arquitecturas y no sabe decir por qué la lista salió como salió. Es también lo que separa este tema de la ingeniería de prompts: allí se aprende qué escribir, y aquí por qué eso funciona.
Qué abrir en 2026, y qué sustituyó cada cosa
Un tokenizador es la única parte de esto que se puede coger con la mano. tiktoken, libre y gratuito, parte una cadena exactamente por donde la va a partir el modelo y devuelve los trozos, y sustituyó a contar palabras y confiar. Pasa por él un párrafo tuyo en español y su traducción al inglés, una vez, y la aritmética de la ventana deja de ser una abstracción y pasa a ser un número que has medido en tu ordenador con tu texto.
Hugging Face es donde en 2026 viven juntos los pesos, el tokenizador y la ficha del modelo, y sustituyó al artículo sin nada colgando de él. Navegar y descargar es gratis. La trampa es leer pesos abiertos como permiso abierto, porque unas cuantas de las licencias que hay allí prohíben el uso comercial con todas las letras.
Ollama ejecuta un modelo pequeño en tu propia máquina, libre y gratuito, y sustituyó a compilar el motor a mano. Se gana el sitio en esta página por un motivo: es donde el ajuste del muestreo es un número que escribes y no una cosa sobre la que lees, y ver la misma petición contestar distinto con dos valores enseña el apartado anterior en cuatro minutos.
Queda la pregunta que sale de todo lo anterior. Si el mecanismo explica los fallos, debería decir también cuáles se hacen pequeños con un modelo mayor y cuáles son la forma de la cosa y seguirán aquí dentro de diez años; algunos de los segundos se venden ahora mismo como si fueran de los primeros. Donde esa pregunta lleva más tiempo hecha es en el aprendizaje automático, que es la mitad más vieja de esto y la que tiene medidas dentro, y deja de ser una pregunta sobre leer en el punto en que ya no lee nadie, que es lo que pasa con los agentes de IA.