Die Frage lautet, ob 3599 eine Primzahl ist, und die Antwort soll vor der Rechnung stehen. Zurück kommt »Ja«, und danach ein Absatz, der eine Zahl verteidigt, die nie geteilt wurde. 3599 ist 59 mal 61.
Das ist keine Lücke im Wissen. Es ist die Mechanik bei der Arbeit, und der Nutzen dieser Seite ist, dass der Absatz vorhersagbar war, bevor ihn jemand ausgelöst hat.
Kein Punkt ohne Rechenweg: hier ist es Mechanik
In der Schule war das eine Regel und ein Ärgernis. Hier ist es keine Regel. Ein Modell legt sich auf jedes Token fest, bevor es das nächste gesehen hat. Es gibt keinen Entwurf, der irgendwo liegt und überarbeitet wird; der Text entsteht in einem Durchgang, von links nach rechts, jedes Stück als wahrscheinlichste Fortsetzung von allem, was schon dasteht, die eigenen vorherigen Stücke eingeschlossen.
Also entscheidet die Reihenfolge der Anfrage die Antwort. Wird das Urteil zuerst verlangt, entsteht »Ja« an einer Stelle, an der im ganzen Text noch keine Rechnung vorkommt. Alles danach ist die wahrscheinlichste Fortsetzung eines Ja, und deshalb geht es weiter mit »3599 ist eine Primzahl.« und »Sie hat außer 1 und sich selbst keine Teiler,« und »wie die Probedivision bestätigt.« Die Probedivision ist benannt und nicht ausgeführt. Eine Antwort vor ihrem Rechenweg ist eine Verteidigung, keine Schlussfolgerung, und sie liest sich genau wie eine Schlussfolgerung, weil Verteidigungen und Schlussfolgerungen aus denselben Sätzen bestehen.
Umgekehrt gefragt, mit den Divisionen bis sechzig zuerst und dem Urteil danach, kommt dasselbe Modell zum richtigen Ergebnis, denn nun sind die Token, die vor dem Urteil entstehen müssen, genau die, die es festlegen. 3599 ist ein guter Prüfstein, weil es so viel überlebt: Es ist ungerade, seine Quersumme ist 26, es endet nicht auf 0 oder 5, und sechzehn Primzahlen gehen darin nicht auf, bevor die siebzehnte es erwischt. Ein Mensch, der 3600 sieht und einen Schritt zurücktritt, hat es sofort, denn 3599 ist 60 mal 60 weniger 1, und damit 59 mal 61. Genau dieser Schritt zurück ist die eine Bewegung, die in einem Durchgang von links nach rechts nicht vorkommt.
Das Modell sieht keinen Buchstaben
Text wird in Tokens zerlegt, bevor das Modell einen Buchstaben davon sieht. Ein Token ist ein häufiges Stück Zeichenkette, ungefähr ein kurzes Wort oder ein Teil eines längeren, und die Buchstaben darin sind für das Vorhersagende so wenig sichtbar wie die Papierfaser für einen Lesenden.
Damit ist eine ganze Familie von Fehlern vorhergesagt. Die Bitte um einen Satz, in dem jedes Wort genau fünf Buchstaben hat, bringt »Blume steht neben jedem alten Zaune« zurück, sechs von sieben richtig und »jedem« mit fünf, aber »steht« ebenfalls, und irgendwo sitzt eines mit vier. Der Hinweis darauf erzeugt beim nächsten Versuch dieselbe Art Fehler an anderer Stelle. Die Bedingung war in einer Einheit gestellt, die das Modell nicht beobachten kann, also wurde sie durch Ähnlichkeit zu Sätzen erfüllt, die sie erfüllen.
Für diese Sprache hängt daran mehr als ein Kunststück. Ein deutsches Kompositum zerfällt in Stücke, die keiner Fuge entsprechen: »Betriebsvereinbarung« ist für eine lesende Person ein Wort und für das Modell mehrere Teile, während das englische »agreement« ein einziger ist. Derselbe Text kostet auf Deutsch also mehr Fenster als auf Englisch, und wer hier ankommt, kann das als einziger Leserkreis dieses Atlas in vier Minuten nachprüfen, weil das Schulenglisch dafür reicht. Ein Absatz in beiden Sprachen durch einen Tokenizer, und die Fensterrechnung hört auf, eine Behauptung zu sein.
Die Ordnung
Die Schicht mit den Neuigkeiten trägt als einzige nichts
Von oben nach unten gelesen ist das eine Leseliste. Von unten nach oben ist es, was was trägt, und nur die zweite Lesart erklärt etwas.
- Die AnbieterWer was baut. Die einzige Schicht, die in einem Jahr falsch istwo alle anfangen
- Die GrenzenStrukturelle Fehler, unlesbar ohne die Schichten darunter
- Die EntwürfeDie Architekturen der aktuellen Generation. Beim ersten Mal überspringbar
- Tokens und ZahlenWie aus Text Zahlen werden, und warum Buchstaben unsichtbar sind
- Die GrundideeEin Token nach dem anderen, jedes die wahrscheinlichste Fortsetzungträgt den Rest
Nichts hier ist nummeriert, weil nichts davon ein Schritt ist. Die oberste Platte lässt sich ein Jahr lang allein halten, und vorhergesagt ist damit nichts.
Es gibt kein Gedächtnis
Zwischen zwei Antworten bleibt im Modell nichts. Der ganze Verlauf wird bei jeder Antwort neu gelesen, oder er ist nicht da: Was wie Erinnern aussieht, ist das erneute Mitschicken des bisherigen Gesprächs, und was wie Vergessen aussieht, ist dieser Verlauf, der über das Fenster hinausgewachsen ist.
Daraus folgen zwei Vorhersagen. Ein langes Gespräch wird mit jeder Runde langsamer und teurer, weil jede Runde alles noch einmal liest. Und »merk dir das für später« ist keine Anweisung, die etwas bewirkt, solange nicht etwas außerhalb des Modells es aufschreibt und vor die nächste Anfrage legt. Genau dafür gibt es den festen Anweisungsplatz und den Abruf eigener Dokumente.
Die Temperatur senken heißt wiederholen
Bei jedem Schritt liegt für jedes mögliche nächste Token ein Wert vor, und eines wird aus dieser Verteilung gezogen statt oben abgenommen. Deshalb antwortet dieselbe Anfrage am Dienstag anders, und das ist eine Einstellung und kein Mangel.
Die Einstellung lohnt sich rückwärts gelesen. Eine niedrigere Temperatur macht ein Modell einheitlich, nicht richtig. Nahe null liefert die Primzahlfrage jedes Mal dieselbe sichere falsche Antwort, und diese Ruhe liest sich als Gewissheit für jeden, dem niemand gesagt hat, was der Regler tut. Ein Unterschied zwischen zwei Antworten ist eine Auskunft. Sein Fehlen ist keine.
Der Halt ist das Vokabular
Hier hören Menschen auf, besser zu werden, sobald die Begriffe da sind. Token, Embedding, Aufmerksamkeit, Kontextfenster: Vierzehn Tage Lesen liefern alle vier, und keiner davon sagt allein etwas vorher.
In Deutschland kommt dieser Halt früher, weil der Stoff hier meistens an dieser Stelle beginnt. Ein Kurs an der Volkshochschule und eine Schulung der Industrie- und Handelskammer fangen bei der Mechanik an, ordentlich und der Reihe nach, und die Begriffe treffen auf kein einziges beobachtetes Verhalten, das sie erklären könnten. Es fühlt sich nicht wie ein Halt an, denn mit den Begriffen wird jeder Zeitungsartikel über Modelle plötzlich lesbar, und das Lesen wird genau in dem Moment leichter, in dem das Vorhersagen aufhört, besser zu werden.
Die Prüfung ist nicht, ob sich ein Kontextfenster erklären lässt. Sie lautet, ob der Satz mit den fünf Buchstaben schon vor diesem Abschnitt langweilig war, und ob sich jetzt ohne Versuch sagen lässt, was auf die Bitte um einen deutschen Absatz ohne den Buchstaben e zurückkommt. Wer ein Token erklären kann und über diese Antwort noch staunt, hat die Wörter und nicht die Mechanik.
Was eine Zeichnung davon sagen kann
Jedes Bild vom Inneren ist so ehrlich und nicht ehrlicher
Links gehen Zahlen hinein, rechts kommt ein Wert für jedes mögliche nächste Token heraus, und die Mitte ist unbeschriftet, weil niemand sie beschriften kann.
- Die gesendeten TokensWortstücke, schon Zahlen
- Schichten, die mischenDutzende davon, jede sieht auf alle anderen
- Mehr davonKeine Schicht hier hat eine Aufgabe, die sich benennen ließe
- Ein Wert je TokenZehntausende davon, einer je Kandidat
- Ein Token, gezogenGezogen, nicht oben abgenommen
Die eine bauliche Behauptung dieser Zeichnung ist, dass in einer Schicht alles alles der nächsten erreicht. Warum die Antwort Ja lautete, sagt sie nicht, und keine bessere Zeichnung derselben Sache sagt es auch.
Die Ordnung läuft von unten
Fast alle beginnen oben, bei der Anbieterlandschaft, weil dort die Neuigkeiten liegen. Es ist zugleich die einzige Schicht, die in einem Jahr falsch sein wird, und sie erklärt nichts: Zu wissen, welches Haus welches Modell veröffentlicht hat, sagt über das Verhalten keines einzigen davon etwas vorher.
Darunter liegt der Ertrag. Grenzen ist lesbar, sobald die Schichten darunter stehen, und kalt gelesen eine Liste von Beschwerden. Nach Tokens und Embeddings hört der Fehler beim Buchstabenzählen auf, eine Beschwerde zu sein, und wird zu einer Folgerung. Architekturen steht dazwischen und ist die Schicht, die sich beim ersten Durchgang am ehesten überspringen lässt, weil kaum eines der Verhalten, die jemand erklären will, sie braucht.
Unten liegt Die Grundidee. In die andere Richtung gelesen entsteht der Leserkreis, der vier Architekturen benennen kann und nicht sagen kann, warum der Satz über 3599 so herauskam, wie er herauskam.
Ein Tokenizer, Stand 2026
Von dieser Mechanik lässt sich genau ein Stück in die Hand nehmen. Tiktoken zerlegt eine Zeichenkette so, wie das Modell sie zerlegt, und gibt die Stücke zurück; damit hat es 2026 das Wörterzählen und Hoffen ersetzt. Kostenlos und quelloffen. Ein Absatz Deutsch und derselbe Absatz Englisch einmal hindurch, und der vorige Abschnitt ist nachgerechnet statt geglaubt.
Hugging Face ist 2026 der Ort, an dem Gewichte, Tokenizer und die Beschreibung eines Modells beieinander liegen, und hat damit das Papier ohne beigelegtes Ergebnis ersetzt. Kostenlos zu durchsuchen und zu laden. Die Falle ist, offene Gewichte für offene Erlaubnis zu halten: Etliche Lizenzen dort schließen die gewerbliche Nutzung in klaren Worten aus, und wer in Deutschland ein Gewerbe angemeldet hat, ist genau die Person, die das betrifft.
Ollama lässt ein kleines Modell auf dem eigenen Rechner laufen, kostenlos und quelloffen, Stand 2026, und hat das Selbstübersetzen der Laufzeit abgelöst. Auf diese Seite gehört es aus einem Grund: Dort ist die Temperatur eine Zahl, die getippt wird, statt einer, über die gelesen wird, und dieselbe Anfrage bei zwei Einstellungen zu beobachten lehrt den Abschnitt darüber in vier Minuten.
Offen bleibt, was aus alldem folgt. Wenn die Mechanik die Fehler erklärt, müsste sie auch sagen, welche davon mit einem größeren Modell kleiner werden und welche die Form der Sache selbst sind und in zehn Jahren noch dastehen. Einige der zweiten Art werden gerade als erste verkauft. Am längsten gestellt wird diese Frage unter Maschinelles Lernen, der älteren Hälfte dieses Feldes und der mit den Messungen darin. Ganz aufhören, eine Frage über das Lesen zu sein, tut sie dort, wo niemand mehr liest, und das ist KI-Agenten. Wer stattdessen die Mechanik gleich in bessere Anfragen umsetzen will, findet sie unter Prompt-Engineering.