Eine Kundin fragt, ob sie den Akkuschrauber umtauschen kann, weil er nicht auf ihre alte Bohrmaschine passt. Was danach schiefgeht, ist nicht die Antwort des Modells. Es ist, dass der Absatz, der diesen Fall regelt, dem Modell nie vorgelegt wurde.
Yasemin Dorn betreut die Shopsoftware eines Werkzeughändlers in Chemnitz, 14.000 Artikel im Sortiment. Gewünscht war eine kleine Sache: Ein Feld, in das jemand eine Frage in gewöhnlichen Worten tippt, und eine Antwort aus den Datenblättern und den eigenen Bedingungen des Hauses. Das Modell war der Teil, der von Anfang an lief. Was einen Monat lang schieflief, lag links und rechts davon.
Der Kunde schreibt Rückgabe
Die Frage holte den Abschnitt über die Herstellergarantie herbei, weil dort das Wort Umtausch steht, für den Fall eines Transportschadens. Der Absatz, der wirklich gilt, ist die Widerrufsbelehrung, und die spricht von Widerruf, von vierzehn Tagen und von Fernabsatz. Mit der gestellten Frage teilt sie kein einziges Wort. Das Modell schrieb daraufhin einen freundlichen, gut gebauten und falschen Absatz aus dem Text, den es bekommen hatte, was das einzige war, was sich damit machen ließ.
Liegt die richtige Stelle nicht unter den ersten Treffern, rettet kein Modell die Antwort. Der Satz verschiebt die Arbeit, und das ist sein Wert: Das Herausholen wird daran gemessen, ob der richtige Absatz in der Handvoll ist, die weitergereicht wird, und das ist ein Suchproblem mit Jahrzehnten Technik dahinter, von der nichts mit Modellen zu tun hat.
Im Deutschen ist der Abstand größer als in jeder Sprache, in der das Gesetz und die Kundschaft dieselben lateinischen Wurzeln benutzen. Der Kunde schreibt Rückgabe, im Text steht Widerruf, und beide teilen kein Wort. Ein allgemeines Umtauschrecht gibt es hier ohnehin nicht: Im Laden ist der Umtausch Kulanz, und im Fernabsatz heißt der Anspruch Widerruf, also verlangt die Kundin etwas Schwächeres als das, was ihr zusteht, und bekommt eine Zusage, die das Haus nicht schuldet. Dazu kommt die zweite deutsche Eigenheit: Das Wort, mit dem jemand sucht, steckt in einem längeren drin. Wer Kosten eingibt, findet Rücksendekosten nicht, solange der Index die Fuge nicht aufmacht.
Yasemin Dorns Abhilfe war kein technischer Eingriff. Jede Regel liegt jetzt zweimal im Index: einmal so, wie sie geschrieben ist, und einmal als die Frage, die eine Kundin damit stellt, in deren Worten. Das ist Schreibarbeit, sie hat drei Tage gedauert, und sie hat mehr gebracht als alles, was im selben Monat am Modell geändert wurde.
Der Ton stimmte, der Satz nicht
Davor lagen zwei Wochen Feinabstimmung auf 300 alten Antworten des Kundendienstes, unter der vernünftigen Annahme, dass die Anlage lernen solle, wie dieses Haus antwortet. Es hat funktioniert. Zurück kamen Antworten in der Anrede des Hauses, mit dessen Grußformel und dessen kurzem Satzbau, und weiterhin falsch beim Widerruf.
Feinabstimmung lehrt eine Form, keine Tatsache. Sie verschiebt Stil, Aufbau und die Art des Erzeugten, was seinen Wert hat, wenn die Ausgabe jedes Mal gleich aussehen muss. Für einen bestimmten richtigen Absatz ist sie das falsche Werkzeug, und der Fehlschlag ist der teure: Die Antworten werden überzeugender und bleiben ebenso falsch. Eine Angabe, die sich mit einer Gesetzesänderung ändert, gehört in etwas, das im Moment des Antwortens gelesen wird, nie in die Gewichte.
Testfälle ohne falsche Antwort
Einen Satz Testfälle hatte sie geschrieben, und das war das eine, was in der richtigen Reihenfolge geschah. Den Testsatz vor der Funktion schreiben, denn eine Vorführung kann nicht durchfallen: Eine Vorführung ist eine Frage, die nach der Anlage ausgesucht wurde, und sie wählt jedes Mal das aus, was ohnehin geht, ohne dass jemand mogeln müsste.
Die erste Fassung lehrte trotzdem nichts. Zwölf Fragen, alle plausibel gestellt, alle am ersten Nachmittag richtig beantwortet. Ein Testsatz ohne falsche Antworten misst nur, dass die Sache läuft. Der Satz, der seinen Platz verdiente, war der zweite, gebaut aus den Reklamationen dieses Monats, mit der Umtauschfrage an erster Stelle und der erwarteten Antwort von Hand ausgeschrieben: vierzehn Tage Widerruf, kein Umtausch, und die Stelle zitiert statt umschrieben.
So ist die ganze Ebene darunter gebaut. Eine Anlage, die nie zweimal gleich antwortet, lässt sich nicht durch Hinsehen prüfen, also sind Evals nicht der ordentliche letzte Schritt, sondern das Messgerät, durch das jeder andere Schritt gelesen wird.
Beide Seiten des Aufrufs
Jeder Aufruf ist ein Netzaufruf und fällt aus, wie Netzaufrufe ausfallen: langsam, sporadisch und im ungünstigsten Moment. Er kostet außerdem. Eine Wiederholung nach einer Zeitüberschreitung kann zweimal abrechnen und einmal antworten, und eine Wiederholung einer Anfrage, die schon eine Bestellung ausgelöst hat, ist keine doppelte Antwort, sondern eine doppelte Bestellung.
Auf dem Rückweg gilt: Die Ausgabe des Modells behandeln wie ein Formular, das eine fremde Person ausgefüllt hat. Es ist kein selbst geschriebenes Markup und kein Wert aus der eigenen Datenbank, und es wird gleich auf eine Seite gesetzt oder an eine Bestellfunktion gegeben. Gegen einen erklärten Typ prüfen, alles zurückweisen, was nicht passt, und die Zurückweisungen aufheben, denn sie sind die Testfälle des nächsten Monats.
Wo die Arbeit liegt
Alles verengt sich auf einen Aufruf, und den hat niemand geschrieben
Vier Dinge werden in einen einzigen Aufruf gedrückt, und drei Folgen fallen unten heraus. Der Aufruf selbst sind ein paar Zeilen.
- Die Frage der KundinGetippt, wie auf einem Handy getippt wird
- Die eigenen BedingungenNeun Seiten, geschrieben für einen Aushang
- Die Datenblätter14.000 davon, und jede Woche ändern sich welche
- Die feste AnweisungFür wen die Antwort ist, und was nicht erfunden werden darf
- Eine geprüfte AntwortOder eine Zurückweisung, aufgehoben für den nächsten Testsatz
- Eine Bestellung oder ein NeinEine Zeile in einer Datenbank, die sich schlecht zurücknehmen lässt
- Der Montag von jemandemWo ein Absatz ankommt, den niemand herausgesucht hat
Die beiden Kegel sind die Anlage und die Taille ist der Anbieter. Eine Zeichnung, die die Taille zum größten Teil machte, wäre ein Bild der Vorführung und nicht der Sache im Betrieb.
Wo der Aufruf hingeht
Diesen Abschnitt braucht eine englische Fassung dieser Seite nicht. Der Text der Kundin ist ein personenbezogenes Datum, sobald eine Bestellnummer oder ein Name darin steht, und er verlässt mit dem Aufruf das Haus. Dafür gibt es einen Vertrag über die Auftragsverarbeitung nach Artikel 28 der Datenschutz-Grundverordnung, und den schließt man vor dem Anschalten und nicht nach der ersten Anfrage einer Aufsichtsbehörde.
Der zweite Teil der Rechnung kommt vom Kunden selbst. Ein deutsches Unternehmen oder eine Behörde fragt, wo die Anlage läuft, und fragt nach der Bescheinigung BSI C5. Zum Lernen sind die großen Anbieter richtig; für einen Auftrag entscheidet oft nicht der Preis, sondern der Ort. Und seit August 2026 gelten die Transparenzpflichten aus Artikel 50 der KI-Verordnung: Das Feld im Shop muss als Maschine erkennbar sein. Ein Satz über dem Eingabefeld erledigt das, und er gehört in dieselbe Vorlage wie das Feld selbst. Ausbuchstabiert wird der Rest unter IT-Sicherheit.
Die zweite Stufe: was alle übergehen
Zuerst der Aufruf, unter Modell-API, was einen Abend kostet und klärt, was die Sache kostet und wie sie ausfällt. Der Testsatz ist die zweite Stufe. Danach Retrieval, wo sich der größte Teil der Arbeit als Suchproblem entpuppt. Als viertes und selten Feinabstimmung, dann Produktivbetrieb.
Die zweite Stufe ist die, die übergangen wird, und das bleibt etwa sechs Wochen unsichtbar. Ohne sie lässt sich die dritte nicht prüfen, weil nichts eine verbesserte Suche von einer bloß veränderten unterscheidet. Die vierte lässt sich überhaupt nicht begründen, denn die einzige Behauptung, die eine Feinabstimmung je aufstellt, ist eine vergleichende. Wer die vierte Stufe ohne die zweite erreicht, hat eine teure Änderung gekauft, die sich nicht bewerten lässt, und behält sie, weil sie sich besser anhört.
Der Halt ist das Gefühl
Der Halt kommt hier erst, nachdem die Sache läuft. Die Anlage beantwortet das meiste, die offensichtlichen Fehlschläge sind weg, und jede weitere Änderung wird durch Ausprobieren beurteilt: eine andere Stückelung, eine umgeschriebene Anweisung, ein neueres Modell, jeweils gefolgt von drei Fragen und einem Urteil. Die Betriebsamkeit lässt nie nach, und deshalb fällt niemandem auf, dass das Besserwerden aufgehört hat.
Zum Halt wird es durch die Frage, wer die drei Fragen auswählt. Ausgewählt werden sie von der Person, die gerade die Änderung gemacht hat, Minuten danach, aus den Fällen, die ihr dabei im Kopf waren. Der zweite Satz Testfälle aus Chemnitz besteht, weil die Umtauschfrage nie unter diesen dreien war und nie darunter gewesen wäre. Niemand schreibt einen Test aus einem Fall, den er noch nicht gedacht hat, und deshalb müssen die Fälle aus dem kommen, was schiefging, statt aus dem, was schiefgehen könnte.
Drei quelloffene Werkzeuge, Stand 2026
Pgvector legt die Vektoren in die Postgres-Datenbank, die unter der Anwendung ohnehin schon liegt, Stand 2026, und hat damit das Aufstellen einer zweiten Datenbank allein für Vektoren ersetzt. Kostenlos und quelloffen. Es ist die richtige Voreinstellung, weil brauchbares Herausholen fast immer einen Filter neben der Ähnlichkeit braucht: Die Umtauschfrage will die Bedingungen dieses Shops, in der gültigen Fassung, nach beidem sortiert.
Pydantic prüft das Zurückgekommene gegen einen erklärten Typ, bevor irgendetwas dahinter es zu sehen bekommt, kostenlos und quelloffen, Stand 2026. Ersetzt hat es das Auseinandernehmen von Fließtext mit einem regulären Ausdruck und die Hoffnung, dass die Form gehalten hat.
Promptfoo lässt bei jeder Änderung eine Datei mit Fällen gegen eine Anweisung laufen und meldet, welche Antworten sich bewegt haben, kostenlos und quelloffen, Stand 2026. Ersetzt hat es genau die Methode aus dem vorigen Abschnitt: dieselben drei Fragen von Hand nach jeder Änderung.
Offen bleibt, was unter dem verlorenen Monat liegt. An der gescheiterten Suche war nichts modellhaft: Es war eine Regel, geschrieben für einen Aushang, abgelegt unter den Wörtern, die zufällig darin vorkamen. Das ist Datenanalyse im Kostüm, und die Fassung dieses Problems, die einen Namen und eine Literatur hat, ist Softwareauslieferung, wo es Zeitüberschreitungen, Wiederholungen und Rücknahmen lange vor alldem gab.