Eine Kundin fragt, ob sie den Akkuschrauber umtauschen kann, weil er nicht auf ihre alte Bohrmaschine passt. Was danach schiefgeht, ist nicht die Antwort des Modells. Es ist, dass der Absatz, der diesen Fall regelt, dem Modell nie vorgelegt wurde.
Yasemin Dorn betreut die Shopsoftware eines Werkzeughändlers in Chemnitz, 14.000 Artikel im Sortiment. Gewünscht war eine kleine Sache: Ein Feld, in das jemand eine Frage in gewöhnlichen Worten tippt, und eine Antwort aus den Datenblättern und den eigenen Bedingungen des Hauses. Das Modell war der Teil, der von Anfang an lief. Was einen Monat lang schieflief, lag links und rechts davon.
Der Kunde schreibt Rückgabe
Die Frage holte den Abschnitt über die Herstellergarantie herbei, weil dort das Wort Umtausch steht, für den Fall eines Transportschadens. Der Absatz, der wirklich gilt, ist die Widerrufsbelehrung, und die spricht von Widerruf, von vierzehn Tagen und von Fernabsatz. Mit der gestellten Frage teilt sie kein einziges Wort. Das Modell schrieb daraufhin einen freundlichen, gut gebauten und falschen Absatz aus dem Text, den es bekommen hatte, was das einzige war, was sich damit machen ließ.
Sprachliche Lücke
Kundensprache gegen AGB-Wortlaut im Onlineshop
Wenn die Kundschaft nach Umtausch sucht, greift die semantische Suche ins Leere, weil im Rechtstext ausschließlich Widerruf steht.
Abhilfe schafft nicht ein größeres Modell, sondern das doppelte Indexieren jeder Regel: einmal im Gesetzestext und einmal in der Sprache der Kundschaft.
Liegt die richtige Stelle nicht unter den ersten Treffern, rettet kein Modell die Antwort. Der Satz verschiebt die Arbeit, und das ist sein Wert: Das Herausholen wird daran gemessen, ob der richtige Absatz in der Handvoll ist, die weitergereicht wird, und das ist ein Suchproblem mit Jahrzehnten Technik dahinter, von der nichts mit Modellen zu tun hat.
Im Deutschen ist der Abstand größer als in jeder Sprache, in der das Gesetz und die Kundschaft dieselben lateinischen Wurzeln benutzen. Der Kunde schreibt Rückgabe, im Text steht Widerruf, und beide teilen kein Wort. Ein allgemeines Umtauschrecht gibt es hier ohnehin nicht: Im Laden ist der Umtausch Kulanz, und im Fernabsatz heißt der Anspruch Widerruf, also verlangt die Kundin etwas Schwächeres als das, was ihr zusteht, und bekommt eine Zusage, die das Haus nicht schuldet. Dazu kommt die zweite deutsche Eigenheit: Das Wort, mit dem jemand sucht, steckt in einem längeren drin. Wer Kosten eingibt, findet Rücksendekosten nicht, solange der Index die Fuge nicht aufmacht.
Yasemin Dorns Abhilfe war kein technischer Eingriff. Jede Regel liegt jetzt zweimal im Index: einmal so, wie sie geschrieben ist, und einmal als die Frage, die eine Kundin damit stellt, in deren Worten. Das ist Schreibarbeit, sie hat drei Tage gedauert, und sie hat mehr gebracht als alles, was im selben Monat am Modell geändert wurde.
Der Ton stimmte, der Satz nicht
Davor lagen zwei Wochen Feinabstimmung auf 300 alten Antworten des Kundendienstes, unter der vernünftigen Annahme, dass die Anlage lernen solle, wie dieses Haus antwortet. Es hat funktioniert. Zurück kamen Antworten in der Anrede des Hauses, mit dessen Grußformel und dessen kurzem Satzbau, und weiterhin falsch beim Widerruf.
Wirkung von Feinabstimmung
Gefällige Form gegen rechtliche Richtigkeit
Zwei Wochen Training auf alten E-Mails brachten den perfekten Tonfall des Hauses hervor, änderten aber nichts an falschen Rechtsauskünften.
- Feinabstimmung (Modellgewichte)Lehrt Stil und Form, keine Tatsachen
- Grußformel und vertraute Tonalität des Hauses
- Flüssiger, kurzer und überzeugender Satzbau
- Falsche Widerrufsfrist bleibt unverändert bestehen
- Retrieval (Dokumentenabruf)Liefert den jeweils gültigen Paragrafen
- Geltende Widerrufsbelehrung zur Laufzeit geladen
- Gesetzesänderungen sofort ohne Nachtraining wirksam
- Eindeutige Zitate aus aktuellen Bedingungen
Eine Angabe, die sich durch Gesetzesänderungen verschieben kann, gehört zur Laufzeit in das Dokumentenfenster, niemals in die Modellgewichte.
Feinabstimmung lehrt eine Form, keine Tatsache. Sie verschiebt Stil, Aufbau und die Art des Erzeugten, was seinen Wert hat, wenn die Ausgabe jedes Mal gleich aussehen muss. Für einen bestimmten richtigen Absatz ist sie das falsche Werkzeug, und der Fehlschlag ist der teure: Die Antworten werden überzeugender und bleiben ebenso falsch. Eine Angabe, die sich mit einer Gesetzesänderung ändert, gehört in etwas, das im Moment des Antwortens gelesen wird, nie in die Gewichte.
Testfälle ohne falsche Antwort
Einen Satz Testfälle hatte sie geschrieben, und das war das eine, was in der richtigen Reihenfolge geschah. Den Testsatz vor der Funktion schreiben, denn eine Vorführung kann nicht durchfallen: Eine Vorführung ist eine Frage, die nach der Anlage ausgesucht wurde, und sie wählt jedes Mal das aus, was ohnehin geht, ohne dass jemand mogeln müsste.
Prüfverfahren
Harte Testfälle aus echten Reklamationen
Gefällige Vorführbeispiele beweisen nur den Aufruf. Ein echter Testsatz speist sich aus den Missverständnissen des vergangenen Monats.
- NeinPlausible Standardfragen am ersten TagBestätigen nur den fehlerfreien Netzaufruf, decken aber keine Grenzfälle auf.Nein
- JaSpezifischer Testfall: Umtausch versus WiderrufErwartete Antwort explizit auf vierzehn Tage Widerruf festgeschrieben.Ja
- JaWörtliche Zitate aus gültigen Richtlinien verlangtAntwort muss die Originalquelle belegen statt frei zu paraphrasieren.Ja
- JaRegressionsprüfung vor jedem ReleaseVerhindert, dass neue Prompts bestehende Korrekturen wieder aufheben.Ja
Wer Testfälle erst nach der Entwicklung schreibt, konstruiert unbewusst Aufgaben, die das bestehende System ohnehin mühelos löst.
Die erste Fassung lehrte trotzdem nichts. Zwölf Fragen, alle plausibel gestellt, alle am ersten Nachmittag richtig beantwortet. Ein Testsatz ohne falsche Antworten misst nur, dass die Sache läuft. Der Satz, der seinen Platz verdiente, war der zweite, gebaut aus den Reklamationen dieses Monats, mit der Umtauschfrage an erster Stelle und der erwarteten Antwort von Hand ausgeschrieben: vierzehn Tage Widerruf, kein Umtausch, und die Stelle zitiert statt umschrieben.
So ist die ganze Ebene darunter gebaut. Eine Anlage, die nie zweimal gleich antwortet, lässt sich nicht durch Hinsehen prüfen, also sind Evals nicht der ordentliche letzte Schritt, sondern das Messgerät, durch das jeder andere Schritt gelesen wird.
Beide Seiten des Aufrufs
Jeder Aufruf ist ein Netzaufruf und fällt aus, wie Netzaufrufe ausfallen: langsam, sporadisch und im ungünstigsten Moment. Er kostet außerdem. Eine Wiederholung nach einer Zeitüberschreitung kann zweimal abrechnen und einmal antworten, und eine Wiederholung einer Anfrage, die schon eine Bestellung ausgelöst hat, ist keine doppelte Antwort, sondern eine doppelte Bestellung.
Wo die Arbeit liegt
Alles verengt sich auf einen Aufruf, und den hat niemand geschrieben
Vier Dinge werden in einen einzigen Aufruf gedrückt, und drei Folgen fallen unten heraus. Der Aufruf selbst sind ein paar Zeilen.
- Die Frage der KundinGetippt, wie auf einem Handy getippt wird
- Die eigenen BedingungenNeun Seiten, geschrieben für einen Aushang
- Die Datenblätter14.000 davon, und jede Woche ändern sich welche
- Die feste AnweisungFür wen die Antwort ist, und was nicht erfunden werden darf
- Eine geprüfte AntwortOder eine Zurückweisung, aufgehoben für den nächsten Testsatz
- Eine Bestellung oder ein NeinEine Zeile in einer Datenbank, die sich schlecht zurücknehmen lässt
- Der Montag von jemandemWo ein Absatz ankommt, den niemand herausgesucht hat
Die beiden Kegel sind die Anlage und die Taille ist der Anbieter. Eine Zeichnung, die die Taille zum größten Teil machte, wäre ein Bild der Vorführung und nicht der Sache im Betrieb.
Auf dem Rückweg gilt: Die Ausgabe des Modells behandeln wie ein Formular, das eine fremde Person ausgefüllt hat. Es ist kein selbst geschriebenes Markup und kein Wert aus der eigenen Datenbank, und es wird gleich auf eine Seite gesetzt oder an eine Bestellfunktion gegeben. Gegen einen erklärten Typ prüfen, alles zurückweisen, was nicht passt, und die Zurückweisungen aufheben, denn sie sind die Testfälle des nächsten Monats.
Wo der Aufruf hingeht
Diesen Abschnitt braucht eine englische Fassung dieser Seite nicht. Der Text der Kundin ist ein personenbezogenes Datum, sobald eine Bestellnummer oder ein Name darin steht, und er verlässt mit dem Aufruf das Haus. Dafür gibt es einen Vertrag über die Auftragsverarbeitung nach Artikel 28 der Datenschutz-Grundverordnung, und den schließt man vor dem Anschalten und nicht nach der ersten Anfrage einer Aufsichtsbehörde.
Rechtssicherheit
Datenschutz und Kennzeichnung vor dem ersten Klick
Sobald Kundennamen oder Bestellnummern übertragen werden, gelten europäische Datenschutzstandards und Kennzeichnungspflichten.
- Auftragsverarbeitung nach Art. 28 DSGVO+Übermittlung personenbezogener Daten ohne vertragliche Bindung→Rechtlich bindender AV-Vertrag mit dem Schnittstellenanbieter
- BSI C5 Cloud-Zertifizierung+Unsichere Serverstandorte außerhalb der regulatorischen Kontrolle→Verifizierte Rechenzentren für deutsche Unternehmen und Behörden
- Transparenzgebot nach Art. 50 KI-VO+Irreführung der Kundschaft über den maschinellen Charakter→Klarer Hinweis direkt über dem Eingabefeld im Onlineshop
Diese Vorgaben vor dem Produktivgang einzurichten vermeidet kostspielige Verfahren nach behördlichen Prüfungen.
Der zweite Teil der Rechnung kommt vom Kunden selbst. Ein deutsches Unternehmen oder eine Behörde fragt, wo die Anlage läuft, und fragt nach der Bescheinigung BSI C5. Zum Lernen sind die großen Anbieter richtig; für einen Auftrag entscheidet oft nicht der Preis, sondern der Ort. Und seit August 2026 gelten die Transparenzpflichten aus Artikel 50 der KI-Verordnung: Das Feld im Shop muss als Maschine erkennbar sein. Ein Satz über dem Eingabefeld erledigt das, und er gehört in dieselbe Vorlage wie das Feld selbst. Ausbuchstabiert wird der Rest unter IT-Sicherheit.
Die zweite Stufe: was alle übergehen
Zuerst der Aufruf, unter Modell-API, was einen Abend kostet und klärt, was die Sache kostet und wie sie ausfällt. Der Testsatz ist die zweite Stufe. Danach Retrieval, wo sich der größte Teil der Arbeit als Suchproblem entpuppt. Als viertes und selten Feinabstimmung, dann Produktivbetrieb.
Die Ordnung
Die zweite Stufe ist die, über die alle hinwegsteigen
Eine Treppe und keine Liste: Die vierte Stufe lässt sich ohne die zweite nicht beurteilen, und die dritte ohne sie auch nicht in Ordnung bringen.
- 01Den Aufruf machenEin Abend. Er klärt die Kosten und die Arten des Ausfalls
- 02Den Testsatz schreibenBevor es die Funktion gibt, und mit falschen Antworten darin
- 03Die eigenen Daten gebenRetrieval, und zuerst ein Suchproblem
- 04Die Form ändernFeinabstimmung, und nur gegen die zweite Stufe
- 05Vor Fremde stellenAusfälle, Wiederholungen, Kosten, und Text, den niemand geschrieben hat
Die übergangene zweite Stufe bleibt etwa sechs Wochen unsichtbar, weil alles darüber weiterläuft. Was fehlt, ist nicht die Richtigkeit, sondern die Möglichkeit festzustellen, ob sich etwas geändert hat.
Die zweite Stufe ist die, die übergangen wird, und das bleibt etwa sechs Wochen unsichtbar. Ohne sie lässt sich die dritte nicht prüfen, weil nichts eine verbesserte Suche von einer bloß veränderten unterscheidet. Die vierte lässt sich überhaupt nicht begründen, denn die einzige Behauptung, die eine Feinabstimmung je aufstellt, ist eine vergleichende. Wer die vierte Stufe ohne die zweite erreicht, hat eine teure Änderung gekauft, die sich nicht bewerten lässt, und behält sie, weil sie sich besser anhört.
Der Halt ist das Gefühl
Der Halt kommt hier erst, nachdem die Sache läuft. Die Anlage beantwortet das meiste, die offensichtlichen Fehlschläge sind weg, und jede weitere Änderung wird durch Ausprobieren beurteilt: eine andere Stückelung, eine umgeschriebene Anweisung, ein neueres Modell, jeweils gefolgt von drei Fragen und einem Urteil. Die Betriebsamkeit lässt nie nach, und deshalb fällt niemandem auf, dass das Besserwerden aufgehört hat.
Qualitätskontrolle
Bauchentscheidung gegen automatisierte Regression
Wer Änderungen an Prompt oder Vektorsuche nur mit drei spontanen Fragen prüft, verliert die tatsächliche Leistungsfähigkeit aus dem Blick.
- Drei spontane Wohlfühlfragen nach GefühlTrügerisches ErfolgsgefühlTestet nur, was der Entwickler ohnehin im Kopf hatte; blinde Flecken bleiben bestehen.
- Fester Testkatalog aus echten ReklamationenBelastbare QualitätsmessungWeist sofort nach, ob die Umtauschklausel weiterhin korrekt zitiert wird.
Stillstand tritt ein, wenn fleißig geändert, aber nur noch nach Gefühl bewertet wird.
Zum Halt wird es durch die Frage, wer die drei Fragen auswählt. Ausgewählt werden sie von der Person, die gerade die Änderung gemacht hat, Minuten danach, aus den Fällen, die ihr dabei im Kopf waren. Der zweite Satz Testfälle aus Chemnitz besteht, weil die Umtauschfrage nie unter diesen dreien war und nie darunter gewesen wäre. Niemand schreibt einen Test aus einem Fall, den er noch nicht gedacht hat, und deshalb müssen die Fälle aus dem kommen, was schiefging, statt aus dem, was schiefgehen könnte.
Drei quelloffene Werkzeuge, Stand 2026
Pgvector legt die Vektoren in die Postgres-Datenbank, die unter der Anwendung ohnehin schon liegt, Stand 2026, und hat damit das Aufstellen einer zweiten Datenbank allein für Vektoren ersetzt. Kostenlos und quelloffen. Es ist die richtige Voreinstellung, weil brauchbares Herausholen fast immer einen Filter neben der Ähnlichkeit braucht: Die Umtauschfrage will die Bedingungen dieses Shops, in der gültigen Fassung, nach beidem sortiert.
Open Source 2026
Drei quelloffene Werkzeuge für robuste Anwendungen
Moderne Architekturen setzen auf modulare, quelloffene Komponenten direkt in der bestehenden Datenbankinfrastruktur.
- PgvectorKombiniert Vektorsuche und klassische AGB-Metadatenfilter in einer vorhandenen PostgreSQL-Datenbank.
- PydanticValidiert unzuverlässige Textausgaben des Modells streng gegen deklarierte Datentypen.
- PromptfooFührt automatisierte Testläufe gegen feste Bewertungskataloge bei jeder Änderung aus.
Integrierte PostgreSQL-Umgebung
Diese Werkzeuge machen Anpassungen messbar und vermeiden separate, teure Spezialdatenbanken.
Pydantic prüft das Zurückgekommene gegen einen erklärten Typ, bevor irgendetwas dahinter es zu sehen bekommt, kostenlos und quelloffen, Stand 2026. Ersetzt hat es das Auseinandernehmen von Fließtext mit einem regulären Ausdruck und die Hoffnung, dass die Form gehalten hat.
Promptfoo lässt bei jeder Änderung eine Datei mit Fällen gegen eine Anweisung laufen und meldet, welche Antworten sich bewegt haben, kostenlos und quelloffen, Stand 2026. Ersetzt hat es genau die Methode aus dem vorigen Abschnitt: dieselben drei Fragen von Hand nach jeder Änderung.
Offen bleibt, was unter dem verlorenen Monat liegt. An der gescheiterten Suche war nichts modellhaft: Es war eine Regel, geschrieben für einen Aushang, abgelegt unter den Wörtern, die zufällig darin vorkamen. Das ist Datenanalyse im Kostüm, und die Fassung dieses Problems, die einen Namen und eine Literatur hat, ist Softwareauslieferung, wo es Zeitüberschreitungen, Wiederholungen und Rücknahmen lange vor alldem gab.