Inhalt
Der Pilot läuft, die Technik steht, und die Antworten sind: in Ordnung. Nicht falsch genug, um das Vorhaben abzubrechen, nicht gut genug, um jemanden zu überzeugen. Das ist der häufigste Zustand, in dem wir RAG-Systeme antreffen, und fast immer wird an der falschen Stelle nach der Ursache gesucht.
Das Modell ist selten der Engpass
Die erste Reaktion auf mittelmäßige Antworten ist der Wechsel auf ein größeres Modell. Das kostet Geld, dauert einen Nachmittag und ändert selten etwas, denn ein Modell kann nur verarbeiten, was es bekommt. Wenn der Abschnitt mit der Antwort nie im Kontext landet, hilft kein besseres Sprachmodell. Es formuliert die Lücke dann nur eloquenter.
Ein Erfahrungsbericht aus drei Projekten in Forschung, Bildung und Medizin hat sieben Stellen beschrieben, an denen solche Systeme brechen. Die Autoren ziehen daraus zwei Schlüsse, die für die Planung wichtiger sind als jede Werkzeugwahl: Ein RAG-System lässt sich erst im Betrieb sinnvoll prüfen, und seine Belastbarkeit entsteht mit der Zeit, statt am Anfang entworfen zu werden.
Wo es tatsächlich bricht
Für die Fehlersuche im Alltag reichen fünf Fälle. Sie sehen für den Anwender ähnlich aus und haben völlig verschiedene Ursachen.
| Wo es bricht | Was der Nutzer sieht | Woran es liegt |
|---|---|---|
| Die Antwort steht nirgends | Eine plausible, freundliche, falsche Auskunft | Der Bestand enthält die Information nicht. Das System sagt das nicht, es füllt die Lücke. |
| Die Stelle wird nicht gefunden | „Dazu liegen mir keine Informationen vor“ | Der Abschnitt existiert, landet aber nicht unter den ersten Treffern. Der häufigste Fall. |
| Die Stelle wird gefunden und verworfen | Eine Antwort, die einen Teilaspekt behandelt | Zu viele Treffer, zu wenig Platz im Kontextfenster. Was hinten steht, fällt weg. |
| Die Stelle steht im Kontext, wird aber nicht genutzt | Eine Antwort, die neben der Quelle steht | Widersprüchliche Passagen, verschachtelte Tabellen, Fußnoten ohne Bezug. |
| Die Antwort ist richtig, aber unbrauchbar | Drei Absätze, wo eine Zahl gefragt war | Format und Genauigkeit sind nicht festgelegt. Kein Abrufproblem, ein Auftragsproblem. |
Die Unterscheidung ist keine Theorie. Sie bestimmt, wer den Fehler behebt: Fall eins geht an die Fachabteilung, Fall zwei und drei an die Technik, Fall vier an die Dokumentenaufbereitung, Fall fünf an denjenigen, der den Auftrag formuliert hat.
Warum mehr Dokumente das Problem vergrößern
Die naheliegende Reaktion auf „das steht da nicht“ ist, mehr einzuspeisen. Das verschlechtert die Lage häufig. Jeder zusätzliche Abschnitt ist ein weiterer Kandidat, der einer Frage ähnlich sieht, ohne sie zu beantworten: die Vorversion einer Richtlinie, das Protokoll, in dem der Punkt nur erwähnt wird, die Präsentation mit derselben Überschrift.
Wer den Bestand verdoppelt, verdoppelt nicht die Chance auf die richtige Antwort, sondern den Wettbewerb um die ersten fünf Plätze. Alte Fassungen auszusortieren bringt oft mehr als jede technische Verbesserung.
Drei Hebel, die wirklich etwas ändern
In dieser Reihenfolge, nicht in umgekehrter.
| Hebel | Was er bewirkt | Was er kostet |
|---|---|---|
| Sinnvoll schneiden | Abschnitte entlang der Struktur des Dokuments statt nach Zeichenzahl. Ein Vertragsparagraf bleibt ganz, eine Tabelle behält ihre Kopfzeile. | Einmalige Arbeit an der Aufbereitung. Der mit Abstand beste Ertrag je Stunde. |
| Zwei Suchen statt einer | Bedeutungssuche und klassische Wortsuche parallel. Artikelnummern, Eigennamen und Abkürzungen findet nur die zweite. | Etwas mehr Technik im Betrieb, kaum spürbare Wartezeit. |
| Nachsortieren | Ein zweites Modell bewertet die zwanzig Kandidaten und übergibt nur die besten fünf. | Der wirksamste Hebel, aber jede Anfrage dauert länger. Erst einsetzen, wenn die beiden davor sitzen. |
Auffällig ist, was in dieser Liste fehlt: das Sprachmodell. Es steht am Ende der Kette und kann nur so gut sein wie das, was vor ihm passiert.
Wie Sie messen, ob es besser wird
Ohne getrennte Messung dreht man an Stellschrauben und rät. Die Trennung ist einfach: Legen Sie 30 bis 50 echte Fragen aus dem Alltag fest, jeweils mit dem Abschnitt, in dem die Antwort steht. Dann messen Sie zweierlei.
Erstens den Abruf: War der richtige Abschnitt unter den Treffern, und an welcher Stelle? Diese Zahl ist die Obergrenze für alles Weitere. Liegt sie bei 60 Prozent, kann das beste Modell der Welt nicht über 60 Prozent kommen.
Zweitens die Antwort: Ist aus dem gefundenen Abschnitt eine brauchbare Auskunft geworden? Erst diese zweite Zahl sagt etwas über das Modell und die Aufgabenstellung aus.
Derselbe Satz Fragen dient später der Abnahme und danach der wiederkehrenden Prüfung im Betrieb. Wie das im Vertrag geregelt wird, steht im Baustein Einkaufen und abnehmen.
Wann RAG die falsche Antwort ist
Nicht jede Wissensfrage ist eine Dokumentenfrage. Steht die Auskunft in einer Datenbank, ist eine Abfrage exakt, schnell und nachvollziehbar, während ein Abruf über Textabschnitte bestenfalls das richtige Dokument findet. Geht es nicht um Fakten, sondern um Tonfall, Format oder Fachsprache, ist Fine-Tuning der passendere Weg. Und wenn die Antwort nirgends aufgeschrieben ist, weil sie im Kopf von drei Leuten steckt, ist die ehrliche erste Maßnahme kein KI-Projekt, sondern eine Woche Dokumentation.
Der Regelfall bleibt trotzdem RAG: Unterlagen ändern sich, Antworten sollen belegbar sein, und niemand will ein Modell nachtrainieren, weil eine Richtlinie neu gefasst wurde.
Häufige Fragen
Wie viele Dokumente braucht ein sinnvoller Start?
Weniger, als die meisten annehmen. Ein Bestand von 200 bis 500 gut aufbereiteten Seiten aus einem klar abgegrenzten Bereich liefert bessere Antworten als 20.000 Seiten quer durch das Unternehmen. Der Grund liegt im Suchschritt: Je breiter der Bestand, desto mehr Abschnitte ähneln der Frage, ohne sie zu beantworten. Beginnen Sie mit dem Bereich, in dem die Fragen am gleichförmigsten sind.
Ersetzt ein größeres Kontextfenster nicht die ganze Sucherei?
Nein, es verschiebt das Problem. Wer sehr viel Text mitschickt, zahlt für jedes Token und wartet länger, und die Trefferquote steigt nicht im gleichen Maß. Hinzu kommt, dass Modelle Angaben in der Mitte langer Eingaben schlechter nutzen als solche am Anfang oder Ende. Ein gezielt gefundener Abschnitt schlägt einen großzügig mitgeschickten Stapel.
Woran erkennen wir, ob der Abruf oder das Modell schuld ist?
Indem Sie beides getrennt messen. Prüfen Sie zuerst, ob der Abschnitt mit der Antwort überhaupt unter den Treffern war. War er es nicht, ist es ein Suchproblem, und ein besseres Modell ändert nichts. War er es und die Antwort stimmt trotzdem nicht, liegt es an der Aufbereitung oder am Auftrag an das Modell.
Wann ist RAG die falsche Wahl?
Wenn die Antwort nicht in Dokumenten steht, sondern in einer Datenbank. Fragen nach Beständen, Umsätzen oder Terminen beantwortet eine Abfrage exakt, während ein Abruf über Textabschnitte bestenfalls das richtige Dokument findet. Auch wenn es um Tonfall, Format oder Fachsprache geht statt um Fakten, ist Fine-Tuning der passendere Weg.
Quelle: Barnett, Kurniawan, Thudumu, Brannelly, Abdelrazek: Seven Failure Points When Engineering a Retrieval Augmented Generation System. IEEE/ACM CAIN 2024, arXiv:2401.05856.