RAG und Unternehmenswissen
Antworten aus Ihren eigenen Unterlagen, mit Beleg
RAG verbindet ein Sprachmodell mit den Dokumenten Ihres Hauses. Jede Antwort beruht auf Ihren Unterlagen und nennt die Stelle, aus der sie stammt. Diese Seite erklärt Aufbau, Quellen, Suche, Rechte und Qualitätsmessung und zeigt, wie ein solches System Schritt für Schritt entsteht.
Warum ist RAG der Standard für Unternehmenswissen?
Weil es zwei Stärken verbindet, die für sich allein nicht reichen. Ein Sprachmodell formuliert hervorragend, kennt aber Ihre Richtlinien, Produkte und Abläufe nicht. Ihre Dokumente enthalten genau dieses Wissen, sind aber oft mühsam zu durchsuchen. RAG bringt beides zusammen: Das System sucht die passenden Stellen und lässt das Modell daraus eine Antwort formulieren, die ihre Quelle nennt.
Für Unternehmen hat das drei handfeste Vorteile. Das Wissen bleibt aktuell, weil ein neues Dokument sofort wirkt. Jede Antwort lässt sich prüfen, weil sie ihre Fundstelle zeigt. Und die Rechte bleiben gewahrt, weil jeder nur Antworten aus Unterlagen erhält, die er ohnehin lesen darf.
Diese Seite geht den Aufbau Schritt für Schritt durch: das Prinzip, die passenden Einsatzfelder, die Auswahl und Aufbereitung der Quellen, die Suche, die belegte Antwort, die Rechte, die Messung der Qualität, die Pflege im Betrieb, die Wahl des Betriebswegs und das Vorgehen im Projekt. Einen kürzeren Einstieg mit Praxisbeispielen bietet unser Fachbeitrag zu RAG in der Praxis.
- Wie RAG funktioniert
- Wofür RAG besonders geeignet ist
- Welche Unterlagen sich eignen
- Wie Dokumente aufbereitet werden
- Wie die richtige Stelle gefunden wird
- Wie eine belegte Antwort entsteht
- Wie Zugriffsrechte gewahrt bleiben
- Wie die Qualität gemessen wird
- Wie der Bestand aktuell bleibt
- Cloud, eigener Server oder Mischform
- In welchen Schritten es entsteht
Wie funktioniert RAG in einfachen Worten?
Fünf Schritte vom Dokument zur belegten Antwort.
Erst suchen, dann formulieren. Ein Sprachmodell allein kennt Ihr Unternehmen nicht. RAG gibt ihm zu jeder Frage die passenden Stellen aus Ihren Unterlagen mit und verlangt, dass die Antwort genau darauf beruht. So verbindet sich die Sprachfähigkeit des Modells mit dem Wissen, das in Ihren Dokumenten steht.
| Schritt | Was passiert | Worauf es ankommt |
|---|---|---|
| 1. Aufbereiten | Dokumente werden in Abschnitte (Chunks) zerlegt, mit Angaben zu Herkunft, Stand und Berechtigung versehen | Sinnvolle Abschnitte entlang der Gliederung, Tabellen als Ganzes |
| 2. Erschließen | Jeder Abschnitt erhält eine Zahlenreihe, die seine Bedeutung beschreibt, und wird im Suchindex abgelegt | Ein Verfahren, das die Fachsprache Ihres Hauses gut abbildet |
| 3. Suchen | Zur Frage werden die passendsten Abschnitte gesucht, nach Bedeutung und nach Stichworten | Die Rechte des Fragenden gelten schon bei der Suche |
| 4. Antworten | Das Sprachmodell formuliert die Antwort ausschließlich aus den gefundenen Abschnitten | Eine klare Anweisung, bei den Quellen zu bleiben |
| 5. Belegen | Die Antwort nennt die Stellen, auf denen sie beruht | Ein Klick führt zum Originaldokument |
Der zweite Schritt klingt technisch und ist es auch: Jeder Abschnitt wird in ein Embedding übersetzt, eine lange Zahlenreihe, die seine Bedeutung beschreibt. Abschnitte mit ähnlicher Bedeutung liegen in diesem Zahlenraum nah beieinander. Deshalb findet die Suche auch dann die richtige Stelle, wenn die Frage andere Wörter verwendet als das Dokument. Abgelegt werden die Zahlenreihen in einer Vektordatenbank.
Der fünfte Schritt macht den Unterschied im Alltag. Eine Antwort mit Fundstelle lässt sich in Sekunden prüfen, und genau das schafft Vertrauen bei den Menschen, die damit arbeiten. Die Grundidee stammt aus einer Forschungsarbeit von 2020 und ist seitdem zum Standard für Unternehmenswissen geworden.
Worin unterscheidet sich RAG von einer normalen Suche?
Eine Suche liefert eine Liste von Dokumenten, die Sie selbst lesen. RAG liest die gefundenen Stellen für Sie und formuliert eine Antwort auf Ihre konkrete Frage, mit Verweis auf die Stellen. Die Suche ist dabei ein Baustein des Systems, und ihre Qualität bestimmt die Qualität der Antwort.
Warum antwortet das Modell nur aus den gefundenen Stellen?
Weil die Anweisung es so festlegt, und weil sich die Antwort nur so prüfen lässt. Ein Sprachmodell hat beim Training sehr viel allgemeines Wissen aufgenommen, das zu Ihrem Haus passen kann oder eben zu einem anderen. Die Bindung an die Quellen hält die Antwort bei Ihrem Stand und macht Halluzinationen selten und sichtbar.
Wofür eignet sich RAG besonders?
Sechs Einsatzfelder und vier Wege, die daneben stehen.
RAG glänzt überall dort, wo Menschen Antworten in Dokumenten suchen. Das Muster ist immer gleich: Eine Frage in Alltagssprache, ein Bestand an Unterlagen, der die Antwort enthält, und eine Person, die heute Zeit mit Suchen und Nachfragen verbringt.
| Einsatzfeld | Typische Frage | Quellen |
|---|---|---|
| Interne Auskunft | Wie ist die Reisekostenregel für Messen? | Richtlinien, Handbücher, Betriebsvereinbarungen |
| Kundenservice | Welche Garantie gilt für dieses Gerät? | Produktdaten, Garantiebedingungen, frühere Antworten |
| Technischer Support | Was bedeutet Fehlercode 17 an Anlage B? | Handbücher, Wartungsprotokolle, Servicemeldungen |
| Vertrieb | Welche Referenz passt zu einem Kunden aus der Logistik? | Projektberichte, Angebote, Produktblätter |
| Einarbeitung | Wer ist für Rahmenverträge zuständig? | Organigramm, Prozessbeschreibungen, Zuständigkeitslisten |
| Qualität und Recht | Welche Norm gilt für dieses Bauteil? | Normenauszüge, Prüfberichte, Vertragsklauseln |
Welches Feld zuerst an der Reihe ist, entscheidet sich an zwei Fragen: Wie oft wird heute gesucht oder nachgefragt, und wie gut ist der Bestand gepflegt, der die Antworten enthält? Das Feld mit häufigen Fragen und gepflegten Unterlagen ist der beste Einstieg, und sein Erfolg macht die nächsten Felder leichter.
RAG ist einer von vier Wegen, ein Sprachmodell mit Wissen zu versorgen. Die Wege ergänzen sich, und in vielen Systemen arbeiten zwei davon zusammen, etwa RAG für Richtlinien und eine Datenbankabfrage für Lagerbestände.
| Weg | Passt besonders für | So arbeitet er |
|---|---|---|
| RAG | Fakten aus Unterlagen, die sich laufend ändern | Antwort mit Beleg, Bestand jederzeit aktualisierbar |
| Langer Kontext | Fragen zu einem einzelnen, überschaubaren Dokument | Das Dokument wird vollständig mitgegeben, ganz ohne Suchindex |
| Datenbankabfrage | Zahlen, Bestände, Termine aus ERP oder CRM | Das Modell formuliert eine Abfrage, die Zahl kommt aus dem System |
| Fine-Tuning | Tonfall, festes Format, eng umrissene Fachsprache | Das Modell lernt eine Form, das Wissen bleibt in den Unterlagen |
Kann RAG auch Zahlen aus dem ERP beantworten?
Dafür ist die direkte Abfrage der bessere Partner. Das Modell übersetzt die Frage in eine Abfrage an das führende System, und die Zahl kommt von dort, stets aktuell und exakt. RAG liefert dazu den Zusammenhang, etwa die Regel, nach der ein Rabatt berechnet wird. Beides lässt sich in einer Oberfläche verbinden.
Wann ist Fine-Tuning die bessere Wahl?
Wenn es um die Form geht statt um Fakten: ein fester Berichtsaufbau, ein bestimmter Tonfall, eine enge Fachsprache. Fine-Tuning bringt dem Modell ein Muster bei. Für Wissen, das sich ändert, bleibt RAG der passende Weg, weil ein neues Dokument dort sofort wirkt.
Welche Unterlagen eignen sich als Quelle?
Sechs Quellenarten, ihre Stärken und was vorher zu tun ist.
Die Qualität der Antworten beginnt beim Bestand. Ein gut gepflegter, aktueller Bestand ist der größte einzelne Hebel eines RAG-Systems, größer als die Wahl des Modells. Die gute Nachricht: Die Vorbereitung ist überschaubar und nützt auch allen, die weiter von Hand suchen.
| Quellenart | Stärke | Vorbereitung |
|---|---|---|
| Richtlinien und Handbücher | Klar gegliedert, meist ein gültiger Stand | Veraltete Fassungen aussortieren, Gültigkeit vermerken |
| Produktdaten | Strukturiert, eindeutig, oft schon gepflegt | Direkt aus dem führenden System übernehmen |
| Tickets und Anfragen | Zeigen echte Fragen in echter Sprache | Gelöste Fälle auswählen, personenbezogene Angaben entfernen |
| Protokolle und Berichte | Enthalten Erfahrung, die nirgends sonst steht | Nach Datum ordnen, Entscheidungen kenntlich machen |
| Verträge | Hohe Verbindlichkeit, feste Klauseln | Rechte streng setzen, Fassungen sauber trennen |
| Präsentationen | Viel Inhalt auf wenig Raum | Sprechernotizen einbeziehen, Folien mit Kontext versehen |
Drei Fragen helfen bei der Auswahl. Welche Fassung ist die gültige? Wer darf das Dokument lesen? Und wer ist dafür zuständig, dass es aktuell bleibt? Wo alle drei Fragen eine klare Antwort haben, ist das Dokument bereit für den Bestand.
Wie ein Bestand grundsätzlich geordnet wird, damit ein Modell daraus zuverlässig liest, beschreibt Baustein 06 ausführlich; dieses Kapitel konzentriert sich auf das, was RAG zusätzlich braucht.
Was passiert mit mehreren Fassungen desselben Dokuments?
Sie werden vor der Aufnahme bereinigt: Die gültige Fassung kommt in den Bestand, ältere Fassungen bleiben im Archiv oder erhalten einen deutlichen Vermerk mit Gültigkeitszeitraum. So antwortet das System immer mit dem aktuellen Stand und kann auf Nachfrage auch erklären, was früher galt.
Eignen sich eingescannte Dokumente?
Ja, nach einer Texterkennung. Moderne Belegerkennung liest auch Tabellen und Formulare zuverlässig. Bei alten Scans lohnt ein Blick auf eine Stichprobe, bevor der ganze Bestand verarbeitet wird, denn die Erkennungsqualität überträgt sich direkt auf die Antworten.
Wie werden Dokumente für RAG aufbereitet?
Abschnitte, Begleitangaben und der Umgang mit Tabellen.
Ein guter Abschnitt beantwortet eine Frage für sich allein. Das ist die wichtigste Regel beim Zerlegen. Die Suche findet Abschnitte, nicht Dokumente, und ein Abschnitt, der mitten in einem Gedanken endet, liefert dem Modell nur die halbe Antwort.
- Entlang der Gliederung zerlegen. Kapitel und Unterkapitel sind die natürlichen Grenzen. Eine feste Zeichenzahl ist nur die Rückfallregel für ungegliederte Texte.
- Überschriften mitnehmen. Jeder Abschnitt erhält die Überschriften, unter denen er steht. Aus „Frist: 14 Tage“ wird so eine Aussage mit Zusammenhang.
- Tabellen zusammenhalten. Eine Tabelle wird als Ganzes übernommen oder zeilenweise mit Spaltenköpfen. Eine halbierte Tabelle verliert ihre Bedeutung.
- Begleitangaben ergänzen. Herkunft, Stand, Gültigkeit, Abteilung und Berechtigung stehen an jedem Abschnitt. Sie steuern später Suche, Filter und Rechte.
- Leicht überlappen. Benachbarte Abschnitte teilen sich ein paar Sätze. So bleibt ein Gedanke auch an der Grenze vollständig.
Diese Arbeit ist unauffällig und wirkt stark. In der Praxis liegt hier der Hebel, der ein ordentliches System zu einem hervorragenden macht, und er ist rein handwerklich: keine neue Technik, sondern Sorgfalt am Bestand.
Wie groß sollte ein Abschnitt sein?
So groß, dass er einen Gedanken vollständig enthält, und so klein, dass er nur einen enthält. Bei Richtlinien ist das oft ein Unterkapitel, bei Handbüchern ein Arbeitsschritt, bei Verträgen eine Klausel. Die richtige Größe zeigt sich im Prüfsatz: Wenn die Trefferquote steigt, stimmt die Richtung.
Was geschieht mit Bildern und Zeichnungen?
Moderne Modelle beschreiben Bilder in Text, und diese Beschreibung wird wie ein Abschnitt behandelt. Bei technischen Zeichnungen und Schaubildern lohnt es sich, die Beschreibung einmal fachlich zu prüfen, weil sie später die Grundlage für Antworten ist.
Wie findet das System die richtige Stelle?
Bedeutung, Stichwort, Filter und eine zweite Sortierung.
Die besten Systeme suchen auf zwei Wegen zugleich. Die Suche nach Bedeutung findet Umschreibungen, die Suche nach Stichworten findet Artikelnummern, Normen und Eigennamen. Zusammen decken sie beide Arten von Fragen ab, die im Alltag gestellt werden.
- Suche nach Bedeutung. Findet „Urlaub übertragen“, auch wenn das Dokument von „Resturlaub ins Folgejahr mitnehmen“ spricht.
- Suche nach Stichworten. Findet „DIN EN 1090“ oder „Artikel 4711“ exakt, wo die Bedeutungssuche Ähnliches liefern würde. Beide Wege zusammen heißen hybride Suche.
- Filter aus den Begleitangaben. Beschränkt die Suche auf den gültigen Stand, die richtige Produktlinie oder die eigene Abteilung.
- Zweite Sortierung. Dieser Schritt heißt Reranking: Ein spezialisiertes Modell ordnet die gefundenen Kandidaten noch einmal nach Passung zur Frage und hebt die beste Stelle nach oben.
Wie viele Abschnitte an das Modell gehen, ist eine Stellschraube mit Wirkung. Wenige, gut gewählte Abschnitte ergeben klare Antworten; viele Abschnitte erhöhen die Chance, dass die richtige Stelle dabei ist. Der Prüfsatz aus Kapitel 08 zeigt, wo für Ihren Bestand die beste Einstellung liegt.
Was tun, wenn Nutzer sehr kurze Fragen stellen?
Das Modell kann die Frage vor der Suche ausformulieren oder in mehrere Teilfragen zerlegen. Aus „Reisekosten Messe?“ wird dann eine vollständige Frage mit Zusammenhang. Das verbessert die Trefferquote spürbar und ist für den Nutzer unsichtbar.
Kann die Suche Rückfragen stellen?
Ja, und das ist oft der eleganteste Weg. Wenn eine Frage mehrere Bedeutungen haben kann, etwa bei einer Produktbezeichnung für zwei Baureihen, fragt das System nach, statt zu raten. Eine gute Rückfrage spart dem Nutzer mehr Zeit als eine schnelle Antwort zur falschen Baureihe.
Wie entsteht eine belegte Antwort?
Anweisung, Fundstellen und der Umgang mit offenen Fragen.
Die Anweisung an das Modell ist kurz und streng. Antworte aus den mitgegebenen Stellen, nenne zu jeder Aussage die Fundstelle, und sage offen, wenn die Stellen keine Antwort enthalten. Diese drei Regeln tragen den größten Teil der Zuverlässigkeit.
Die dritte Regel verdient besondere Aufmerksamkeit. Ein System, das ehrlich meldet, dass der Bestand zu einer Frage schweigt, gewinnt das Vertrauen seiner Nutzer schnell. Außerdem liefert jede dieser Meldungen einen Hinweis, welches Dokument im Bestand noch fehlt, und damit eine fertige Aufgabenliste für die Pflege.
Die Fundstelle sollte zum Originaldokument führen, idealerweise zur genauen Stelle. Nutzer prüfen am Anfang oft nach und später nur noch bei wichtigen Fragen. Genau dieser Übergang zeigt, dass das System im Alltag angekommen ist.
Für Antworten in einem festen Format, etwa eine Tabelle mit Frist, Zuständigkeit und Rechtsgrundlage, hilft eine strukturierte Ausgabe. Das Modell füllt dann feste Felder, und die Oberfläche kann die Antwort übersichtlich darstellen.
Was, wenn sich zwei Quellen widersprechen?
Dann nennt das System beide Stellen und den Widerspruch. Das ist wertvoller als eine geglättete Antwort, weil es eine Unklarheit im Bestand sichtbar macht. Für die Dauer hilft eine Regel, welche Quelle führend ist, etwa die neuere Fassung oder das Dokument einer bestimmten Abteilung.
Darf das System auch allgemeines Wissen verwenden?
Das lässt sich einstellen. Für interne Regeln empfiehlt sich die strenge Bindung an den Bestand. Für Erklärungen, etwa was ein Fachbegriff bedeutet, darf das Modell sein allgemeines Wissen einbringen, sofern es diesen Teil kenntlich macht.
Wie bleiben Zugriffsrechte im RAG-System gewahrt?
Die Rechte des Quellsystems gelten auch in der Antwort.
Jeder sieht in der Antwort genau das, was er auch im Original lesen dürfte. Das ist der Grundsatz, und er wird technisch einfach umgesetzt: Die Berechtigung steht an jedem Abschnitt, und die Suche filtert nach den Rechten des Fragenden, bevor das Modell überhaupt etwas zu sehen bekommt.
- Rechte aus dem Quellsystem übernehmen. Die Freigaben aus Dateiablage, Wiki oder Dokumentenmanagement werden beim Aufbereiten mitgelesen und bei jeder Aktualisierung abgeglichen.
- Filter vor der Suche. Abschnitte ohne Berechtigung werden gar nicht erst gefunden. So kann auch eine geschickt formulierte Frage nichts hervorholen.
- Getrennte Bestände für besonders Vertrauliches. Personalakten, Gehaltsdaten oder Vorstandsunterlagen erhalten einen eigenen Bestand mit eigenem Zugang.
- Protokoll mit Fundstellen. Jede Antwort hält fest, welche Abschnitte verwendet wurden. Damit ist jederzeit nachvollziehbar, welches Wissen wohin geflossen ist.
Zu den Risiken, die bei Sprachmodellen zusätzlich zu beachten sind, gehört die Prompt Injection: Anweisungen, die in einem Dokument versteckt sind und das Modell umlenken sollen. Wie man Systeme dagegen absichert, beschreibt Baustein 09.
Reicht es, dem Modell zu sagen, was es nicht verraten darf?
Die verlässliche Lösung liegt eine Stufe früher. Eine Anweisung an das Modell ist hilfreich, der Rechtefilter in der Suche ist die eigentliche Sicherung. Was das Modell nie zu sehen bekommt, kann es auch nicht wiedergeben.
Wie werden Personaldaten behandelt?
Mit derselben Sorgfalt wie im Quellsystem und nach den Regeln der DSGVO. Oft ist die beste Lösung, personenbezogene Unterlagen gar nicht erst in den allgemeinen Bestand aufzunehmen und für Fragen der Personalabteilung einen eigenen, eng berechtigten Bestand aufzubauen.
Wie misst man die Qualität eines RAG-Systems?
Suche und Antwort getrennt messen, mit einem festen Prüfsatz.
Zwei Messungen, getrennt voneinander. Zuerst: Hat die Suche die richtige Stelle gefunden? Dann: Hat das Modell daraus eine gute Antwort gemacht? Wer beides trennt, weiß bei jeder Verbesserung genau, an welcher Stelle er ansetzt.
| Messgröße | Frage dahinter | Wie sie erhoben wird |
|---|---|---|
| Trefferquote der Suche | Steht die richtige Stelle unter den gefundenen Abschnitten? | Prüfsatz mit Frage und erwarteter Fundstelle |
| Belegtreue | Stützt sich jede Aussage der Antwort auf eine genannte Stelle? | Stichprobe, von Hand gegen die Quelle gelesen |
| Vollständigkeit | Enthält die Antwort alles, was die Stelle hergibt? | Stichprobe mit Bewertung durch den Fachbereich |
| Offene Fragen | Wie oft meldet das System, dass der Bestand zu einer Frage keine Stelle enthält? | Protokoll, wöchentlich ausgewertet |
| Nutzung und Übernahme | Wird die Antwort verwendet oder nachbearbeitet? | Rückmeldeknopf und Protokoll |
Das Werkzeug dafür ist ein Prüfsatz: echte Fragen aus dem Alltag, je mit der Stelle im Bestand, an der die Antwort steht, und der Antwort, die der Fachbereich für richtig hält. Mit jeder Änderung an Aufbereitung, Suche oder Modell läuft der Prüfsatz erneut, und die Zahlen zeigen, ob die Änderung geholfen hat.
Eine Forschungsgruppe um Scott Barnett hat 2024 sieben typische Schwachstellen von RAG-Systemen beschrieben, von fehlenden Inhalten im Bestand über zu niedrig einsortierte Treffer bis zu unvollständigen Antworten. Ihre zentrale Einsicht passt zu unserer Erfahrung: Die Robustheit eines solchen Systems entsteht im Betrieb, durch Messen und Nachjustieren. Wie ein Betrieb dafür organisiert wird, steht in Baustein 10.
Wie viele Fragen gehören in einen Prüfsatz?
Für den Anfang genügen einige Dutzend gut gewählte Fragen, darunter die schwierigen: mehrdeutige Formulierungen, Fragen, deren Antwort in einer Tabelle steht, und Fragen, auf die der Bestand bewusst keine Antwort hat. Der Prüfsatz wächst mit jeder Rückmeldung aus dem Betrieb.
Kann ein Modell die Antworten bewerten?
Als Vorsortierung ja, als letzte Instanz bleibt der Fachbereich. Ein zweites Modell kann prüfen, ob jede Aussage durch eine genannte Stelle gedeckt ist, und auffällige Antworten markieren. Die fachliche Bewertung einer Stichprobe bleibt die Grundlage, an der sich auch diese automatische Prüfung messen lassen muss.
Was hält den Bestand im Betrieb aktuell?
Automatische Aktualisierung, klare Zuständigkeit, sichtbarer Stand.
Ein RAG-System ist so aktuell wie sein Bestand. Das ist eine Stärke: Ein geändertes Dokument wirkt nach der nächsten Aktualisierung sofort in den Antworten, ganz ohne Training. Damit das zuverlässig geschieht, braucht es drei Dinge.
- Automatischer Abgleich. Neue, geänderte und gelöschte Dokumente werden aus den Quellsystemen regelmäßig übernommen, bei wichtigen Quellen auch sofort nach der Änderung.
- Eine zuständige Person je Quelle. Sie entscheidet, welche Fassung gültig ist, und reagiert auf Hinweise, dass etwas fehlt oder veraltet ist.
- Sichtbarer Stand. Jede Antwort zeigt, aus welcher Fassung sie stammt. Nutzer erkennen so auf einen Blick, wie aktuell die Grundlage ist.
Die Meldungen „Dazu enthält der Bestand keine Stelle“ aus Kapitel 06 sind dabei das wertvollste Material. Sie zeigen, welche Fragen gestellt werden und wo die Unterlagen noch eine Lücke haben. Wer sie monatlich durchsieht, verbessert mit wenig Aufwand gleichzeitig das System und die eigene Dokumentation.
Was passiert, wenn ein Dokument gelöscht wird?
Seine Abschnitte verschwinden beim nächsten Abgleich aus dem Suchindex. Bei Dokumenten, die aus rechtlichen Gründen gelöscht werden müssen, gehört die sofortige Übernahme in den Ablauf, damit der Index nichts länger vorhält als das Quellsystem.
Wer pflegt den Bestand, wenn das Projekt abgeschlossen ist?
Die Fachbereiche, denen die Dokumente gehören, so wie heute auch. Das RAG-System braucht dafür keine neue Rolle, sondern macht die bestehende sichtbarer: Wer zuständig ist, sieht an den Rückmeldungen, welche Unterlagen gefragt sind.
Läuft RAG in der Cloud oder auf eigener Hardware?
Drei Betriebswege und wie man zwischen ihnen wählt.
Beides funktioniert, und die Wahl folgt der Vertraulichkeit Ihrer Unterlagen. Suchindex und Aufbereitung laufen ohnehin gut auf eigener Hardware. Die Frage ist, wo das Sprachmodell die Antwort formuliert.
- Cloud mit Geschäftskundenvertrag. Große Modelle, schneller Start, Verarbeitung in der EU nach Vertrag, mit Auftragsverarbeitung. Passt für die meisten internen Unterlagen.
- Eigene Hardware. Das Modell läuft in Ihrem Haus oder in Ihrem Rechenzentrum, die Unterlagen verlassen es nie. Passt für Verträge, Personaldaten, Konstruktionsdaten und alles mit besonderer Schutzstufe.
- Mischform. Vertrauliche Bestände werden lokal beantwortet, allgemeine über die Cloud. Die Oberfläche ist für die Nutzer dieselbe.
Offene Modelle sind inzwischen so leistungsfähig, dass RAG auf eigener Hardware für viele Unternehmen eine sehr gute Option ist. Was dafür an Technik nötig ist und wie ein solcher Betrieb aussieht, beschreibt unsere Seite zu lokaler KI. Einen Überblick über Modelle und Anbieter gibt Baustein 02.
Braucht RAG auf eigener Hardware ein großes Modell?
Häufig reicht ein mittelgroßes Modell, weil die Antwort aus den mitgegebenen Stellen formuliert wird und das Wissen dort steht. Die Aufgabe des Modells ist Lesen und Zusammenfassen, und das beherrschen auch kompaktere Modelle gut. Der Prüfsatz zeigt, welche Größe für Ihren Bestand die beste Balance aus Qualität und Aufwand bietet.
Lässt sich später zwischen den Wegen wechseln?
Ja, wenn der Suchindex und die Aufbereitung bei Ihnen liegen. Dann ist das Sprachmodell ein austauschbarer Baustein, und ein Wechsel ist eine Frage von Konfiguration und Prüfsatz. Diese Austauschbarkeit ist eine Frage der Architektur, die am Anfang festgelegt wird.
In welchen Schritten entsteht ein RAG-System?
Vom ersten Gespräch bis zum laufenden Betrieb.
Klein beginnen, messbar erweitern. Ein RAG-System wächst am besten Quelle für Quelle. Jeder Schritt liefert ein nutzbares Ergebnis, und jede Erweiterung wird am selben Prüfsatz gemessen.
- Erstgespräch. Kostenfrei. Wir sprechen über Ihre Fragen, Ihre Unterlagen und den Bereich, in dem die Suche heute am meisten Zeit bindet.
- Scoping. Ein Workshop für 1.500 Euro, bei Beauftragung verrechnet. Ergebnis: Quellenliste, Rechtekonzept, erste Fassung des Prüfsatzes, Betriebsweg und Aufwandsschätzung.
- Pilot. Ab etwa 5.000 Euro. Ein Bestand, eine Nutzergruppe, echte Fragen. Nach wenigen Wochen zeigt der Prüfsatz, wie gut das System antwortet.
- Umsetzung. Anbindung weiterer Quellen, Rechte, Oberfläche, Betrieb. Je nach Umfang zwischen 10.000 und 150.000 Euro.
- Betrieb. Abgleich, Prüfsatz, Rückmeldungen. Auf Wunsch übernehmen wir die Betreuung.
Wie ein Vorhaben beauftragt wird und was in den Vertrag gehört, steht in Baustein 07. Wie sich die Wirkung vor dem Start messbar festlegen lässt, beschreibt unser Fachbeitrag zur Wirkungsmessung.
Welche Rolle spielt der Fachbereich im Projekt?
Die zentrale. Der Fachbereich kennt die Fragen, bewertet die Antworten und legt fest, welche Fassung eines Dokuments gilt. Die Technik baut das System, der Fachbereich macht es gut. Ein fester Ansprechpartner mit etwas Zeit je Woche ist deshalb die wichtigste Voraussetzung.
Woran erkennt man, dass der Pilot gelungen ist?
An Kriterien, die vor dem Start feststehen: eine Trefferquote der Suche, ein Anteil an Antworten, die ohne Nacharbeit übernommen werden, und die Nutzung durch die Pilotgruppe. Wenn diese Werte erreicht sind, ist die Erweiterung auf weitere Quellen der nächste Schritt.
Wir messen Suche und Antwort getrennt, mit Ihrem Prüfsatz, vor dem Start und bei jeder Änderung.
So sehen Sie bei jedem Schritt, was er bewirkt, und wissen jederzeit, wie gut Ihr System antwortet.
Fragen zu RAG im Unternehmen
Was ist RAG in einfachen Worten?
RAG steht für Retrieval Augmented Generation. Das System sucht zu einer Frage zuerst die passenden Stellen in Ihren eigenen Unterlagen und lässt das Sprachmodell die Antwort dann ausschließlich aus diesen Stellen formulieren. Die Antwort nennt ihre Quellen, und ein neues Dokument ist nach der nächsten Aktualisierung sofort Teil des Wissens, ganz ohne neues Training.
Wie viele Dokumente braucht ein sinnvoller Start?
Weniger, als die meisten vermuten. Ein klar umrissener Bestand, etwa die gültigen Richtlinien einer Abteilung oder die Handbücher einer Produktlinie, ergibt einen aussagekräftigen Pilot. Entscheidend ist, dass die Dokumente aktuell sind und die Fragen der Nutzer tatsächlich beantworten. Erweitert wird danach Quelle für Quelle, jeweils mit demselben Prüfsatz.
Werden unsere Dokumente zum Training des Modells verwendet?
Bei RAG bleibt das Modell unverändert. Ihre Dokumente liegen in einem eigenen Suchindex und werden nur für die jeweilige Anfrage als Zusammenhang mitgegeben. Ob der Anbieter Anfragen speichert oder zum Training nutzt, regelt der Vertrag; bei Geschäftskundenverträgen ist das Training üblicherweise ausgeschlossen. Mit einem Modell auf eigener Hardware verlassen die Daten Ihr Haus gar nicht.
Ersetzt ein großes Kontextfenster die Suche?
Für einzelne Dokumente oft ja, für einen ganzen Bestand selten. Ein großes Kontextfenster nimmt viel Text auf, aber jede Anfrage wird damit teurer und langsamer, und Rechte je Dokument lassen sich schwer abbilden. Die Suche wählt die wenigen Stellen aus, die zur Frage gehören, und hält Antwortzeit und Kosten stabil, auch wenn der Bestand wächst.
Woran erkennt man, ob die Suche oder das Modell nachgebessert werden muss?
An zwei getrennten Messungen. Zuerst wird geprüft, ob die richtige Stelle unter den gefundenen Abschnitten war. Wenn ja und die Antwort trotzdem schwach ist, liegt der Hebel bei Anweisung oder Modell. Wenn nein, liegt er bei Aufbereitung und Suche, und dort liegt er nach unserer Erfahrung in den meisten Fällen.
Was kostet ein RAG-System?
Das hängt an Umfang und Anbindung. Das Erstgespräch ist kostenfrei. Ein Scoping-Workshop liegt bei 1.500 Euro und wird bei Beauftragung verrechnet; darin entstehen Quellenliste, Prüfsatz und Aufwandsschätzung. Ein klar abgegrenzter Pilot ist ab etwa 5.000 Euro möglich, Umsetzungsprojekte liegen je nach Umfang zwischen 10.000 und 150.000 Euro.
Passende Themen in der Wissensdatenbank
Welche Beiträge vertiefen dieses Thema?
Fachbeiträge mit Stand der Angaben und Quellen, die einzelne Kapitel dieser Seite weiterführen.
Worauf stützt sich diese Seite?
Stand der Angaben: September 2026.
Welche Fragen soll Ihr System beantworten?
Im Erstgespräch schauen wir auf Ihre Unterlagen und die Fragen, die heute am meisten Zeit kosten. Sie erhalten eine Einschätzung, welcher Bestand sich für den Einstieg eignet und wie ein Pilot aussehen kann.