RAG einfach erklärt: Wie ein KI-Assistent Ihre Dokumente liest

RAG steht für Retrieval Augmented Generation und beschreibt, wie ein KI-Assistent Ihre eigenen Dokumente liest, bevor er antwortet. Er sucht zuerst die passenden Textstellen, gibt sie dem Sprachmodell mit und lässt es nur auf dieser Grundlage formulieren. Dadurch kann der Assistent sagen, woher eine Antwort stammt. Fast jedes Werkzeug, mit dem man „mit Dokumenten chatten“ kann, arbeitet so, von Copilot bis zum selbst gebauten Wissensagenten. Dieser Beitrag erklärt das Prinzip für Entscheider, ohne Code, und zeigt, wo RAG an Grenzen stößt. Stand: September 2026, Angaben zu Microsoft laut den verlinkten Seiten auf Microsoft Learn.

Was ist Retrieval Augmented Generation?

Retrieval Augmented Generation ist ein Verfahren, bei dem ein Sprachmodell vor jeder Antwort in einer festgelegten Wissensquelle nachschlägt. Der Begriff stammt aus einem Forschungsaufsatz von Lewis und anderen aus dem Jahr 2020, entstanden in der Forschungsabteilung von Facebook. Die Idee dahinter: Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand. Ihre Preisliste, Ihr Qualitätshandbuch und die Dienstanweisung vom letzten Monat kennt es nicht. RAG gibt ihm diese Dokumente im Moment der Frage mit.

Der Unterschied zum reinen Chatbot ist praktisch: Ein Modell ohne RAG antwortet aus dem Gedächtnis und klingt dabei immer überzeugt. Ein RAG-Assistent antwortet aus den Unterlagen, die Sie ihm geben, und kann die Stelle zeigen.

Wie funktioniert RAG? Ein Bild für den Kopf

RAG funktioniert wie eine gute Sachbearbeiterin mit Aktenschrank. Sie hört die Frage, holt die zwei, drei passenden Akten, liest die relevanten Absätze und antwortet dann mit Verweis auf die Akte. Microsoft beschreibt dieselben drei Schritte in der Learn-Dokumentation zu RAG (Stand September 2026):

• Suchen (Retrieve): Das System durchsucht Ihre Dokumente nach Textstellen, die zur Frage passen. Dafür werden die Dokumente vorher in Abschnitte zerlegt und so aufbereitet, dass nicht nur gleiche Wörter gefunden werden, sondern auch gleiche Bedeutung.
• Ergänzen (Augment): Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben.
• Antworten (Generate): Das Modell formuliert die Antwort auf Basis dieser Abschnitte und nennt die Quelle.

Ein Beispiel: Eine Mitarbeiterin fragt „Wie lange ist die Rückgabefrist für Sonderanfertigungen?“. Das System findet den Absatz in den Geschäftsbedingungen und die Ausnahme im Handbuch des Kundendienstes, das Modell fasst beides in zwei Sätzen zusammen und verlinkt beide Stellen. Steht die Antwort nirgends, soll ein gut eingestellter Assistent das sagen, statt zu raten.

Wo steckt RAG heute schon drin?

RAG ist kein eigenes Produkt, sondern das Muster hinter vielen Werkzeugen. Microsoft nennt es ausdrücklich: Die Suche im Firmenwissen, die Copilot-Agenten nutzen, beschreibt Microsoft als RAG über den Microsoft Graph (Billing rates, Microsoft Learn, Stand September 2026). Auch Dataverse als Wissensquelle in Copilot Studio arbeitet laut Microsoft Learn mit einem RAG-Verfahren. NotebookLM von Google beantwortet Fragen ebenfalls nur aus den hochgeladenen Quellen und zeigt die Zitate, mehr dazu in NotebookLM im Unternehmen.

Für Sie als Entscheider heißt das: Die Frage lautet selten „RAG, ja oder nein“, sondern „welches Werkzeug, auf welchen Dokumenten, für wen“.

Wo stößt RAG an Grenzen?

RAG ist nur so gut wie das, was es findet. In unseren Projekten scheitert es selten am Modell, sondern an vier Dingen:

• Schlechte Dokumente: Eingescannte PDFs ohne Text, Tabellen als Bild, fünf Fassungen desselben Handbuchs im selben Ordner. Das System findet dann die falsche Stelle und antwortet trotzdem flüssig.
• Veraltete Stände: Wenn die alte Preisliste neben der neuen liegt, weiß das System nicht, welche gilt. Aufräumen und klare Titel helfen mehr als jede Einstellung.
• Berechtigungen: Ein Assistent darf nur finden, was die fragende Person sehen darf. Microsoft nennt Sicherheit und Zugriffskontrolle als eine der Kernherausforderungen von RAG (Microsoft Learn zu RAG mit Azure-Suche, Stand September 2026). Bei Werkzeugen im Microsoft-365-Umfeld erbt der Assistent die SharePoint-Rechte. Sind die zu großzügig, wird das Problem sichtbar, siehe Oversharing und SharePoint-Berechtigungen.
• Fragen außerhalb der Dokumente: RAG ersetzt keine Datenbankabfrage. „Wie viele Aufträge hatten wir im März?“ beantwortet kein Handbuch. Dafür braucht der Assistent eine Anbindung an das Fachsystem.

Was kostet ein RAG-Assistent?

Die Kosten eines RAG-Assistenten bestehen aus drei Teilen: der einmaligen Einrichtung, dem laufenden Betrieb pro Frage und der Pflege der Dokumente. Eine seriöse Zahl ohne Blick auf Ihre Daten gibt es nicht, aber die Logik ist immer gleich.

• Einrichtung: Wissensbereich festlegen, Dokumente aufräumen, Assistent einrichten, Testfragen mit Soll-Antwort schreiben und prüfen. Das Aufräumen ist oft der größte Posten.
• Betrieb: Jede Frage kostet Rechenleistung für Suche und Antwort. Microsoft weist darauf hin, dass die mitgegebenen Textstellen die Eingabe an das Modell verlängern und damit die Kosten erhöhen (Microsoft Learn). In Microsoft 365 läuft das über Lizenzen oder Copilot Credits, bei eigener Technik über die Nutzung des Sprachmodells und den Server.
• Pflege: Jemand muss neue Fassungen einstellen und alte entfernen. Ohne diese Rolle veraltet jeder Assistent.

Für Ihr Technikteam: RAG selbst bauen

Wenn Ihr Team einen RAG-Assistenten selbst aufsetzen will, etwa mit n8n auf dem eigenen Server, haben wir drei technische Anleitungen:

• RAG mit n8n aufbauen: der Grundaufbau Schritt für Schritt.
• n8n-RAG-Agent antwortet nicht aus der Datenbank: die häufigsten Ursachen und ihre Lösung.
• Antwortzeiten eines n8n-RAG-Chatbots optimieren: wenn der Assistent zu langsam ist.

RAG im eigenen Betrieb ausprobieren

Am schnellsten finden Sie heraus, ob RAG für Sie trägt, mit einem Wissensbereich und echten Fragen. Genau so ist der Wissensagent-Pilot aufgebaut: ein Wissensbereich, zum Beispiel Handbuch, Produktdaten oder Richtlinien, Umsetzung auf SharePoint mit Copilot Studio oder mit n8n auf Ihrem Server, Testfragen mit Soll-Antwort, Testprotokoll und Übergabe. Der Pilot kostet 5.000 Euro netto Festpreis für fünf Tage, der Ausbau danach 1.000 Euro netto pro Tag. Alle Preise netto, zzgl. Reisekosten und Spesen bei Vor-Ort-Terminen. Keine versteckten Stunden. Wie ein interner Wissensassistent im Alltag aussieht, beschreibt der Beitrag Interner Wissensassistent. Ob Ihre Dokumente dafür schon taugen, besprechen wir im kostenlosen Erstgespräch, 30 Minuten.

Häufige Fragen zu RAG

Was bedeutet RAG bei KI?

RAG steht für Retrieval Augmented Generation. Ein KI-Assistent sucht vor der Antwort in Ihren Dokumenten nach passenden Textstellen und formuliert die Antwort auf dieser Grundlage, mit Angabe der Quelle.

Erfindet ein RAG-Assistent keine Antworten mehr?

Seltener, aber nicht nie. Findet das System die falsche Stelle oder gar keine, kann das Modell trotzdem eine Antwort formulieren. Deshalb gehören Testfragen mit Soll-Antwort und eine klare Anweisung an den Assistenten zu jedem Aufbau: Steht die Antwort nicht in den Dokumenten, sagt er das offen, statt zu raten.

Muss ich für RAG ein eigenes Modell trainieren?

Nein. RAG nutzt ein vorhandenes Sprachmodell und gibt ihm Ihre Dokumente zur Laufzeit mit. Ein eigenes Training ist nicht nötig, neue Dokumente wirken, sobald sie im Suchindex sind.

Brauche ich für RAG Microsoft 365?

Nein. Microsoft 365 bringt RAG über Copilot und Copilot Studio mit. Genauso gut funktioniert ein eigener Aufbau, zum Beispiel mit n8n auf Ihrem Server. Sollen die Daten das Haus gar nicht verlassen, läuft auch das Sprachmodell lokal.