Themen, die einen zweiten Blick verdienen
VIVA PARADOX.Unabhängige Geschichten, verständlich erzählt.
Viva Paradox · DE

Was ist Retrieval-Augmented Generation (RAG)?

Conceptual editorial artwork: Was ist Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) verbindet ein generatives KI-Modell mit Informationen, die erst bei einer Anfrage aus externen Quellen abgerufen werden. Statt sich allein auf das während des Trainings erworbene Wissen des Modells zu verlassen, sucht ein RAG-System nach relevanten Dokumenten oder Textpassagen. Diese stellt es dem Modell als Kontext bereit, bevor es eine Antwort formuliert.

Kurz gesagt: RAG ermöglicht es generativen KI-Systemen, bei der Beantwortung einer Frage auf passende externe Quellen zurückzugreifen.

Die ursprüngliche RAG-Studie beschreibt die Kombination eines vortrainierten Generators mit einem externen, abgerufenen „nicht-parametrischen Gedächtnis“ für wissensintensive Aufgaben der Sprachverarbeitung. Ihre Ergebnisse beziehen sich auf die untersuchten Aufgaben und den konkreten Versuchsaufbau. Sie sind keine Garantie für die Leistung anderer RAG-Systeme oder Produkte. Die Originalarbeit heißt Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

Wie RAG funktioniert

Ein praktischer RAG-Workflow umfasst in der Regel mehrere Schritte. Die Umsetzung unterscheidet sich je nach Plattform. Der Grundablauf bleibt jedoch ähnlich: Informationen suchen, als Kontext bereitstellen und daraus eine Antwort erzeugen.

1. Quellinhalte werden gesammelt

Ein RAG-System beginnt mit Quellenmaterial. Dazu können Produktdokumentationen, interne Richtlinien, Support-Artikel, Forschungsnotizen, FAQs oder anderes textbasiertes Wissen gehören. Die Qualität und Aktualität dieser Inhalte sind entscheidend: Das Modell kann nur mit Material arbeiten, das das System findet und ihm im Prompt bereitstellt.

2. Inhalte werden in Chunks aufgeteilt und indexiert

Große Dokumente werden häufig in kleinere Passagen aufgeteilt, die oft als Chunks bezeichnet werden. Diese Chunks werden indexiert, damit das System sie später durchsuchen kann. Je nach Umsetzung kann das System eine Stichwortsuche, Embeddings, Vektorsuche, eine Kombination verschiedener Suchverfahren oder Metadatenfilter nutzen.

Auch Microsoft beschreibt RAG in Azure AI Search als einen Ansatz, bei dem relevante indexierte Informationen abgerufen und einem generativen Modell bereitgestellt werden. Die technischen Details gelten für Azure AI Search; das Prinzip „erst abrufen, dann generieren“ hilft aber auch beim Verständnis anderer RAG-Systeme.

3. Ein Nutzer stellt eine Frage

Wenn ein Nutzer eine Anfrage einreicht, durchsucht das System die indexierten Inhalte nach relevanten Dokumenten oder Chunks. Ziel ist es, Quellenmaterial zu finden, das wahrscheinlich dabei hilft, die Frage zu beantworten.

4. Relevanter Kontext wird dem Prompt hinzugefügt

Die abgerufenen Passagen werden zu einem Kontext zusammengestellt und zusammen mit der Frage des Nutzers und etwaigen Systemanweisungen an das generative Modell übergeben. Hier liegt der wesentliche Unterschied zum Prompting ohne Retrieval: Das Modell bekommt bei jeder Anfrage zusätzlich passende Informationen aus externen Quellen.

AWS beschreibt einen ähnlichen Workflow für Amazon-Bedrock-Wissensdatenbanken, bei dem Quelldaten in Chunks aufgeteilt und indexiert werden, passende Chunks abgerufen werden und diese Chunks als Kontext für die Generierung hinzugefügt werden. Diese Implementierungsdetails sind spezifisch für Amazon Bedrock und keine universellen Anforderungen an jedes RAG-System.

5. Das Modell generiert eine Antwort

Schließlich nutzt das Modell den Prompt und den abgerufenen Kontext, um eine Antwort zu generieren. Einige RAG-Systeme enthalten außerdem Quellenangaben, Links zu den Fundstellen, Prüfungen der Zugriffsrechte, Validierungsschritte oder Nachbearbeitung. Solche Funktionen können die Nachvollziehbarkeit und Kontrolle verbessern, müssen jedoch sorgfältig umgesetzt und geprüft werden.

Warum RAG wichtig ist

RAG ist besonders bei Anwendungen nützlich, die aktuelle, unternehmenseigene oder fachlich spezialisierte Informationen benötigen. Ein Allzweck-Sprachmodell hat diese Informationen möglicherweise nicht in seinen Trainingsdaten, und selbst wenn doch, können die Informationen veraltet oder unvollständig sein.

RAG kann dabei helfen, eine generative KI-Schnittstelle mit den Informationen zu verbinden, die eine Organisation bereits pflegt. Ein Unternehmen könnte RAG beispielsweise nutzen, damit Mitarbeitende Fragen zu interner Dokumentation stellen können, oder um Kunden dabei zu helfen, Antworten in einer Support-Wissensdatenbank zu finden.

Das bedeutet nicht, dass RAG faktische Genauigkeit garantiert. Ein RAG-System kann trotzdem die falschen Inhalte abrufen, die beste Quelle verfehlen, veraltete Informationen verwenden oder eine Antwort generieren, die den abgerufenen Kontext nicht zuverlässig widerspiegelt. RAG kann die Abhängigkeit vom internen Gedächtnis eines Modells reduzieren, beseitigt aber nicht das Risiko von Halluzinationen.

RAG im Vergleich zum Prompting ohne Retrieval

Beim Prompting ohne Retrieval stützt sich die Antwort typischerweise auf drei Dinge: die Frage des Nutzers, die im Prompt enthaltenen Anweisungen und die bereits gelernten Muster des Modells. Wenn die notwendigen Informationen nicht im Prompt enthalten sind oder nicht zuverlässig im Training des Modells repräsentiert wurden, kann die Antwort unvollständig oder falsch sein.

RAG fügt einen Retrieval-Schritt hinzu. Bevor das Modell antwortet, durchsucht das System externe Inhalte und stellt relevanten Kontext bereit. Dadurch kann die Antwort stärker in konkretem Quellenmaterial verankert sein, insbesondere wenn die Antwort von Informationen abhängt, die außerhalb des beim Training erworbenen Wissens des Modells liegen.

Ein einfacher Vergleich:

  • Prompting ohne Retrieval: Das Modell antwortet auf Basis der Eingabe, der Anweisungen und seines beim Training erworbenen Wissens. Das eignet sich etwa für allgemeine Schreibaufgaben, Brainstorming oder die Zusammenfassung bereits bereitgestellter Texte.
  • RAG: Das System sucht zusätzlich in externen Quellen und stellt die gefundenen Inhalte als Kontext bereit. Das eignet sich für Fragen, deren Antwort von aktuellen, unternehmenseigenen oder fachlich spezialisierten Informationen abhängt.

RAG vs. Fine-Tuning

RAG und Fine-Tuning werden oft miteinander verglichen. Sie erfüllen jedoch unterschiedliche Aufgaben.

Beim Fine-Tuning wird ein Modell durch zusätzliches Training angepasst. Es kann nützlich sein, wenn eine Organisation möchte, dass ein Modell einem bestimmten Stil, Format, Domänenverhalten oder Aufgabenmuster folgt. RAG hingegen ruft Informationen zum Zeitpunkt der Anfrage ab, ohne notwendigerweise die Parameter des Modells zu ändern.

In vielen Fällen ist RAG attraktiv, weil Wissen durch Änderungen an den indexierten Quellinhalten aktualisiert werden kann, statt das Modell erneut zu trainieren. Wenn sich beispielsweise eine Richtlinie ändert, kann das System die relevanten Dokumente und den Index aktualisieren. Bei der nächsten Anfrage kann das System dann die aktualisierten Inhalte heranziehen, sofern die Verarbeitung und Suche zuverlässig funktionieren.

Das heißt jedoch nicht, dass RAG immer besser ist als Fine-Tuning. Der beste Ansatz hängt vom Anwendungsfall, den verfügbaren Daten, den Kosten, den Latenzanforderungen, den Sicherheitsanforderungen und den Evaluationsergebnissen ab. Einige Systeme können RAG, Fine-Tuning oder beides verwenden.

Häufige RAG-Anwendungsfälle

RAG wird häufig für Anwendungen in Betracht gezogen, bei denen Nutzer Antworten benötigen, die in einem bestimmten Wissensbestand verankert sind. Beispiele sind:

  • Unternehmensweite Suche (Enterprise Search): Mitarbeitende stellen Fragen über interne Dokumente, Richtlinien und Wissensdatenbanken hinweg.
  • Chatbots für den Kundensupport: Ein Chatbot ruft relevante Hilfeartikel oder Support-Dokumentationen ab, bevor er antwortet.
  • Dokumentationsassistenten: Entwickler, Kunden oder interne Teams stellen Fragen zu technischer Dokumentation.
  • Fragen und Antworten zu Richtlinien und Verfahren: Mitarbeitende durchsuchen HR-, Rechts-, Compliance- oder Betriebsdokumente.
  • Forschungsassistenten: Nutzer rufen relevantes Material aus einem ausgewählten Forschungskorpus ab und fassen es zusammen.
  • Assistenten für Produktwissen: Vertriebs-, Support- oder Produktteams fragen freigegebene Produktinformationen ab.

In regulierten oder sensiblen Umgebungen erfordern diese Anwendungsfälle sorgfältige Aufmerksamkeit für Zugriffskontrolle, Datenschutz, Aufbewahrung und Compliance-Verpflichtungen. RAG löst diese Anforderungen nicht automatisch.

Vorteile von RAG

Wenn RAG gut konzipiert ist, kann es mehrere praktische Vorteile bieten.

Es kann Antworten in Quellenmaterial verankern

Da das System Inhalte abruft, bevor es eine Antwort generiert, kann das Modell bestimmte Dokumente oder Passagen als Kontext verwenden. Das kann besonders nützlich sein, wenn die Antwort freigegebene Dokumentation oder internes Wissen widerspiegeln soll.

Es kann aktuelle oder proprietäre Informationen unterstützen

Die Trainingsdaten eines Modells enthalten möglicherweise nicht die neuesten Richtlinien, Produktaktualisierungen oder das interne Wissen eines Unternehmens. RAG kann das Modell mit indexierten Quellen verbinden, die außerhalb des Modells selbst gepflegt werden.

Es kann den Bedarf verringern, für jede Wissensaktualisierung neu zu trainieren

Wenn das Hauptproblem der Zugriff auf sich ändernde Informationen ist, kann die Aktualisierung des Inhaltsindex praktischer sein, als ein Modell jedes Mal neu zu trainieren oder feinzujustieren, wenn sich Informationen ändern.

Es kann die Nachvollziehbarkeit durch Quellenangaben verbessern

Einige RAG-Systeme zeigen die Dokumente oder Passagen an, die zur Generierung einer Antwort verwendet wurden. Quellenangaben garantieren keine Korrektheit, können Nutzern aber helfen, das Quellenmaterial zu prüfen und zu bewerten, ob die Antwort gestützt ist.

Einschränkungen und Risiken

RAG kann viel leisten, macht generative KI aber nicht automatisch zuverlässig. Häufige Einschränkungen sind:

Schlechte Quelldaten

Wenn die indexierten Inhalte ungenau, unvollständig, dupliziert oder veraltet sind, kann das System schlechte Informationen abrufen und verwenden. RAG hängt stark von der Qualität seiner Wissensdatenbank ab.

Schwaches Retrieval

Das Modell kann relevante Informationen nicht nutzen, wenn das Retrieval-System sie nicht findet. Chunking, Indexierung, Metadaten, Anfrageverarbeitung und Ranking beeinflussen alle die Retrieval-Qualität.

Halluzinationen und falsche Nutzung des Kontexts

Selbst wenn relevante Inhalte abgerufen werden, kann das Modell dennoch eine nicht gestützte oder teilweise falsche Antwort erzeugen. Retrieval allein stellt nicht sicher, dass das Modell den abgerufenen Kontext korrekt verwendet.

Sicherheits- und Zugriffskontrollprobleme

Ein RAG-System kann mit sensiblen internen Daten verbunden sein. Organisationen müssen sicherstellen, dass Nutzer nur die Informationen abrufen können, zu deren Zugriff sie berechtigt sind. Die Anforderungen variieren je nach Organisation, Branche und Rechtsordnung.

Latenz und Kosten

RAG fügt dem Generierungsprozess Schritte hinzu, darunter Suche, Retrieval, Kontextzusammenstellung und Modellinferenz. Diese Schritte können Antwortzeit und Betriebskosten beeinflussen.

Schwierigkeiten bei der Evaluation

Es kann schwierig sein zu messen, ob ein RAG-System konsistent die richtigen Belege abruft und genaue Antworten erzeugt. Die Evaluation sollte realistische Nutzerfragen einbeziehen, nicht nur einfache Testbeispiele.

Wie man ein RAG-System evaluiert

Bevor RAG in einem Geschäftsworkflow eingesetzt wird, sollten sowohl die Retrieval-Qualität als auch die Generierungsqualität evaluiert werden. Nützliche Fragen sind:

  • Ruft das System für echte Nutzerfragen das relevanteste Quellenmaterial ab?
  • Sind die Antworten dem abgerufenen Kontext treu?
  • Sagt das System, wenn ihm genügend Informationen fehlen?
  • Sind die Quellenangaben korrekt und nützlich?
  • Sind die indexierten Inhalte aktuell und werden sie gepflegt?
  • Werden Zugriffskontrollen korrekt durchgesetzt?
  • Wie hoch ist die Latenz für typische und komplexe Anfragen?
  • Wie verhält sich das System bei Grenzfällen, mehrdeutigen Fragen oder fehlenden Informationen?
  • Wie wird die Organisation die Qualität im Laufe der Zeit überwachen?

Eine fundierte Evaluation fragt daher nicht nur, ob eine Antwort flüssig klingt. Sie prüft auch, ob Quellen die Aussagen stützen, ob die Antwort nützlich und sicher ist und ob sie zum vorgesehenen Einsatz passt.

Das Wichtigste in Kürze

Retrieval-Augmented Generation ist eine praktische Architektur, um generative KI mit externem Wissen zu verbinden. Ein RAG-System ruft relevante Informationen ab, stellt sie als Kontext bereit und verwendet ein generatives Modell, um eine Antwort zu erzeugen.

RAG kann Organisationen dabei helfen, KI-Systeme zu entwickeln, die mit aktuellen, proprietären oder domänenspezifischen Inhalten arbeiten. Wie gut das funktioniert, hängt von den Quellen, der Suche, den Sicherheitskontrollen und der laufenden Qualitätsprüfung ab. RAG kann Antworten besser mit Quellen untermauern, garantiert aber keine korrekten Ergebnisse und verhindert Halluzinationen nicht.

Selbst ausführen: veraltete Treffer von fehlenden Belegen unterscheiden

Diese Übung mit einem fiktiven Shop prüft das Retrieval vor der Antwortgenerierung. Wir haben das Skript ausgeführt und die Ausgabe exakt festgehalten. Es verwendet weder Sprachmodell noch Embeddings, Netzwerk oder echte Händlerbedingungen und ist kein vollständiges RAG-System oder Modellbenchmark.

Dokumente und Frage

Zwei Versionen einer Rückgaberegel sind bewusst ähnlich. returns-v1 erlaubt 14 Tage und ist veraltet; returns-v2 erlaubt 7 Tage und ist aktuell. Ein drittes Dokument behandelt den Versand. Im Beispiel ist die Ware unbenutzt, der Beleg vorhanden und Tag 10 erreicht. current ist manuell gepflegte Metadateninformation, kein Wahrheitsdetektor.

Mit Python 3 kopieren und ausführen

Speichern Sie den Code als rag_demo.py und starten Sie python3 rag_demo.py. Außer Python 3 sind keine Installation und kein API-Schlüssel nötig. Beispieldaten und Ausgaben bleiben für identische Ergebnisse in allen Sprachfassungen Englisch.

"""Fictional retrieval/version exercise, not a full RAG or model benchmark."""
import re
DOCUMENTS = [
    {'id': 'returns-v1', 'current': False,
     'text': 'Return requests for unused items: 14 days; receipt required.'},
    {'id': 'returns-v2', 'current': True,
     'text': 'Return requests for unused items: 7 days; receipt required.'},
    {'id': 'shipping-v1', 'current': True,
     'text': 'Standard shipping takes 3 to 5 business days.'},
]
QUERY = 'return unused receipt'
def words(text):
    return set(re.findall(r'[a-z]+', text.lower()))
def retrieve(documents, current_only):
    candidates = [d for d in documents if not current_only or d['current']]
    ranked = sorted(candidates,
                    key=lambda d: len(words(QUERY) & words(d['text'])),
                    reverse=True)
    # Python's stable sort leaves the earlier document first on a tie.
    if not ranked or not (words(QUERY) & words(ranked[0]['text'])):
        return None
    return ranked[0]
def inspect(label, document, elapsed_days=10):
    if document is None:
        print(label + ': no_evidence')
        return
    match = re.search(r'(\d+) days;', document['text'])
    if not match:
        print(label + ': no_return_rule')
        return
    window = int(match.group(1))
    # Only this fictional unused-item-with-receipt case is evaluated.
    result = 'within_window' if 0 <= elapsed_days <= window else 'outside_window'
    print(f"{label}: {document['id']} window={window} day={elapsed_days} {result}")
def main():
    inspect('unfiltered', retrieve(DOCUMENTS, False))
    inspect('current_only', retrieve(DOCUMENTS, True))
    inspect('shipping_only', retrieve([DOCUMENTS[2]], True))
if __name__ == '__main__':
    main()

Beobachtete Ausgabe

unfiltered: returns-v1 window=14 day=10 within_window
current_only: returns-v2 window=7 day=10 outside_window
shipping_only: no_evidence

Was geht jeweils schief?

Ohne Filter erhalten beide Rückgaberegeln denselben Schlüsselwortwert. Die stabile Sortierung erhält bei Gleichstand die Eingabereihenfolge, wählt die alte Regel und bewertet Tag 10 als innerhalb der Frist. Ein vorgeschalteter Filter auf aktuelle Dokumente wählt die 7-Tage-Regel: Tag 10 liegt außerhalb. Nicht die Rechnung wurde klüger, sondern ihr Beleg änderte sich.

Beim reinen Versandkorpus ergibt sich no_evidence, weil kein Suchwort übereinstimmt. In dieser Übung sollte man deshalb anhalten und die fehlende Regel anfordern, statt eine Frist zu erfinden. Die Wortsuche ist absichtlich simpel; produktives Retrieval kann Synonyme übersehen oder irrelevante Treffer bevorzugen.

Eingaben verändern

Kehren Sie DOCUMENTS um. Ohne Filter wird nun die neue Regel gewählt, weil sich die Reihenfolge bei Gleichstand ändert. Diese Verbesserung ist fragil; der explizite current-Filter wählt weiterhin returns-v2. Setzen Sie beide Rückgabedokumente auf current=False: Es fehlt nun ein passender aktueller Beleg. Setzen Sie elapsed_days in inspect auf 7: Der Grenztag ist eingeschlossen; 8 liegt außerhalb.

Prüfung im realen RAG-Ablauf

Protokollieren Sie Frage, gefundenen Text, Dokument-ID, Version und Gültigkeit vor der Antwortbewertung. Bei einer falschen Version prüfen Sie Quellenpflege und Filter. Bei richtigem Text, aber abweichender Frist oder Versandzitat prüfen Sie Generierung und Zitatbelege separat. Ein current-Feld hilft nur bei korrekter Pflege im Ingestionsprozess.

Grenzen dieses Tests

Die ausgegebene Fristbewertung ist ein programmierter Vergleich für unbenutzte Ware mit Beleg, keine KI-Antwort oder Rückgabegenehmigung. Paraphrasen, Berechtigungen, widersprüchliche Regeln, Gültigkeitsdaten, geöffnete Ware und Produktivgenauigkeit werden nicht geprüft. Bei angeschlossenem Modell müssen Aussagen und Zitate gegen den tatsächlich übergebenen Text geprüft werden.