RAG funktioniert in zwei Schritten. Zuerst ruft es ab: Es durchsucht einen kuratierten Wissensbestand nach Material, das für die Frage relevant ist. Dann generiert es: Es baut eine Antwort, die auf diesem abgerufenen Material als Tatsachengrundlage beruht.
Der Nutzen ist Fundierung mit Attribution. Weil dem Modell konkrete Quellen übergeben wurden, lassen sich diese Quellen zitieren und überprüfen. RAG hält Antworten außerdem aktuell, ohne dass ein erneutes Training nötig wird, da sich die Wissensquelle eigenständig aktualisieren lässt.
Richtig umgesetzt macht RAG aus einem allgemeinen Modell einen Fachexperten, begrenzt auf verifiziertes Wissen.