Ein gängiges Sprachmodell beantwortet Fragen zur Weltgeschichte, formuliert Anschreiben und erklärt Steuerrecht im Allgemeinen. Was es nicht kennt, ist Ihr Unternehmen: Ihre Preisliste von letzter Woche, Ihre Wartungshandbücher, die Sonderklauseln in Ihren Lieferverträgen. Genau an dieser Stelle setzt ein RAG-System an. Es koppelt ein Sprachmodell an Ihren eigenen Wissensbestand, sodass die KI nicht mehr allgemein antwortet, sondern mit konkretem Bezug auf Ihre Dokumente – und dabei nennt, woher die Antwort stammt.
Was ein RAG-System ist
Stellt eine Mitarbeiterin eine Frage, durchsucht das System zuerst die eigenen Unterlagen des Unternehmens nach den passenden Textstellen und reicht diese zusammen mit der Frage an das Sprachmodell weiter. Die Antwort entsteht damit aus Ihren Quellen, nicht aus dem allgemeinen Training des Modells. Dieses Verfahren nennt die Fachwelt Retrieval Augmented Generation, kurz RAG.
Die Datenschutzkonferenz, der Zusammenschluss der unabhängigen Datenschutzbehörden von Bund und Ländern, beschreibt RAG als KI-Technologie, bei der große Sprachmodelle durch gezielten Zugriff auf unternehmens- oder behördeneigene Wissensquellen ergänzt werden, um kontextspezifische Antworten zu liefern. Der praktische Nutzen laut Behörde: höhere Genauigkeit, bessere Nachvollziehbarkeit und weniger der für Sprachmodelle typischen frei erfundenen Antworten – im Fachjargon „Halluzinationen“.
Der entscheidende Punkt ist nicht die Technik, sondern das Ergebnis im Arbeitsalltag. Aus einem generischen Chatbot, der plausibel klingt, wird ein Assistent, der Ihre Realität kennt und seine Aussagen mit einer Quelle belegt.
Der Quellennachweis
Ein klassischer Chatbot produziert eine Antwort und überlässt es Ihnen, ob Sie ihr glauben. Bei einer Frage zum richtigen Wartungsintervall einer Maschine oder zur Kündigungsfrist in einem Rahmenvertrag ist das zu wenig. Ein RAG-System verweist auf das konkrete Dokument, aus dem es schöpft. Wer die Antwort prüfen will, klickt auf die Quelle statt im Netzlaufwerk zu suchen.
Damit verschiebt sich die Rolle der KI vom Orakel zum Nachschlagewerk, das mitdenkt. Das ist für ein mittelständisches Unternehmen der eigentlich relevante Fortschritt – nicht die Frage, welches Modell gerade die meisten Parameter hat.
Wichtig: Datensouveränität
Für die meisten Unternehmer steht jedoch eine Frage ganz vorn: Wo landen meine Daten? Und sobald Verträge, Personalunterlagen oder Konstruktionspläne in einen Cloud-Chatbot wandern, ist das eine berechtigte Sorge.
Die gute Nachricht: RAG-Systeme können eigenständig entwickelt, betrieben und kontrolliert werden und damit Datenschutz von Beginn an in die Architektur einbauen. Also „Datenschutz-by-Design“. Vor allem aber: Sie ermöglichen den Einsatz kleinerer und auch lokal betriebener Modelle. Damit lässt sich ein System betreiben, ohne personenbezogene Daten an Dritte wie etwa große Cloud-Konzerne zu übermitteln. Die Behörde sieht darin einen wichtigen Beitrag zur digitalen Souveränität.
Meike Kamp, Berliner Beauftragte für Datenschutz und Informationsfreiheit und 2025 Vorsitzende der Datenschutzkonferenz, bringt die Bedingung dafür auf den Punkt:
„RAG-Systeme können Unternehmen und Behörden dabei unterstützen, die Vorteile moderner KI zu nutzen und zugleich die damit einhergehenden Risiken für die Rechte und Freiheiten von betroffenen Personen zu vermindern. Entscheidend ist jedoch, dass ihr Einsatz von Anfang an datenschutzkonform gestaltet wird.“
Mit anderen Worten: Die Technik gibt Ihnen die Möglichkeit, die Kontrolle zu behalten. Ob Sie es tatsächlich tun, entscheidet sich an der Umsetzung.
Lokal oder in der Cloud
Beim Aufbau eines RAG-Systems stehen im Wesentlichen zwei Wege offen.
- Der erste Weg ist der vollständig lokale Betrieb auf eigener Hardware. Offen verfügbare Sprachmodelle laufen dabei auf einem Server im eigenen Haus, kein Dokument verlässt das Unternehmen. Das ist die Maximalvariante an Kontrolle. Sie erfordert eine Investition in Hardware und Betreuung, und die lokal lauffähigen Modelle sind in der Regel kleiner als die großen Cloud-Modelle. Für viele interne Anwendungsfälle reicht diese Leistung jedoch vollkommen aus.
- Der zweite Weg nutzt einen Cloud-Dienst mit einem Rechenzentrum innerhalb der EU. Das bringt mehr Modellleistung und weniger eigenen Betriebsaufwand, bedeutet aber, dass die Daten das Haus verlassen und bei einem Anbieter verarbeitet werden – in einem vertraglich und örtlich abgesteckten Rahmen, aber eben außerhalb.
Eine wichtige Einschränkung gehört zur ehrlichen Betrachtung dazu: Lokal betrieben heißt nicht automatisch rechtssicher. Die Datenschutzkonferenz stellt klar, dass die datenschutzrechtliche Bewertung der einzelnen Verarbeitungen im Einzelfall zu erfolgen hat. Ein Server im eigenen Keller entbindet niemanden davon, sauber zu prüfen, welche Daten zu welchem Zweck verarbeitet werden.
Wo ein RAG-System wirkt
Der Nutzen wird konkret, sobald man auf die wiederkehrenden Suchvorgänge in einem Betrieb schaut. Vier Felder zeigen sich in der Praxis besonders deutlich.
- Im Kundenservice findet ein Mitarbeiter in Sekunden die richtige Antwort aus Handbüchern, früheren Servicefällen und technischen Hinweisen, statt drei Kollegen zu fragen oder Ordner zu durchsuchen.
- Im Angebots- und Vertriebsalltag lassen sich Anfragen mit aktuellen Produktdaten, Konditionen und Spezifikationen beantworten, ohne dass jemand die jeweils gültige Version manuell heraussucht.
- In Vertragswesen und Compliance durchsucht das System Verträge und Richtlinien nach Klauseln, Fristen oder Risiken – eine Arbeit, die sonst Stunden bindet.
- Und beim Onboarding richten neue Mitarbeitende ihre Fragen an einen internen Assistenten, statt eingearbeitete Kollegen aus ihrer eigentlichen Arbeit zu holen.
Alle Beispiele haben eines gemeinsam: Es geht darum, vorhandenes Wissen schneller verfügbar zu machen.
Wo die Grenzen liegen
Die Datenschutzkonferenz weist ausdrücklich darauf hin, dass RAG die grundlegenden Probleme eines rechtswidrig trainierten Sprachmodells nicht beseitigt. Auch Transparenz, Zweckbindung und die Wahrung der Rechte betroffener Personen über das gesamte System hinweg bleiben anspruchsvoll und müssen aktiv gestaltet werden.
Drei Punkte entscheiden in der Praxis über Erfolg oder Enttäuschung. Die Berechtigungssteuerung: Wer im Vertrieb arbeitet, darf über eine generierte Antwort nicht indirekt an Personalakten gelangen. Die Zugriffsrechte aus den vorhandenen Systemen müssen bis in die Suche durchgereicht werden. Zweitens die Datenqualität: Aufgeräumte, eindeutige und aktuelle Dokumente liefern bessere Antworten als jedes größere Modell auf einer chaotischen Ablage. Drittens die Erwartung an die Antworten: RAG reduziert erfundene Aussagen deutlich, beseitigt sie aber nicht vollständig. Eine Kontrollinstanz bei kritischen Auskünften bleibt notwendig.
Der Erfolg eines RAG-Systems entscheidet sich an der Datenqualität und den Zugriffsrechten – nicht an der Größe des Modells.
Wie Sie anfangen können
Der häufigste Fehler ist der Versuch, das gesamte Unternehmenswissen auf einmal abzubilden. Ein tragfähiger Einstieg sieht anders aus.
Wählen Sie zuerst einen einzigen, klar umrissenen Anwendungsfall mit hohem Suchaufwand – etwa die technische Dokumentation im Service oder die Angebotsunterlagen im Vertrieb. Räumen Sie dann den dazugehörigen Datenbestand auf, sodass nur eindeutige und aktuelle Dokumente in das System gelangen. Testen Sie im dritten Schritt zunächst klein und denken Sie die Zugriffsrechte von Anfang an mit, nicht erst beim Ausrollen. Und messen Sie die Antwortqualität an echten Fragen aus dem Arbeitsalltag, bevor Sie den Assistenten auf die ganze Abteilung loslassen.
Wer so vorgeht, hat in wenigen Wochen einen produktiven Assistenten auf Basis der eigenen Daten – mit überschaubarem Risiko und einem Ergebnis, das sich beurteilen lässt.
Die eigentliche Arbeit liegt im sauberen Aufräumen der eigenen Wissensquellen, im Festlegen der Zugriffsrechte und in der Auswahl des richtigen Einstiegsfalls. Wie aus einzelnen KI-Werkzeugen ein zusammenhängender Nutzen entsteht, haben wir im Beitrag zur KI-Orchestrierung beschrieben.
Wenn Sie Unterstützung bei Aufbau eines RAG-System brauchen, sprechen Sie uns gerne an.
