Bei Retrieval-Augmented Generation, kurz RAG, sucht ein System passende Inhalte und gibt sie einem Sprachmodell als Grundlage für eine Antwort mit. Der Ansatz kann internes Wissen zugänglich machen. Er behebt jedoch keine widersprüchlichen Handbücher. Microsoft beschreibt für RAG unter anderem Herausforderungen bei Suchqualität, Inhaltsaufbereitung und Zugriffsrechten.
Mit einer überschaubaren Wissenssammlung beginnen
Ein hypothetischer Maschinenzulieferer möchte seinem Service helfen, Wartungshinweise schneller zu finden. Statt sofort alle Netzlaufwerke anzubinden, wählt er freigegebene Handbücher für eine Produktfamilie. Zu jedem Dokument werden Modell, Versionsstand, Sprache, Gültigkeit und verantwortlicher Fachbereich erfasst. Ein überholtes Handbuch bleibt bei Bedarf archiviert, wird aber nicht stillschweigend als aktuelle Anleitung behandelt.
Die Suche muss sinnvolle Abschnitte zurückliefern. Eine Tabelle ohne Spaltenüberschriften oder ein Absatz ohne Produktbezug kann missverständlich sein. Prüfen Sie deshalb an echten Dokumenten, welche Informationen gemeinsam erhalten bleiben müssen.
Suchtreffer und Antwort getrennt prüfen
Im hypothetischen Pilot fragt ein Techniker nach einem Wartungsintervall. Das Team kontrolliert zuerst, ob überhaupt das richtige Handbuch gefunden wurde. Erst danach bewertet es die Antwort. So wird sichtbar, ob das Problem im Datenbestand, in der Suche oder in der Formulierung liegt.
Zu einer brauchbaren Oberfläche gehören Quellenlinks und erkennbare Dokumentversionen. Bei fehlender Grundlage sollte sie die Lücke benennen. Eine Quellenangabe allein beweist allerdings noch nicht, dass die Antwort den Inhalt korrekt wiedergibt.
Klären Sie außerdem, wie Berechtigungen aus dem Ursprungssystem übernommen und Dokumentänderungen aktualisiert werden. Ein Vertriebsmitarbeiter darf durch den Chat keine Informationen erhalten, auf die er sonst keinen Zugriff hätte.
Für eine erste Abnahme eignen sich drei Fragen: Findet das System den richtigen Stand? Sind Aussagen anhand der Fundstelle nachvollziehbar? Funktioniert die Zugriffstrennung auch bei indirekt formulierten Fragen?
