Eine KI für den Kundenservice soll meist mehrere Dinge gleichzeitig leisten: die Frage verstehen, passende Informationen finden und eine brauchbare Antwort formulieren. Prüfen Sie diese Leistungen getrennt. Sonst verdeckt ein flüssiger Text, dass eine falsche Lieferbedingung genannt wurde. Das NIST empfiehlt im AI RMF Playbook, Bewertungsverfahren am Einsatzzweck auszurichten und akzeptable Leistungsgrenzen vorab zu bestimmen.
Einen brauchbaren Testbestand aufbauen
Wählen Sie typische, schwierige und bewusst nicht beantwortbare Fälle. Jeder Fall braucht eine erwartete Kernaussage, zulässige Quellen und eine Beschreibung schwerwiegender Fehler. Entfernen Sie personenbezogene Angaben, soweit sie für den Test unnötig sind. Halten Sie einen Teil der Fälle zurück, damit Verbesserungen nicht nur bekannte Beispiele treffen.
Ein hypothetischer Ersatzteilhändler könnte drei Anfragen verwenden: eine eindeutige Artikelnummer, eine unvollständige Modellbezeichnung und eine Frage zu einer nicht dokumentierten Kompatibilität. Bei der dritten Anfrage wäre eine klare Rückfrage besser als eine selbstsichere Empfehlung. Eine sprachlich schöne Antwort bekommt deshalb keinen Bonus für eine erfundene Zusage.
Den gesamten Aufwand messen
Lassen Sie Fachleute zunächst ohne KI und anschließend mit KI arbeiten. Erfassen Sie Bearbeitungszeit, Korrekturen und Fälle, die vollständig neu bearbeitet werden mussten. Trennen Sie sachliche Fehler von Stilfragen. Eine einzige Gesamtpunktzahl kann diese Unterschiede verschlucken.
Für den hypothetischen Händler wäre ein nützliches Ergebnis etwa: Artikelnummern werden zuverlässig erkannt, Varianten aber häufig verwechselt. Daraus folgt ein engerer Einsatzbereich: Vorschläge nur bei eindeutiger Zuordnung, sonst Übergabe an einen Menschen.
Dokumentieren Sie Modell, Einstellungen und verwendeten Wissensbestand zu jedem Testlauf. Prüfen Sie nach Änderungen dieselben Fälle erneut. Die entscheidende Freigabefrage lautet: Welche Aufgaben kann das Team mit den beobachteten Fehlern verantwortbar erledigen?
