Warum 1.000 bis 10.000 simulierte Gespräche vor dem Start?

„1.000 bis 10.000 simulierte Gespräche“ sollte man nie als magische Qualitätszahl präsentieren. Ein Testset ist wertvoll wegen seiner Abdeckung, seines Schwierigkeitsgrads und seiner Verbindung zu einem echten Workflow. Tausend einfache Begrüßungen beweisen nicht, dass ein Agent mit einer strittigen Zahlung umgehen kann, mit einem Anrufer in lauter Umgebung, mit einem Produktnamen, den er nie gehört hat, oder mit einer Übergabe an einen Menschen am Ende eines langen Gesprächs. Ein kleineres Set sorgfältig entworfener Sonderfälle kann mehr aussagen als ein großes Set, das immer wieder denselben Normalfall durchspielt.

Für einen Voice-Agent im Produktivbetrieb ist die Simulation ein sicherer Ort, um Fehler zu finden, bevor ein Kunde sie findet. Die Agent Factory von DRING stellt in ihrem Zyklus einen Kandidaten zusammen, lässt schwierige Gespräche laufen, bewertet das Ergebnis und entscheidet, ob er für kontrollierten Verkehr bereit ist. Die Zahl stützt die Zuversicht. Vertrauen entsteht durch die Gestaltung der Tests.

Beim Workflow-Vertrag beginnen

Jeder Test braucht einen Zweck. Legen Sie fest: Anliegen des Anrufers, nötige Fakten, erlaubte Aktion, Nachweis für den Abschluss und die Fälle, die eskalieren müssen. Schreiben Sie dann Szenarien, die Sprache, Formulierung, Reihenfolge und emotionalen Kontext variieren, während die Aufgabe dahinter dieselbe bleibt.

In einem Termin-Workflow bestätigt ein Szenario einen Termin, ein anderes verlangt eine Änderung, ein drittes kommt in der falschen Sprache an und ein viertes fragt nach medizinischem Rat außerhalb des organisatorischen Umfangs. In einer Logistik-Hotline variieren Sie Fahrer, Ladung, Ort, Zeitpunkt und Grund der Ausnahme. Der Testfall bewertet das Ergebnis, nicht nur, ob der Agent den richtigen Satz gesagt hat.

Abdeckung in fünf Dimensionen aufbauen

Erstens das Anliegen: gewöhnliche Anfragen, benachbarte Anfragen und nicht unterstützte Anfragen. Zweitens Sprache und Aussprache: Namen, Marken, Abkürzungen, Währungen, Daten und regionale Ausdrücke. Drittens der Sprecherwechsel: Unterbrechung, Stille, Korrektur, gleichzeitiges Sprechen und ein Anrufer, der es sich anders überlegt. Viertens die Systeme: langsame Abfrage, fehlender Datensatz, widersprüchliche Daten und abgelehntes Rückschreiben. Fünftens Richtlinie und Übergabe: unsichere Identität, sensible Aktionen, verärgerte Anrufer und die sofortige Bitte um einen Menschen.

Arbeiten Sie mit einer Testmatrix, damit das Team sieht, was fehlt. Ein Szenario kann mehrere Dimensionen verbinden, etwa eine Anruferin mit Schweizer Akzent, die bei einer Retoure in lauter Umgebung einen Produktnamen korrigiert, während das CRM nicht erreichbar ist. Genau bei solchen Kombinationen beginnt ein System zu scheitern, das einzelne Tests bestanden hat.

Mehr bewerten als die Antwort

Legen Sie unabhängige Dimensionen für die Bewertung fest. Wurde das Anliegen verstanden? Wurden die Fakten korrekt erfasst? Wurde die Richtlinie eingehalten? Wurde das Tool mit den richtigen Parametern aufgerufen? Hat der Agent Unsicherheit erklärt? Kam die Übergabe im richtigen Moment? Enthielt der Datensatz am Ende den richtigen nächsten Schritt? Passte der Ton zur Situation?

Ein einziges Etikett „bestanden“ oder „nicht bestanden“ verdeckt nützliche Information. Ein Kandidat, der das Anliegen versteht, aber beim Rückschreiben ins CRM scheitert, braucht eine andere Korrektur als einer, der selbstsicher mit der falschen Richtlinie antwortet. Die Qualitätsebene und das Analysemodell von DRING verbinden die Bewertung mit einer zuständigen Person und dem nächsten Release.

Automatisierte Prüfinstanzen mit Bedacht einsetzen

Automatisierte Prüfinstanzen erhöhen die Abdeckung. Als unanfechtbare Wahrheit sollte man sie aber nicht behandeln. Definieren Sie den Bewertungsbogen in beobachtbaren Begriffen, vergleichen Sie eine Stichprobe mit menschlichen Prüfern und verfolgen Sie die Abweichungen. Bei sensiblen Workflows ist eine menschliche Prüfschwelle Pflicht, auch wenn der automatisierte Wert hoch ist.

Versionieren Sie die Test-Prompts und die erwarteten Ergebnisse. Ändert sich der Bewertungsbogen, müssen frühere Werte deutbar bleiben. Halten Sie die Versionen von Modell, Stimme, Sprache, Tool und Richtlinie fest, damit sich eine spätere Verschlechterung zurückverfolgen lässt. Das AI RMF des NIST betont regelmäßiges Testen, Messen, Dokumentieren und Steuern über den gesamten Lebenszyklus. Das ist ein nützlicher Rahmen für diese Disziplin.

Den Kunden simulieren, keinen Skriptvorleser

Echte Anrufer warten nicht auf die exakte Frage. Sie reden in die Frage hinein, nutzen Kurzformen, vergessen die Referenznummer, stellen eine verwandte Frage und äußern Unsicherheit. Ein realistischer Simulator hat ein Ziel, bekannte Fakten, eine bestimmte Bereitschaft zur Mitarbeit und eine Fehlerart. Manche Anrufer sollten hilfsbereit sein. Manche ungeduldig. Manche sollten selbstsicher die falsche Aktion verlangen.

Verankern Sie die Szenarien in der tatsächlichen Sprache des Unternehmens. Nutzen Sie freigegebene, anonymisierte Muster, wo das erlaubt ist, oder lassen Sie Ihre Mitarbeiter natürliche Varianten schreiben. Kopieren Sie keine personenbezogenen Daten in ein Testset. Schwärzen Sie Kennungen und führen Sie ein Verzeichnis der Testdaten mit Zugriffsregeln.

Freigabeschwellen ausdrücklich festlegen

Legen Sie vor dem Start fest: den Mindestwert für kritische Prüfungen von Richtlinie und Identität, die höchste zulässige Fehlerquote für gewöhnliche Abläufe und die Übergabebedingungen, die jedes Mal bestehen müssen. Ein Kandidat fällt durch, wenn er ein Kontoergebnis erfindet, einen verpflichtenden Hinweis auslässt, in den falschen Kundendatensatz schreibt oder einen Anrufer festhält, der einen Menschen verlangt hat.

Geben Sie stufenweise frei. Beginnen Sie mit einem kleinen Anteil des Verkehrs, vergleichen Sie die Live-Ergebnisse mit der Simulation, ziehen Sie Stichproben aus Anrufen im Produktivbetrieb und ergänzen Sie neue Szenarien aus tatsächlichen Fehlern. Das Testset wächst mit dem, was der Betrieb lernt. Eine Testsuite mit 1.000 Fällen, die sich nie ändert, wird zum Museum, nicht zum Qualitätssystem.

Jeden wichtigen Fehler zum Regressionsfall machen

Deckt ein Anruf im Produktivbetrieb einen Fehler auf, ordnen Sie ihn ein, bevor Sie ihn in die Suite aufnehmen. Hat das System das Audio falsch verstanden, fehlte Wissen, wurde das falsche Tool gewählt, eine Richtlinie falsch angewandt oder die Übergabe versäumt? Schreiben Sie ein knappes Szenario, das das Verhalten nachstellt, ohne unnötige personenbezogene Daten zu behalten. Ergänzen Sie das erwartete Ergebnis und die Leitplanke, die eine Wiederholung verhindert.

Das ist der praktische Wert eines Factory-Ansatzes. Ein Agent wird nicht freigegeben, weil er einmal gut klang. Er wird freigegeben, weil der Kandidat das Zielverhalten verbessert hat und bei allen bekannten Risiken stabil geblieben ist. Jedes neue Release beginnt mit mehr Nachweisen als das vorherige.

Ein Simulationsplan, den Teams pflegen können

• Das Ergebnis des Workflows und die kritischen Ausschlussbedingungen festlegen.
• Gewöhnliche, benachbarte, nicht unterstützte und eskalierende Szenarien anlegen.
• Sprache, Akzente, Aussprache, Unterbrechungen und Kooperationsbereitschaft der Anrufer variieren.
• Systemausfälle, fehlende Daten und widersprüchliche Richtlinienbedingungen einspielen.
• Anliegen, Aktion, Richtlinie, Übergabe, Ton und Qualität des Datensatzes getrennt bewerten.
• Einen kontrollierten Live-Piloten fahren und bestätigte Fehler in die Regression zurückführen.

Simulation ist kein Theater vor dem Start. Mit ihr verpflichtet ein Betriebsteam einen KI-Agenten auf denselben Qualitätsmaßstab wie jedes andere System im Produktivbetrieb.

Weiterführende Literatur

• NIST AI RMF Core zu regelmäßigem Testen, Messen und Dokumentieren
• OpenAI zu Evaluierung und Beobachtbarkeit von Agenten im Produktivbetrieb
• Twilio zum Aufbau einer Evaluierungsebene vor und nach dem Start