SignalDas Anliegen verstehen
Betrieb von Agenten
Agent Factory statt einmaligem Prompt-Tuning
Ein Agent im Produktivbetrieb ist ein lebendes Release. Er braucht Belege, Testfälle, Qualitätsschwellen und einen kontrollierten Weg, sich nach echten Gesprächen zu verbessern.
BETRIEBSLEITFADENPRÜFBARER ABLAUF
Leitfaden für den Betrieb
AblaufDie passende Regel anwenden
ErgebnisDen nächsten Schritt zurückschreiben
Prompt-Tuning ist nützlich. Eine klare Anweisung kann den Ton ändern, eine Grenze schärfen oder die Reihenfolge verbessern, in der ein Agent fragt. Das Problem beginnt, wenn das Bearbeiten von Prompts das ganze Verbesserungssystem ist. Ein Team liest ein Transkript, ändert einen Satz, spielt ihn überall aus und hofft, dass die nächsten Anrufe besser laufen. Am Anfang ist das schnell. Bei wachsendem Volumen wird es fragil.
Was einen Prompt von einem Release für den Betrieb unterscheidet, sind Belege. Ein Release sollte das Problem benennen, das gewünschte Verhalten erklären, einen Testfall ergänzen, die neue Version mit der aktuellen vergleichen und festhalten, wer die Änderung freigegeben hat. Die Agent Factory von DRING ist um diesen Lebenszyklus gebaut: die Arbeit verstehen, einen Agenten zusammenstellen, schwierige Anrufe simulieren, stufenweise freigeben und aus Live-Rückmeldungen lernen.
Warum ein Transkript nicht reicht
Ein einzelnes Gespräch kann einen wichtigen Fehler zeigen. Es sagt Ihnen aber nicht, wie oft der Fehler auftritt oder was eine Änderung sonst noch beeinflusst. Wer die Begrüßung wegen eines ungeduldigen Anrufers ändert, verlängert womöglich die Eröffnung für alle Kunden. Eine breite Anweisung gegen einen einzelnen Richtlinienfehler kann dazu führen, dass der Agent berechtigte Anliegen ablehnt. Eine Verbesserung in einer Sprache kann in einer anderen eine unnatürliche Wendung erzeugen.
Bündeln Sie zuerst die Belege. Gruppieren Sie Anrufe nach Anliegen, Sprache, Kundentyp, Fehlerursache und Ergebnis in den Folgesystemen. Suchen Sie nach wiederkehrenden Missverständnissen, unklaren Richtlinien, verpassten Übergaben, Tool-Fehlern und Ausspracheproblemen. Entscheiden Sie dann, welche Maßnahme passt: eine Prompt-Änderung, ein neuer Glossareintrag, eine Korrektur an der Integration, eine Routing-Regel oder eine Grenze zum Menschen.
Die Fabrik trennt die Ebenen
Ein Agent hat mehrere Ebenen, die man nicht beiläufig vermischen sollte: Gesprächsstrategie, Wissen, Richtlinien, Spracherkennung, Aussprache, Tools, Identität, Weiterleitung und Eintrag nach dem Anruf. Spricht ein Anrufer einen Produktnamen falsch aus, liegt die Lösung vielleicht in der Terminologie oder der Sprachanpassung, nicht in einem neuen Absatz im System-Prompt. Scheitert ein Schreibvorgang im CRM, behebt der Satz „Aktualisiere immer das CRM“ kein Problem mit Berechtigung oder Timeout.
Agenten-Konfiguration, Qualitätskontrollen und Integrationen von DRING bilden diese Ebenen ab. Ziel ist, die nächste Änderung nachvollziehbar zu machen. Eine Teamleitung sollte sagen können, was sich geändert hat, warum, woran es getestet wurde und wie das Ergebnis im Produktivbetrieb geprüft wird.
Einen Release-Kandidaten festlegen
Geben Sie jeder relevanten Änderung eine Release-Kennung und ein kurzes Briefing. Das Briefing nennt den betroffenen Workflow, die Zielkennzahl, bekannte Risiken, neue Testfälle, die Bedingung für einen Rollback und die verantwortliche Person. Ein Release-Kandidat ist nicht nur ein neuer Prompt. Er kann eine Überarbeitung des Wissens enthalten, eine Tool-Berechtigung, einen sprachspezifischen Aussprachesatz oder eine geänderte Schwelle für die Übergabe.
Lassen Sie den Kandidaten gegen ein festes Regressionsset und einen frischen Satz realistischer Gespräche laufen. Nehmen Sie gewöhnliche Anrufe, unangenehme Anrufe und Richtlinienfallen auf. Bewerten Sie nach Möglichkeit unabhängig, damit nicht nur die Person urteilt, die die Änderung geschrieben hat. Die Seite zur Qualität sollte sowohl den Wert als auch den Grund dahinter zeigen.
Live-Anrufe als Signal nutzen, nicht als automatisches Training
Gespräche im Produktivbetrieb enthalten wertvolle betriebliche Belege, aber nicht jede Äußerung sollte zu einer neuen Anweisung werden. Prüfende Personen ordnen das Signal ein, filtern irrelevantes Rauschen heraus und entscheiden, ob es auf ein dauerhaftes Problem hinweist. Die einmalige Formulierung eines Kunden kann für einen Testfall nützlich sein, ohne als allgemeine Regel zu taugen.
Seien Sie beim Umgang mit Daten genau. Kundengespräche können personenbezogene oder sensible Daten enthalten. Legen Sie Zugriff, Aufbewahrung, Rollen für die Prüfung und die freigegebene Nutzung anonymisierter oder zusammengefasster Signale gemeinsam mit dem Kunden und der Rechtsabteilung fest. Die Sicherheitskontrollen und Datenschutzinformationen von DRING sind ein Ausgangspunkt für dieses Gespräch. Dieser Artikel ist keine Rechtsberatung.
Verbesserung an Zielkonflikten messen
Ein Kandidat kann die Lösungsquote verbessern und die Qualität der Übergaben verschlechtern. Er kann die durchschnittliche Bearbeitungszeit senken und mehr Wiederholungskontakte auslösen. Er kann natürlicher klingen und dabei ungenauer mit Richtlinien umgehen. Verfolgen Sie die angestrebte Kennzahl zusammen mit Leitplanken: Richtlinientreue, Tool-Genauigkeit, Grund der Weiterleitung, Stimmung, Nacharbeit und Zahl kritischer Fehler.
Prüfen Sie die Ergebnisse nach Workflow und Sprache, nicht nur als einen globalen Durchschnitt. Verbessert eine Änderung eine Service-Warteschlange sichtbar, schadet aber einer Vertriebs-Warteschlange, halten Sie den Geltungsbereich getrennt. Eine Fabrik macht diese Trennung möglich, weil sie Agenten und Workflows als einzeln freigebbare Einheiten behandelt, nicht als einen riesigen Prompt.
Verbesserungen für Kunden und Betrieb sichtbar machen
Ändert sich ein Agent, sollte der Betrieb wissen, was ihn erwartet. Eine kurze Release-Notiz kann das aktualisierte Anliegen beschreiben, die neue Grenze, die Testabdeckung und den Beobachtungszeitraum. Die Kollegen im Team sollten erfahren, wie eine Übergabe bei ihnen ankommt und welche Felder sich geändert haben. Kunden dürfen nicht stillschweigend zu Testpersonen eines ungeprüften Experiments werden.
Ein stufenweiser Rollout hält das Unternehmen am Steuer. Beginnen Sie mit einem kleinen Anteil des Verkehrs oder einer einzelnen Warteschlange, beobachten Sie die Belege und weiten Sie erst aus, wenn die Kennzahlen stabil sind. Halten Sie einen Rollback-Weg bereit, der das letzte bewährte Release wiederherstellt, ohne Kundendatensätze oder offene Aufgaben zu verlieren.
Prompt-Tuning behält seinen Platz
Prompt-Änderungen sind oft die richtige Maßnahme, wenn das Modell die richtigen Informationen hat, sie aber in der falschen Reihenfolge im Gespräch einsetzt. Sie können die Empathie verbessern, eine Frage klarer machen, eine Einschränkung benennen oder eine bessere Formulierung für die Übergabe wählen. Die Fabrik macht Prompts nicht weniger wichtig. Sie gibt Prompt-Änderungen ihren Platz in einem verlässlicheren Prozess.
- Prompt-Änderungen für Verhalten, das sich klar beschreiben und testen lässt.
- Glossar- und Ausspracheänderungen für Namen, Marken und Fachbegriffe.
- Änderungen am Wissen, wenn die Antwort selbst veraltet oder unvollständig ist.
- Änderungen an der Integration, wenn ein Tool oder ein Systemergebnis falsch oder nicht verfügbar ist.
- Routing und Grenzen zum Menschen, wenn Urteil oder Risiko den Aufgabenbereich des Agenten übersteigen.
Einmaliges Tuning fragt: „Welchen Satz sollen wir ändern?“ Das Denken der Agent Factory fragt: „Was hat der Betrieb gelernt? Welche Maßnahme passt zum Fehler? Und woran erkennen wir, dass das nächste Release besser ist?“ Erst die zweite Frage erlaubt es einem digitalen Teammitglied im Callcenter, besser zu werden, ohne unberechenbar zu werden.
Die kleinste nützliche Maßnahme wählen
Bevor Sie ein Release ändern, benennen Sie die Ebene, in der der Fehler tatsächlich liegt. Missversteht ein Anrufer einen Produktnamen, braucht es vielleicht Arbeit an Terminologie oder Aussprache. Eine richtige Antwort im falschen Ton braucht vielleicht eine Änderung der Gesprächsstrategie. Eine fehlende Notiz im CRM deutet womöglich auf eine Felddefinition, eine Berechtigung oder ein Timeout hin, nicht auf den Prompt. Diese Diagnose hält die Korrektur schmal und macht das Ergebnis leichter zuzuordnen.
Vergleichen Sie den Kandidaten mit der aktuellen Version in denselben Szenarien und beobachten Sie dann den Live-Ausschnitt über den vereinbarten Prüfzeitraum. Halten Sie Verbesserungen und Nebenwirkungen fest: Weniger wiederholte Erklärungen nützen nur, wenn Richtlinientreue und Qualität der Übergaben stabil bleiben. Sind die Belege gemischt, halten Sie das Release klein, erklären Sie den Zielkonflikt und legen Sie den nächsten Test an, statt die Unsicherheit in einem größeren Prompt zu verstecken.
Weiterführende Quellen
Jedes Release erklärbar machen
Bringen Sie den Fehler mit, den Ihr Team immer wieder sieht. Wir skizzieren die kleinste kontrollierte Änderung.