Wenn die KI einen falschen Preis nennt
Falsche Antworten in KI-Anrufen haben fünf Einfallstore, und vier davon liegen außerhalb des Modells. Vorbeugen lässt sich mit einer einzigen Antwortschleuse, im Ernstfall greift ein Reaktionsplan in fünf Schritten.
Die kurze Antwort
Eine falsche Antwort in einem KI-Anruf ist selten ein Rätsel. Sie kommt durch eines von fünf Einfallstoren: Veraltete Quelle, Fehlende Quelle, Falsch verstandene Frage, Abfragefehler oder Befugnisüberschreitung. Vier davon entstehen außerhalb des Modells: Veraltete Quelle und Fehlende Quelle in der Quelle selbst, Falsch verstandene Frage in der Spracherkennung, Abfragefehler in einer Systemabfrage. Nur die Befugnisüberschreitung geht vom Agenten selbst aus, wenn er mehr anbietet, als er darf.
Vorbeugung ist deshalb vor allem Arbeit an Quellen und Befugnissen. Jede Antwort durchläuft dieselbe Antwortschleuse: Sie stammt aus einer freigegebenen Quelle, die Quelle ist aktuell, die Antwort liegt im Befugnisrahmen, und für jede Zahl, jedes Datum und jeden Betrag gibt es eine Rückbestätigung. Fällt eine Antwort bei einer Prüfung durch, greift die Rückfallebene: Der Agent übergibt an einen Menschen oder vereinbart einen Rückruf.
Manche falschen Antworten kommen trotzdem durch. Dann gilt ein fester Reaktionsplan: Eindämmen, Ermitteln, Richtigstellen, Protokollieren, Nachtesten. Wie groß ein Vorfall ist, bestimmt sein Risikofenster: vom Moment, ab dem die falsche Antwort möglich war, bis zu ihrer Korrektur. Dieses Fenster hängt davon ab, wie schnell eine geschäftliche Änderung in Ihrer Quelle ankommt, wie schnell Sie ein Problem bemerken und wie schnell Sie es eindämmen. Vom Modell hängt es nicht ab.
Alle Beispielzahlen in diesem Leitfaden sind für ihn erstellt. Es sind weder Daten von DRING noch Branchendaten.
Die fünf Einfallstore für falsche Antworten
Jedes Einfallstor hat seine eigene Gegenmaßnahme.
| Einfallstor | Was im Anruf passiert | Was der Anrufer hört | Die Gegenmaßnahme, die es schließt |
|---|---|---|---|
| Veraltete Quelle | Der Preis hat sich geändert, aber die freigegebene Quelle enthält noch die alte Version. Der Agent gibt sie korrekt wieder. | „Der Geräteschutz kostet 12 € im Monat.“ Inzwischen kostet er 14 €. | Ein Gültigkeitsbeginn für jede Version, eingetragen vor der Änderung. |
| Fehlende Quelle | Keine freigegebene Quelle deckt die Frage ab, und der Agent füllt die Lücke mit einer Vermutung. | „Ja, das können Sie auch geöffnet zurückgeben.“ | Nur aus einer freigegebenen Quelle antworten. Alles andere geht auf die Rückfallebene. |
| Falsch verstandene Frage | Die Spracherkennung hört ein anderes Produkt oder eine andere Zahl, als der Anrufer gesagt hat. | „Der Pro-Tarif kostet 20 € im Monat.“ Gefragt hatte der Anrufer nach dem Plus-Tarif. | Eine Rückbestätigung von Tarif und Betrag, damit der Anrufer korrigieren kann. |
| Abfragefehler | Die Systemabfrage liefert den falschen Datensatz, oder sie schlägt fehl und liefert nichts. | „Ihre Bestellung kommt am Freitag.“ Das Datum gehört zu einer anderen Bestellung. | Eine Rückbestätigung der Bestellnummer vor der Abfrage und eine Prüfung, ob der gefundene Datensatz diese Nummer trägt. Eine fehlgeschlagene oder leere Abfrage geht auf die Rückfallebene. |
| Befugnisüberschreitung | Der Agent bietet mehr an, als er darf. | „Da kann ich Ihnen 10 % Rabatt geben.“ | Der Befugnisrahmen. Rabatte und Erstattungen gehen an einen Menschen. |
Der Befugnisrahmen schließt nur ein Einfallstor: die Befugnisüberschreitung. Die anderen vier schließen Sie mit Arbeit an Quellen, Rückbestätigung und Abfragen. Ein Fehler am Einfallstor Fehlende Quelle endet zwar mit einer Vermutung des Agenten, beginnt aber mit einer Lücke in der Quelle. Die erste Prüfung der Antwortschleuse stoppt diese Vermutung. Mehr zu fehlgeschlagenen Abfragen, etwa bei Timeouts, lesen Sie in unserem Artikel darüber, warum ein Tool-Aufruf noch keine Automatisierung ist.
Vorbeugung: die Antwortschleuse
Die Antwortschleuse ist eine feste Abfolge von Schritten für jede Antwort. Bevor der Anrufer die Antwort hört, kommen drei Prüfungen: Steht die Antwort in einer freigegebenen Quelle? Ist die Quelle aktuell? Liegt die Antwort im Befugnisrahmen? Danach holt der Agent für jede Zahl, jedes Datum und jeden Betrag eine Rückbestätigung ein, bevor er etwas zusagt oder bucht. Ein Nein bei einer der drei Prüfungen schickt den Anruf auf die Rückfallebene.
Freigegebene Quellen, jede mit verantwortlicher Person und Gültigkeitsbeginn
Listen Sie jede Quelle auf, aus der der Agent antworten darf: die Preisliste, die Rückgaberegeln, das Wissensdokument, die Bestellabfrage. Jede davon ist eine freigegebene Quelle. Benennen Sie für jede eine verantwortliche Person, die sie ändert, wenn sich im Geschäft etwas ändert. Geben Sie jeder Version einen Gültigkeitsbeginn: Datum und Uhrzeit, ab denen sie gilt.
Führen Sie pro Thema genau eine freigegebene Quelle. Im Beispielvorfall unten waren die Preisliste der Website und die Quelle des Agenten getrennte Dokumente, und nur eines davon wurde rechtzeitig geändert.
Prüfung 1: Steht die Antwort in einer freigegebenen Quelle?
Steht die Antwort in keiner freigegebenen Quelle, geht der Agent auf die Rückfallebene. Auch eine hilfreich gemeinte Vermutung bleibt ein Fehler am Einfallstor Fehlende Quelle.
Prüfung 2: Ist die Quelle aktuell?
Tragen Sie jede neue Version mit ihrem Gültigkeitsbeginn ein, bevor die Änderung eintritt. Dann ist die Quelle in dem Moment aktuell, in dem sich der Preis ändert, und nicht erst, wenn jemand an die Änderung denkt. Steht eine Änderung bevor und ist die neue Version noch nicht fertig, stellen Sie das Thema auf die Rückfallebene um, bis sie fertig ist.
Prüfung 3: Liegt die Antwort im Befugnisrahmen?
Der Befugnisrahmen bestimmt, was der Agent ohne einen Menschen sagen oder tun darf. Legen Sie ihn pro Thema in drei Stufen fest:
| Stufe | Was sie abdeckt | Beispiele |
|---|---|---|
| Darf sagen | Fakten aus einer freigegebenen Quelle ohne Zahl, Datum oder Betrag | Was ein Tarif abdeckt, welche Zahlungsarten Sie akzeptieren, wie eine Rückgabe eingeleitet wird |
| Darf nur mit Rückbestätigung sagen | Jede Zahl, jedes Datum, jeder Betrag sowie alles, was zugesagt oder gebucht wird | Der aktuelle Preis eines Tarifs, ein Liefertermin, eine Bestellsumme |
| Muss übergeben | Jede Ausnahme von Preisliste oder Richtlinie und jede Entscheidung über Geld | Eine Erstattung, ein Rabatt, eine Preisangleichung, eine Beschwerde über eine Abbuchung |
„Muss übergeben“ bedeutet die Rückfallebene: Ein Mensch übernimmt den Anruf sofort oder bestätigt später per Rückruf. Was diese Person mit dem Anruf erhalten sollte, zeigt unser Leitfaden zur Gestaltung der Übergabe an Menschen.
Dann die Rückbestätigung: jede Zahl, jedes Datum, jeder Betrag
Bei schlechter Verbindung klingen vierzehn und vierzig ähnlich. Deshalb wiederholt der Agent alle Zahlen, Daten und Beträge, die er nennt oder verwendet. Der Anrufer bestätigt sie, bevor etwas zugesagt oder gebucht wird. Die Rückbestätigung fängt auch Fehler am Einfallstor Falsch verstandene Frage ab, denn der Anrufer hört, welchen Tarif der Agent meint. Ein Beispiel nach der Korrektur im Vorfall unten:
- Anrufer: „Was kostet der Geräteschutz jetzt?“
- Agent: „Der Geräteschutz kostet 14 € im Monat. Ich wiederhole: vierzehn Euro im Monat. Ist das der Tarif, den Sie meinen?“
- Anrufer: „Ja, vierzehn. Genau den.“
Und derselbe Agent an der Grenze seines Befugnisrahmens:
- Anrufer: „Letzte Woche stand auf Ihrer Website noch zwölf. Geht das auch für zwölf?“
- Agent: „Den Preis kann ich in diesem Gespräch nicht ändern, aber jemand aus unserem Team kann sich das ansehen. Soll ich Sie gleich verbinden, oder ist Ihnen ein Rückruf lieber?“
Die Antwortschleuse vor dem Release testen
Testen Sie vor dem Release mindestens einen Fall pro Einfallstor:
- Veraltete Quelle: ein neuer Preis mit Gültigkeitsbeginn. Anrufe davor bekommen den alten Preis, Anrufe danach den aktuellen.
- Fehlende Quelle: Fragen, die keine freigegebene Quelle abdeckt. Der Agent geht auf die Rückfallebene.
- Falsch verstandene Frage: ähnlich klingende Produktnamen bei Hintergrundgeräuschen. Die Rückbestätigung deckt die Verwechslung auf.
- Abfragefehler: eine Abfrage, die fehlschlägt, nichts zurückgibt oder eine andere Bestellung liefert. Der Agent erfindet kein Ergebnis und geht auf die Rückfallebene.
- Befugnisüberschreitung: die Bitte um einen Rabatt oder eine Erstattung. Der Agent übergibt.
Wie Sie das vollständige Testset aufbauen, zeigt unser Leitfaden zum Testen eines Voice-Agents vor dem Produktivbetrieb.
Ein Beispielvorfall: eine Preisänderung, die der Agent verpasst hat
Beispiel, keine echten Daten. Ein Händler erhöhte den Preis seines Geräteschutzes von 12 € auf 14 € im Monat, gültig ab Montag, 09:00 Uhr. Die Preisliste auf der Website wurde rechtzeitig geändert. Die freigegebene Quelle des Agenten war aber ein separates Dokument, und bei der Preisänderung aktualisierte es niemand. Am Mittwoch um 10:30 Uhr kam die erste Beschwerde: Einem Anrufer waren 12 € genannt worden, abgebucht wurden 14 €. Am Mittwoch um 14:00 Uhr wurde das Dokument korrigiert, und damit war der Schritt Eindämmen erledigt. Das Risikofenster reichte von Montag, 09:00 Uhr, bis Mittwoch, 14:00 Uhr: 53 Stunden.
Der Schritt Eindämmen kam 3 Stunden 30 Minuten nach der ersten Beschwerde, und in diesen Stunden konnten Anrufer weiterhin 12 € hören. Hätte das Team Preisfragen zum Geräteschutz wenige Minuten nach der Beschwerde auf Übergabe umgestellt, wäre das während der Korrektur des Dokuments nicht mehr passiert.
Nach 14:00 Uhr folgte der Schritt Ermitteln. Das Team durchsuchte die Transkripte aus dem Risikofenster nach dem Geräteschutz und las dann jeden Anruf, in dem er vorkam:
| Gruppe | Anrufe | Betroffene Anrufer? | Nächster Schritt |
|---|---|---|---|
| Alle Anrufe im Risikofenster | 900 | Nicht alle | Nach dem Geräteschutz suchen |
| Geräteschutz erwähnt | 120 | Nicht alle | Jeden Anruf lesen |
| Alten Preis von 12 € genannt | 46 | Ja | Kontaktieren und aktuellen Preis nennen |
| Geräteschutz besprochen, kein Preis genannt | 61 | Nein | Kein Kontakt |
| Übergeben, bevor ein Preis genannt wurde | 13 | Nein | Kein Kontakt |
Die letzten drei Zeilen ergeben zusammen die 120 Anrufe, in denen der Geräteschutz vorkam: 46 plus 61 plus 13. Betroffen sind also 46 Anrufer, nicht 900. Hätte das Team alle 900 kontaktiert, hätte es 854 Anrufer verunsichert, die nie 12 € gehört hatten. Hätte es nur den Anrufer mit der Beschwerde kontaktiert, hätten 45 betroffene Anrufer weiter mit einem falschen Preis gerechnet. Am Donnerstag kontaktierte das Team die 46 betroffenen Anrufer und nannte ihnen den aktuellen Preis.
Zwei Änderungen hätten das Risikofenster verkleinert. Wären der neue Preis und sein Gültigkeitsbeginn schon vor Montag in der freigegebenen Quelle eingetragen gewesen, hätte das Fenster 0 Stunden betragen. Mit einer täglichen Prüfung, die den in jedem Anruf genannten Preis mit der aktuellen Preisliste vergleicht, hätte schon die erste Prüfung am Dienstag um 08:00 Uhr die Nennungen von 12 € gemeldet. Wäre die Quelle dann korrigiert worden, hätte das Fenster 23 statt 53 Stunden betragen.
Der Reaktionsplan: fünf Schritte
Erreicht eine falsche Antwort Anrufer, arbeiten Sie immer dieselben fünf Schritte in derselben Reihenfolge ab. Eindämmen kommt vor Ermitteln: Während Sie die Anrufe durchsuchen, können sonst neue Anrufer die falsche Antwort hören.
| Schritt | Was Sie tun | Zuständig | Erledigt, wenn |
|---|---|---|---|
| Eindämmen | Verhindern Sie, dass neue Anrufer die falsche Antwort hören. Korrigieren Sie die Quelle. Dauert das länger als ein paar Minuten, stellen Sie das Thema auf die Rückfallebene um, bis die Quelle korrigiert ist. | Hotline-Leitung | Ein Testanruf zum Thema erhält die aktuelle Antwort oder geht auf die Rückfallebene. |
| Ermitteln | Listen Sie die betroffenen Anrufer auf: erst die Anrufe im Risikofenster, die das Thema berührt haben, dann die Anrufe, in denen die falsche Antwort tatsächlich genannt wurde. | Qualitätsleitung | Die Liste der betroffenen Anrufer und die Zahl der geprüften Anrufe liegen vor. |
| Richtigstellen | Informieren Sie jeden betroffenen Anrufer über den aktuellen Stand. Wenden Sie die Richtlinie an, die Sie vorab festgelegt haben. | Leitung Kundenservice | Jeder betroffene Anrufer ist erreicht, oder die vereinbarte Zahl an Anrufversuchen ist ausgeschöpft. |
| Protokollieren | Tragen Sie den Vorfall ins Vorfallprotokoll ein. | Qualitätsleitung | Jedes Feld des Eintrags ist ausgefüllt. |
| Nachtesten | Machen Sie aus dem Fall einen Test, und nehmen Sie ihn ins Testset auf. | Agentenbetreuung | Der Test besteht und läuft vor jedem Release. |
Ermitteln heißt: betroffene Anrufer finden, nicht alle, die angerufen haben. Beginnen Sie beim Risikofenster, grenzen Sie auf das Thema ein, und lesen Sie dann die Anrufe. Antwortet Ihr Team aus derselben Quelle, prüfen Sie auch die Anrufe Ihres Teams.
Richtigstellen braucht eine Richtlinie, die vor dem ersten Vorfall feststeht. Halten Sie den falsch genannten Preis ein, oder erklären Sie den aktuellen Preis? Das ist eine geschäftliche Grundsatzentscheidung. Treffen Sie sie vorab, schreiben Sie sie auf, und geben Sie sie den Personen, die die Korrekturanrufe führen. Ob ein genannter Preis Sie bindet, ist eine Frage für Ihre Rechtsberatung. Dieser Leitfaden beantwortet sie nicht.
Protokollieren nutzt jedes Mal dieselben Felder im Vorfallprotokoll, damit sich Vorfälle vergleichen lassen. Der Eintrag zum Beispielvorfall:
| Feld | Beispieleintrag |
|---|---|
| Was gesagt wurde | „Der Geräteschutz kostet 12 € im Monat.“ |
| Von wann bis wann | Montag, 09:00 Uhr, bis Mittwoch, 14:00 Uhr (53 Stunden) |
| Betroffene Anrufer | 46 von 120 Anrufen, in denen der Geräteschutz vorkam, bei 900 Anrufen im Risikofenster |
| Einfallstor | Veraltete Quelle |
| Korrektur | Die Quelle des Agenten wurde am Mittwoch um 14:00 Uhr aktualisiert. Preisänderungen fließen jetzt mit demselben Gültigkeitsbeginn in die Quelle des Agenten ein. |
| Neuer Test | Der Preis ändert sich zu einem festgelegten Gültigkeitsbeginn, und der Agent muss ab diesem Moment den neuen Preis nennen. |
Was Sie messen sollten
Drei Zahlen zeigen, ob Antwortschleuse und Reaktionsplan funktionieren:
- Quote falscher Antworten in geprüften Anrufen: geprüfte Anrufe mit falscher Auskunft, geteilt durch geprüfte Anrufe. Sie bildet den Teil „falsche Auskunft“ der Quote falscher Aktionen aus unserem Artikel zu den Erfolgskriterien für Voice-KI-Piloten ab, damit beide Werte vergleichbar bleiben. Ordnen Sie jede falsche Antwort ihrem Einfallstor zu. Die Zählung nach Einfallstor zeigt, wo Sie als Nächstes ansetzen.
- Länge des Risikofensters: pro Vorfall, in Stunden. Im Beispiel 53 Stunden: 49 Stunden 30 Minuten bis zur ersten Beschwerde, dann 3 Stunden 30 Minuten bis zur Korrektur.
- Zeit vom ersten Signal bis zum Eindämmen: von der ersten Beschwerde, dem ersten Befund aus der Anrufprüfung oder der ersten Warnmeldung einer Prüfung bis zum Eindämmen. Im Beispiel 3 Stunden 30 Minuten.
Keine Antwortschleuse kann eine Quote falscher Antworten von null garantieren, und ein ruhiger Monat beweist nicht, dass sie funktioniert. Wie der Artikel zum Piloten erklärt: Keine falsche Aktion in 300 geprüften Anrufen ist immer noch mit einer wahren Quote von bis zu rund 1 % vereinbar.
Eine Zufallsstichprobe kann ein eng begrenztes Thema außerdem übersehen oder erst spät finden. Im Beispiel waren 46 der 900 Anrufe im Risikofenster betroffen, rund 5 von 100, alle zu einem einzigen Tarif. Eine tägliche Prüfung, die den in jedem Anruf genannten Preis mit der aktuellen Preisliste vergleicht, erfasst jeden Anruf zu diesem Thema, nicht nur eine Stichprobe.
Wo DRING hilft
Leitplanken, Übergabe an Menschen, Gesprächsauswertung, Tests und Monitoring gehören bei DRING in jedem Paket zur gemeinsamen Grundausstattung. In diesem Leitfaden ist der Befugnisrahmen eine Leitplanke. Die Rückfallebene stützt sich auf die Übergabe an Menschen, die tägliche Prüfung auf die Gesprächsauswertung.
Die Gesprächsauswertung kann zusätzliche Felder zurückgeben, die Sie selbst definieren, über API, CRM, Dashboard und Berichte. Eines davon kann der in jedem Anruf genannte Preis sein. Das macht eine tägliche Prüfung gegen die aktuelle Preisliste möglich. Dashboard und Berichte zeigt unsere Seite zur Anrufanalyse.
Jeder Agent von DRING durchläuft vor dem ersten echten Anruf 1.000 bis 10.000 simulierte Gespräche, eigens für Ihr Unternehmen erstellt. Die Simulationen testen die Antwortschleuse vor dem Start. Den Reaktionsplan bei Live-Anrufen ersetzen sie nicht.
Steht auf Ihrer Hotline eine Preis- oder Richtlinienänderung an, fordern Sie einen Rückruf an. Halten Sie Ihre Preisliste und das Dokument bereit, aus dem Ihr Agent antwortet. Unser Team kann beides mit Ihnen anhand der fünf Einfallstore prüfen.
Bereit für die nächste Preisänderung
Hinterlassen Sie Ihre Nummer, und DRING ruft Sie in zwei Minuten an. Sagen Sie DRING, nach welchen Preisen oder Richtlinien Ihre Anrufer fragen. Unser Team meldet sich anschließend und prüft die freigegebenen Quellen des Agenten mit Ihnen.