Welches Modell versteht Ihre Anrufer?

Testen Sie mit Ihren eigenen Anrufen

An einem Dienstagabend in diesem Sommer sagte ein Anrufer dem KI-Agenten von [Firma], einem Paketdienst für Onlineshops: „Guten Abend, es geht um das Paket PX 4827 3315. Bitte nicht beim Nachbarn nebenan abgeben. Ich bin bis Donnerstag unterwegs und hole es selbst ab.“ Im Transkript war jedes Wort richtig, nur das „nicht“ fehlte. Ohne dieses Wort verlangte der Satz das Gegenteil, und das Paket wurde beim Nachbarn abgegeben. Am Donnerstag meldete sich derselbe Anrufer noch einmal und war verärgert.

Irene, die bei [Firma] die Kundenhotline leitet, las das Transkript am nächsten Morgen. Ein Wort fehlte, und zwar genau das, um das es im Anruf ging. Den ganzen Sommer über hatte der Agent in einer Pilotphase die Abendanrufe angenommen, mit dem Speech-to-Text-Modell, das der Anbieter bei der Einrichtung mitgeliefert hatte. In diesem Beitrag heißt es Modell A. Auf der Website des Anbieters stand für Modell A eine hohe Erkennungsquote, gemessen an den insgesamt richtig erkannten Wörtern. [Firma], Irene, die Pilotphase, die Anrufe, die beiden Modelle und alle Zahlen in diesem Beitrag sind ein Beispiel und keine echten Daten.

Eine solche Quote hätte Irene nicht gewarnt. Sie zählt jedes Wort gleich, dabei kommt es in einem Telefonat auf wenige an: die Sendungsnummer, den Nachnamen, den Tag, die Adresse und jedes „nicht“, das einen Wunsch ins Gegenteil verkehrt. Das Modell, das Ihre Anrufer versteht, erkennt genau diese Wörter richtig. Wenn Sie ein Speech-to-Text-Modell für Ihre Telefonate auswählen, also eine Spracherkennung, testen Sie die Kandidaten an Ihren eigenen aufgezeichneten Anrufen. Markieren Sie in jeder Aufnahme die entscheidenden Wörter, zählen Sie, wie viele davon jedes Modell exakt richtig erkennt, und sehen Sie nach, was aus jedem Fehler wird. Entscheiden Sie nach den Schwächen, die eine Wortliste später nicht ausgleicht, und lassen Sie den Agenten bei jedem Wunsch, der etwas ändert, eine Rückbestätigung einholen.

Kann man der Erkennungsquote trauen?

Auf der Website des Anbieters steht für ein Modell eine einzige Zahl: wie viele von 100 Wörtern es richtig erkannt hat. Manche Anbieter zählen stattdessen die Fehler und nennen die Wortfehlerrate. So oder so ist es ein Durchschnitt über alle Wörter, an denen das Modell getestet wurde, und ein „äh“ zählt deshalb genauso viel wie die dritte Ziffer einer Sendungsnummer.

So gerechnet sieht das Transkript vom Dienstag ausgezeichnet aus. Das Modell hat die Sendungsnummer, den Nachbarn, den Tag und alles andere aufgeschrieben, was der Anrufer sagte, und nur das „nicht“ verloren, das Wort, das den Wunsch ins Gegenteil verkehrte.

Außerdem stammt die Quote aus fremden Aufnahmen. Ihre Anrufer sitzen im Auto, telefonieren auf Lautsprecher oder stehen auf der Straße, und ihre Stimmen erreichen das Modell über eine Telefonleitung. Eine Sendungsnummer lesen sie schnell von einer Nachricht auf ihrem Handy ab. Bevor Sie sich auf die Zahl des Anbieters verlassen, fragen Sie nach, wie ähnlich seine Aufnahmen solchen Anrufen sind.

• Wessen Stimmen wurden aufgenommen, in welcher Sprache und mit welcher regionalen Färbung?
• Haben die Sprecher einen Text abgelesen oder frei gesprochen?
• Lief der Ton über eine Telefonleitung oder über ein Studiomikrofon?
• Gab es Geräusche um die Sprecher herum, oder war der Raum ruhig?

Welche Wörter sind entscheidend?

Irene suchte 50 aufgezeichnete Anrufe aus einer gewöhnlichen Woche der Pilotphase heraus, und zwar aus der Woche mit dem Anruf vom Dienstag, der damit selbst dabei ist. Die Aufnahmen klingen nach ihren Abenden: Anrufer im Auto, auf Lautsprecher und draußen, ältere Anrufer, Anrufer mit Akzent und einige, die einen Straßennamen in einer anderen Sprache nannten. Nehmen Sie nur Aufnahmen, die Ihr Team dafür verwenden darf, und gehen Sie mit den Transkripten so sorgfältig um wie mit den Aufnahmen.

Die Transkripte von Modell A zu diesen Anrufen lagen aus der Pilotphase schon vor. Irene bat den Anbieter, Modell B, den zweiten Kandidaten, über dieselben Aufnahmen laufen zu lassen und beide Modelle an diesen Anrufen nach den insgesamt richtig erkannten Wörtern zu bewerten. Dann hörten zwei Servicemitarbeiter, die solche Anrufe täglich beantworten, jede Aufnahme einmal an und schrieben die entscheidenden Wörter so auf, wie der Anrufer sie gesagt hatte. Die Transkripte beider Modelle prüften sie nur an diesen Wörtern.

Die Prüfung war streng. Eine Sendungsnummer galt nur dann als richtig, wenn jeder Buchstabe und jede Ziffer stimmte, denn eine fast richtige Nummer findet kein Paket oder das eines anderen. Ein Nachname galt, wenn er zum Namen auf dem Paket passte, und ein „nicht“, wenn das Transkript es behielt.

Ein Anruf kann Sendungsnummer, Nachname und Tag zugleich enthalten. Die Summe von 150 zählt deshalb Wörter, keine Anrufe.

Welches Modell lag öfter richtig?

Bei der Erkennungsquote des Anbieters für diese 50 Anrufe lag Modell A vorn, mit 94 richtig erkannten Wörtern von 100 gegenüber 92 bei Modell B. Bei der Prüfung der beiden Servicemitarbeiter lag dagegen Modell B vorn.

Modell B erkannte 131 der 150 entscheidenden Wörter richtig, Modell A 112. Am größten war der Abstand bei den Sendungsnummern, 40 von 44 gegenüber 30. Wenn Anrufer die Nummer schnell vorlasen, ließ Modell A eine Ziffer aus oder vertauschte zwei.

Modell A verlor außerdem 3 der 18 „nicht“, und eines davon war das „nicht“ des Anrufers vom Dienstag. Modell B behielt in diesen 50 Anrufen alle 18. Nachnamen fielen beiden Modellen schwer. Modell A erkannte 20 von 36 richtig, Modell B 23. Deshalb sollten Sie sich bei einem Nachnamen auf keines der beiden Transkripte allein verlassen.

Modell B lag bei der Erkennungsquote vor allem wegen kleiner Wörter und Füllwörter zurück, wie „äh“, „also“ und „der“, nach denen sich niemand richtet. Irene wählte Modell B für die Kundenhotline. Liegen zwei Modelle in Ihrem eigenen Test bei den entscheidenden Wörtern dicht beieinander, nehmen Sie weitere Anrufe dazu, bevor Sie entscheiden.

Was passiert, wenn es sich verhört?

Ein Fehler kann auf drei Wegen enden. Ein Abgleich mit Ihren Daten fängt ihn ab, der Agent bemerkt ihn bei der Rückbestätigung, oder er geht ungehindert durch.

Modell A lag bei 38 der 150 entscheidenden Wörter daneben. Die 14 falsch erkannten Sendungsnummern passten zu keinem Paket, also fragte der Agent noch einmal nach. Die 16 falsch erkannten Nachnamen passten nicht zum Namen auf dem Paket, und der Agent bat den Anrufer, ihn zu buchstabieren. Die übrigen 8 Fehler, nämlich 4 Adressen, 1 Tag und 3 „nicht“, fing nichts ab. In der Pilotphase holte der Agent keine Rückbestätigung ein, deshalb gingen diese 8 so durch, wie das Modell sie gehört hatte.

Modell B lag bei 19 der 150 daneben. Bei seinen Transkripten hätte der Abgleich mit den Daten 4 falsche Sendungsnummern und 13 falsche Nachnamen abgefangen. Seine 2 falschen Adressen wären ohne Rückbestätigung durchgegangen.

Erkannte das Modell die Sendungsnummer richtig, fand der Agent das Paket gleich beim ersten Versuch. In diesen Anrufen passte keine verhörte Nummer zum Paket eines anderen, aber das könnte vorkommen, und deshalb prüft der Agent zusätzlich den Nachnamen.

Ihre Daten können nicht prüfen, ob eine neue Adresse oder ein neuer Tag stimmt, und auch nicht, wo der Anrufer das Paket abgegeben haben möchte. Deshalb holt der Agent bei jedem Wunsch, der etwas ändert, eine Rückbestätigung ein. Er sagt mit eigenen Worten, was er gleich tun wird, und fragt dann, ob das stimmt. So hört der Anrufer, was tatsächlich geschehen soll, und genau das muss er prüfen. Bei einem „nicht“ ist die Rückbestätigung die einzige Kontrolle, denn in keinem Datensatz steht, ob der Anrufer „nicht“ gesagt hat.

Hätte der Agent den Wunsch per Rückbestätigung geprüft, wäre der Anruf vom Dienstag mit demselben Transkript von Modell A so verlaufen.

Anrufer: „Bitte nicht beim Nachbarn nebenan abgeben. Ich bin bis Donnerstag unterwegs und hole es selbst ab.“

Agent: „Dann geben wir Ihr Paket beim Nachbarn ab. Stimmt das?“

Anrufer: „Nein, bitte nicht. Ich hole es selbst ab, wenn ich am Donnerstag zurück bin.“

Agent: „Das tut mir leid. Dann bleibt Ihr Paket im Depot, bis Sie es am Donnerstag abholen. Stimmt das so?“

Anrufer: „Ja, genau, danke.“

So wird das verlorene „nicht“ von Modell A schon im selben Gespräch korrigiert und führt nicht zu einem zweiten, verärgerten Anruf am Donnerstag. Der Agent entschuldigt sich einmal und nennt gleich, was stattdessen geschieht, sodass der Anrufer auch den neuen Plan prüft. Eine Rückbestätigung fängt nicht jeden Fehler ab. Diesen hier hätte sie abgefangen, und das Paket vom Dienstag wäre im Depot geblieben.

Was kann eine Wortliste beheben?

Nach der Auswahl können Sie dem Modell noch eine Wortliste mitgeben. Für [Firma] wären das die Straßen- und Ortsnamen im Liefergebiet, das Format der Sendungsnummer mit zwei Buchstaben und acht Ziffern und die Namen der eigenen Services. Anbieter nennen so eine Liste „Custom Vocabulary“ oder „Keywords“. Sie hilft jedem Modell bei Wörtern, die es noch nie gehört hat.

Irene ergänzte die Straßen und Orte im Liefergebiet von [Firma] und ließ dieselben 50 Anrufe noch einmal durch Modell B laufen. Im zweiten Durchlauf erkannte es alle 22 Adressen richtig.

Vergleichen Sie die Modelle deshalb dort, wo eine Wortliste nicht hilft. Keine Liste bringt einem Modell bei, ein „nicht“ zu behalten oder die Sprache Ihrer Anrufer so zu verstehen, wie sie wirklich gesprochen wird, samt regionaler Färbung, Akzenten und den Stimmen älterer Anrufer. Auch mit Liste bleibt die Telefonleitung verrauscht, wenn jemand aus dem Auto, über Lautsprecher oder von der Straße anruft. Mit dem Modell legen Sie außerdem fest, ob es schon mitschreibt, während der Anrufer noch spricht, oder erst, wenn er aufhört. Ein Modell, das wartet, macht jede Antwort langsamer. Unser Beitrag darüber, warum Ihre KI Anrufer warten lässt, widmet sich dieser Pause.

Auch Nachnamen bleiben schwierig. Keine Liste enthält die Nachnamen aller Anrufer, deshalb gleicht der Agent weiter mit dem Namen auf dem Paket ab.

Wie es nach dem Modell mit dem Transkript weitergeht, vom Bereinigen der Zahlen und Datumsangaben bis zur Frage, was der Anrufer eigentlich will, steht in unserem Beitrag dazu, wie Voice-KI korrigiert, was sie falsch versteht.

Nimmt Ihre Kundenhotline Anrufe in mehreren Sprachen entgegen, wiederholen Sie den Test für jede davon. Das Modell, das Ihre deutschsprachigen Anrufer am besten versteht, muss bei türkischsprachigen Anrufern nicht ebenfalls vorn liegen.

Wo kommt DRING ins Spiel?

DRING bindet einen Agenten nicht an ein einziges Speech-to-Text-Modell. Im Speech Core von DRING werden die Modelle für Spracherkennung, Sprachverständnis und Stimme je Agent und je Sprache gewählt, und ein Workflow kann ohne Plattformwechsel auf ein anderes Modell umgeleitet werden. Deutschsprachige und türkischsprachige Anrufer können von verschiedenen Modellen verstanden werden. Der Anruf wird in Echtzeit transkribiert, dann korrigiert und normalisiert, bevor der Agent damit arbeitet.

In der Agent Factory, mit der DRING Agenten baut, testet und verbessert, wird aus Ihren Anrufen und Workflows ein einsatzfähiger Agent, und aus schwierigen Gesprächen werden Tests. Ein Anruf wie der vom Dienstag kann einer davon werden. Ein stärkeres Speech-to-Text-Modell geht erst live, wenn es die Regressionssuite besteht, die der gesamte Stack durchläuft.