30 Fragen, die Sie vor dem Kauf von Voice-KI stellen sollten
Jede Demo klingt gut. Lassen Sie jeden Anbieter dieselben Anrufe aus Ihrem eigenen Betrieb bearbeiten und bewerten Sie die Antworten mit denselben Gewichten. Dann werden die echten Unterschiede sichtbar.
Die kurze Antwort: derselbe Test für jeden Anbieter
Demos von Voice-KI lassen sich nicht vergleichen. Jeder Anbieter wählt sein eigenes Skript, seine eigenen sauberen Testdaten und einen Anrufer, der sich vorbildlich verhält. Oft gewinnt die glatteste Demo, auch wenn sie nicht zu Ihren Anrufen passt.
Die Lösung hat drei Teile. Schicken Sie jedem Anbieter dieselben Fragen schriftlich, lassen Sie jeden Anbieter dasselbe Testszenario aus Ihrem eigenen Betrieb durchlaufen, und bewerten Sie die Antworten mit Gewichten, die vor der ersten Demo feststehen. Diese Vorlage liefert Ihnen alle drei. Sie setzt voraus, dass Sie sich für den Kauf entschieden haben. Falls nicht, beginnen Sie mit unserer Entscheidungshilfe zu Make or Buy.
So bewerten Sie jede Antwort
Schicken Sie die 30 Fragen vor dem zweiten Termin und verlangen Sie zu jeder Antwort einen Beleg: ein Dokument, einen Beispieldatensatz, eine Vertragsklausel oder einen Live-Durchlauf. Lassen Sie zwei Personen getrennt bewerten, eine aus dem Betrieb und eine aus Einkauf oder IT. Besprechen Sie jede Frage, bei der beide um zwei Punkte oder mehr auseinanderliegen.
| Punkte | Was der Anbieter geliefert hat |
|---|---|
| 0 | Keine Antwort oder ein „Das können wir“, hinter dem nichts steht |
| 1 | Eine klare mündliche Antwort, aber noch kein Beleg |
| 2 | Eine schriftliche Antwort, ein Dokument oder eine teilweise Vorführung |
| 3 | Im gemeinsamen Testszenario gezeigt oder im Angebot beziehungsweise Vertrag festgeschrieben |
1. Leistungsumfang und Preis
Zwei Angebote sind nur vergleichbar, wenn sie dieselbe Arbeit abdecken. Mit diesen Fragen wird aus einem Preis ein klar umrissener Leistungsumfang.
| # | Frage | Was für eine 3 nötig ist |
|---|---|---|
| 1 | Welche Anrufe, Anliegen, Sprachen und Kanäle deckt das Angebot ab, und welche sind ausgeschlossen? | Eine schriftliche Liste im Angebot, was enthalten ist und was nicht, passend zu Ihrem tatsächlichen Anrufmix. |
| 2 | Was ist die Abrechnungseinheit, und wie wird sie gemessen und gerundet? | Eine benannte Einheit, ihre Rundungsregel und eine Beispielposition auf der Rechnung für einen typischen Anruf. |
| 3 | Welche Kosten sind im Angebot nicht enthalten? | Telefonie, Rufnummern, Modellnutzung, Integrationen und Änderungen nach dem Start, jeweils mit Preis oder Satz benannt. |
| 4 | Was passiert, wenn das Volumen über oder unter der Planung liegt? | Schriftliche Regeln für Mehrverbrauch und nicht genutztes Guthaben, mit Beispielrechnungen für 50 % und 150 % Ihres erwarteten Volumens. |
| 5 | Wer baut und pflegt den Agenten, und welche Änderungen nach dem Start sind enthalten? | Eine benannte zuständige Person für Prompts, Tests und Integrationen und eine schriftliche Regel, welche Änderungen enthalten sind und welche gesondert angeboten werden. |
2. Datenhoheit, Datenschutz und Ausstieg
Jeder Anruf erzeugt Aufzeichnungen, Transkripte und Datenfelder zu Ihren Kunden. Klären Sie vor dem Piloten, wer darüber verfügt, nicht erst bei der Vertragsverlängerung. Verlangen Sie Kontrollen, die nachweislich getestet und nicht nur zugesagt sind. Die Seite zu den Sicherheitsstandards von DRING zeigt eine Möglichkeit, sie darzustellen.
| # | Frage | Was für eine 3 nötig ist |
|---|---|---|
| 6 | Wem gehören Aufzeichnungen, Transkripte, Zusammenfassungen und extrahierte Felder? | Der Vertrag legt fest, dass sie Ihnen gehören, und beschränkt die Nutzung durch den Anbieter auf die Leistungserbringung für Sie. |
| 7 | Werden unsere Daten genutzt, um Modelle zu trainieren, die auch anderen Kunden dienen? | Ein schriftliches Nein oder ein Opt-out im Vertrag, das auch für die Modellanbieter gilt, mit denen der Anbieter arbeitet. |
| 8 | Wo werden die Daten verarbeitet und gespeichert, und welche Unterauftragsverarbeiter haben Zugriff darauf? | Eine benannte Region und eine aktuelle Liste der Unterauftragsverarbeiter mit der Rolle jedes einzelnen Dienstleisters. |
| 9 | Können wir die Aufbewahrung je Datenart festlegen und sehen, wer auf einen Anrufdatensatz zugegriffen hat? | Getrennte Aufbewahrungsfristen für Aufzeichnungen, Transkripte und Felder sowie ein Zugriffsprotokoll, das Sie anfordern können. |
| 10 | Wenn wir kündigen: Was nehmen wir mit, in welchem Format und wie schnell? | Eine schriftliche Ausstiegsliste: welche Daten Sie erhalten, in welchem Format, bis wann, und was beim Anbieter bleibt. |
3. Systemanbindung und Rückschreiben
Ein Logo auf einer Integrationsseite sagt, dass eine Anbindung möglich ist. Es sagt nicht, welche Felder der Agent in Ihrer Edition lesen oder ändern kann. Verlangen Sie eine Feldzuordnung und prüfen Sie sie dann im Szenario.
| # | Frage | Was für eine 3 nötig ist |
|---|---|---|
| 11 | Aus welchen unserer Systeme liest der Agent, und in welche schreibt er? | Eine Zuordnung auf Feldebene für jedes System (Objekte, Felder, Lesen oder Schreiben), abgeglichen mit Ihrer Edition und Ihren Berechtigungen. |
| 12 | Was genau kommt nach einem Anruf in unserem CRM oder Helpdesk an, und können wir eigene Felder ergänzen? | Ein Beispieldatensatz aus Ihrem Szenario mit Ergebnis, Zusammenfassung, nächstem Schritt und Ihren eigenen Feldern. |
| 13 | Was passiert, wenn ein Schreibvorgang scheitert oder ein System während des Anrufs ausfällt? | Der Anrufer erfährt ehrlich, wie es weitergeht, der Schreibvorgang wird ohne Dubletten wiederholt, und ein Mensch wird benachrichtigt. |
| 14 | Wie können unsere eigenen Systeme einen Anruf starten und sein Ergebnis abrufen? | Dokumentierte API-Dienste, um einen Anruf zu starten, seinen Status zu prüfen und sein Ergebnis abzurufen, dazu Webhooks und eine Testumgebung. |
| 15 | Welche Aktionen darf der Agent ausführen, ohne dass ein Mensch sie bestätigt? | Eine schriftliche Berechtigungsliste je Aktion, und jeder Schreibzugriff wird erst nach Ihrer Freigabe aktiviert. |
4. Übergabe an Menschen und Kontrolle
Die Übergabe ist Teil des Designs, kein Fehler. Prüfen Sie, ob die übernehmende Person in Ihrem Team weitermachen kann, ohne dass der Anrufer von vorn beginnt, und ob Ihr Team den Agenten stoppen kann.
| # | Frage | Was für eine 3 nötig ist |
|---|---|---|
| 16 | Wann übergibt der Agent, und wer legt die Regeln fest? | Schriftlich festgelegte Auslöser, die Sie ändern können, darunter der Wunsch des Anrufers nach einem Menschen, eine gescheiterte Identitätsprüfung und Anfragen außerhalb der Richtlinie. |
| 17 | Was sieht die übernehmende Person in unserem Team im Moment der Übergabe? | Identität des Anrufers, Grund des Anrufs, erledigte Schritte und die offene Frage, sichtbar, bevor die übernehmende Person das erste Wort sagt. |
| 18 | Was passiert, wenn niemand in unserem Team den Anruf annehmen kann? | Eine Rückrufaufgabe oder ein Ticket mit zuständiger Person und Uhrzeit, automatisch angelegt und im Szenario gezeigt. |
| 19 | Können wir den Agenten selbst pausieren? | Ein getesteter Schritt, der die Automatisierung stoppt und Anrufe an Ihr Team leitet, verfügbar für die Personen, die Sie dafür benennen. |
| 20 | Wie werden Übergaben im Nachhinein ausgewertet? | Übergabequote und Übergabegrund je Anliegen, dazu die Angabe, ob die übernehmende Person den Vorgang gelöst hat. |
5. Qualitätstests und Freigabe
Eine gute erste Demo sagt wenig über die hundertste Änderung. Fragen Sie, wie der Anbieter belegt, dass ein Agent bereit ist und dass eine Änderung nichts anderes beeinträchtigt hat. DRING beschreibt seine Testpipeline Schritt für Schritt. Bitten Sie jeden Anbieter, Ihnen seine eigene zu erklären.
| # | Frage | Was für eine 3 nötig ist |
|---|---|---|
| 21 | Was wird vor dem ersten echten Anruf getestet, und auf welcher Grundlage? | Ein Testset aus Ihren Anrufen, Dokumenten und Richtlinien, dessen Umfang, Bestehenskriterium und Ergebnisse Ihnen offengelegt werden. |
| 22 | Wer bewertet Testgespräche, und was passiert, wenn sich die Bewertenden nicht einig sind? | Schriftliche Kriterien, mehr als eine bewertende Person und jemand, der jede abweichende Bewertung prüft. |
| 23 | Wie wird eine Änderung getestet und freigegeben, und lässt sie sich rückgängig machen? | Jede Änderung durchläuft erneut das vollständige Testset, geht nur mit Ihrer Freigabe live, und die vorherige Version lässt sich wiederherstellen. |
| 24 | Wie wird die Qualität nach dem Start im Produktivbetrieb überwacht? | Ein festgelegter Anteil der Live-Anrufe wird auf Ergebnis und Richtlinientreue bewertet und in festem Rhythmus mit Ihnen besprochen. |
| 25 | Was passiert, wenn der Anbieter das Modell oder den Sprachdienst wechselt, auf dem der Agent läuft? | Sie werden vorab informiert, und der Agent durchläuft Ihr Testset in der neuen Konfiguration, bevor er einen Live-Anruf annimmt. |
6. Telefonie, Service-Level und Ausfälle
Eine Demo im Browser überspringt den Netzbetreiber, die Tonqualität am Telefon und die Telefonanlage, die Sie bereits betreiben. Behandeln Sie die Telefonieebene als eigenen Teil des Vergleichs.
| # | Frage | Was für eine 3 nötig ist |
|---|---|---|
| 26 | Können wir unsere Rufnummern und unsere bestehende Telefonanlage behalten? | Ein benannter Anbindungsweg (Rufumleitung, SIP oder Rufnummernportierung), getestet bei Ihrem Netzbetreiber, mit Ihrem heutigen Ablauf als Rückfallebene. |
| 27 | Wie viele Anrufe können gleichzeitig laufen, und was hört der nächste Anrufer? | Eine angegebene Obergrenze für gleichzeitige Anrufe und ein vorgeführter Überlaufweg: Warteschlange, Rückruf oder Übergabe an Ihr Team. |
| 28 | Wie schnell antwortet der Agent auf einer Telefonleitung, und wie wurde das gemessen? | Ein Ende-zu-Ende-Messwert aus echten Telefonanrufen in Ihrer Sprache, mit Angabe der Methode. |
| 29 | Was passiert, wenn während eines Anrufs eine Komponente ausfällt? | Ein getesteter Failover-Pfad, der den Anruf kontrolliert beendet oder übergibt und den Anrufer nie in einer stummen Leitung zurücklässt. |
| 30 | Welche Service-Level stehen im Vertrag, und was passiert, wenn sie verfehlt werden? | Verfügbarkeit, Reaktionszeit des Supports und Fristen für Störungsmeldungen, schriftlich festgehalten, dazu die Abhilfe bei Verfehlung und eine benannte Ansprechperson. |
Ein Testszenario aus Ihren eigenen Anrufen erstellen
Die Fragen zeigen, was ein Anbieter sagt. Das Szenario zeigt, was der Agent tut. Beginnen Sie mit einer Stichprobe aktueller Anrufe, zum Beispiel den letzten 50, und wählen Sie das häufigste Anliegen sowie die Momente aus, die Probleme machen. Legen Sie Testdatensätze in einer Sandbox Ihres CRM oder Helpdesks an, mit denselben Feldern wie im Produktivsystem.
Schicken Sie allen Anbietern gleichzeitig die Eckdaten: Anliegen, Systeme und Testdatensätze. Die genauen Sätze des Anrufers behalten Sie für sich, damit kein Anbieter den Agenten auf ein Skript trimmen kann.
| Moment | Ablauf im Test | Bestanden, wenn |
|---|---|---|
| Routineanruf | Ihr häufigstes Anliegen, mit einem vorhandenen Testdatensatz | Die Antwort stimmt mit dem Datensatz überein, und das Ergebnis erscheint im Testsystem |
| Unterbrechung | Der Anrufer fällt dem Agenten mitten im Satz ins Wort und ändert sein Anliegen | Der Agent hält inne, nimmt das neue Anliegen auf und beginnt sein Skript nicht von vorn |
| Fehlender Datensatz | Der Anrufer nennt eine Bestell- oder Kundennummer, die es nicht gibt | Der Agent sagt das, fragt noch einmal nach und bietet dann einen nächsten Schritt an, ohne je einen Status zu erfinden |
| Verärgerter oder verwirrter Anrufer | Der Anrufer wiederholt sich, wird laut oder vermischt zwei Probleme | Der Agent erkennt das Problem an, behandelt ein Thema nach dem anderen und bietet die Übergabe an einen Menschen an, wenn Ihre Regel es vorsieht |
| Übergabe | Der Anrufer verlangt einen Menschen. Spielen Sie das einmal mit besetzter Testwarteschlange und einmal ohne verfügbare Person durch | Die übernehmende Person sieht den Grund, ohne nachfragen zu müssen. Ist niemand verfügbar, erscheint eine Rückrufaufgabe mit zuständiger Person |
| Rückschreiben prüfen | Öffnen Sie nach allen Anrufen das Testsystem | Jeder Anruf hat das richtige Ergebnis, die richtige Zusammenfassung und den richtigen nächsten Schritt, ohne Dubletten. Die gescheiterte Abfrage ist als gescheitert markiert |
Auf einer echten Telefonleitung durchführen
- Rufen Sie eine echte Nummer von einem Mobiltelefon aus an, nicht aus einem Browser-Tab, und lassen Sie jemanden aus Ihrem Team den Anrufer spielen.
- Zeichnen Sie die Sitzung mit Einwilligung auf und bewerten Sie anhand der Aufzeichnung, nicht aus dem Gedächtnis.
- Zählen Sie, wie oft der Anrufer etwas wiederholen musste, und messen Sie die Pause vor jeder Antwort des Agenten.
- Bitten Sie nach dem ersten Durchlauf um eine Änderung, etwa eine neue Richtlinienregel, und spielen Sie das Szenario erneut durch.
Wie der Anbieter genau diese eine Änderung testet und freigibt, beantwortet Frage 23 besser als jede Folie. Das Szenario liefert außerdem die Belege für eine 3 bei den Fragen 12, 17, 18 und 28.
Die Punkte mit denselben Gewichten zusammenrechnen
Legen Sie die Gewichte vor der ersten Demo fest, damit niemand sie hinterher seinem Favoriten anpasst. Die Aufteilung unten ist ein Beispiel. Verschieben Sie Punkte in die Bereiche, in denen ein Fehler Ihren Betrieb am stärksten treffen würde.
| Bereich | Beispielgewicht |
|---|---|
| 1. Leistungsumfang und Preis | 15 |
| 2. Datenhoheit, Datenschutz und Ausstieg | 15 |
| 3. Systemanbindung und Rückschreiben | 20 |
| 4. Übergabe an Menschen und Kontrolle | 15 |
| 5. Qualitätstests und Freigabe | 20 |
| 6. Telefonie, Service-Level und Ausfälle | 15 |
| Gesamt | 100 |
Bereichswert = (Punkte im Bereich / 15) × Gewicht des Bereichs. Das Maximum je Bereich ist 15: fünf Fragen mit je 3 Punkten. Die sechs Bereichswerte ergeben zusammen einen Gesamtwert von höchstens 100.
Markieren Sie vor der Bewertung drei bis fünf Pflichtfragen, etwa 6, 13 und 17. Ein Anbieter, der bei einer Pflichtfrage 0 oder 1 Punkt erhält, scheidet aus, unabhängig von seinem Gesamtwert.
Ein Rechenbeispiel
Die Punkte unten sind erfunden und sollen nur die Rechnung zeigen. Anbieter A hatte die glatteste Demo. Anbieter B klang schlichter, hat aber Rückschreiben und Testprozess im Szenario gezeigt.
| Bereich (Gewicht) | Punkte Anbieter A | Wert Anbieter A | Punkte Anbieter B | Wert Anbieter B |
|---|---|---|---|---|
| Umfang und Preis (15) | 12 | 12,0 | 10 | 10,0 |
| Daten und Ausstieg (15) | 9 | 9,0 | 12 | 12,0 |
| Anbindungen (20) | 6 | 8,0 | 12 | 16,0 |
| Übergabe (15) | 8 | 8,0 | 11 | 11,0 |
| Qualität (20) | 7 | 9,3 | 12 | 16,0 |
| Telefonie (15) | 12 | 12,0 | 10 | 10,0 |
| Gesamt | 54 | 58,3 | 67 | 75,0 |
Anbieter A hat außerdem bei Frage 13, einer Pflichtfrage, nur 1 Punkt erhalten und scheidet damit unabhängig vom Gesamtwert aus. Seine Demo war stark im Gespräch und schwach bei allem, was danach kommt: beim Datensatz, beim Verhalten im Fehlerfall und beim nächsten Release.
Warnsignale in den Antworten
- „Wir binden alles an“, aber keine Zuordnung auf Feldebene für Ihre Systeme.
- Keine Antwort auf die Frage „Was hört der Anrufer, wenn Ihr System ausfällt?“
- Übergabe heißt, den Anruf an eine Nummer weiterzuleiten, ohne Kontext für Ihr Team.
- Testergebnisse als eine einzige Gesamtprozentzahl, ohne Methode und Stichprobengröße.
- Änderungen oder Modell-Updates gehen ohne Ihre Freigabe oder Vorabinformation live.
- Ausstiegsbedingungen, nach denen Daten „bereitgestellt werden können“, ohne Format und Frist.
Ein einzelnes Warnsignal ist ein Grund, schriftlich nachzufragen. Mehrere in einem Bereich zeigen Ihnen, wo die eigentliche Arbeit an Ihrem Team hängen bliebe.
Wie DRING diese Fragen beantwortet
Wenden Sie dieselbe Vorlage auf DRING an. Einige Antworten können wir schon jetzt schriftlich geben:
- Frage 21: Jeder Agent von DRING durchläuft vor dem ersten echten Anruf 1.000 bis 10.000 simulierte Gespräche, eigens für Ihr Unternehmen erstellt. Sie entstehen aus Ihrem Workflow, Ihren Dokumenten und Ihren Gesprächsaufzeichnungen, nicht aus einem allgemeinen Benchmark-Set.
- Fragen 11 und 12: HubSpot ist die dokumentierte Referenzimplementierung für die Auswahl der anzurufenden Kontakte, die Durchführung des Anrufs und das Rückschreiben des Ergebnisses. Connect bindet Salesforce, Freshdesk und andere verbreitete CRM- und Helpdesk-Systeme zu denselben Bedingungen an. Die genauen Objekte, Berechtigungen, eigenen Felder und Aktionen werden im Onboarding bestätigt. Zusätzliche Analysefelder lassen sich definieren und kommen auf demselben Weg über API, CRM, Dashboard und Berichte zurück.
- Frage 14: Dienste für Anrufstart, Anrufstatus und Ergebnisabfrage sowie Lifecycle- und Ergebnis-Webhooks sind für den vereinbarten Workflow Standard.
- Fragen 1 und 27: DRING empfiehlt ein Paket nach erwarteter Nutzung, Kapazität für gleichzeitige Anrufe, Zahl der Agententypen, Kanälen, Bedarf an Live-Übergabe, Support-Level und Tiefe der Integration. Bei den Sprachen gilt: 62 Sprachen verfügbar, heute 10 live. Ihre Sprache wird vor dem Start geprüft.
Wo DRING anfangs niedriger abschneiden kann: Ein Nischen-CRM oder ein stark angepasstes CRM wird gesondert geprüft, bevor eine Entwicklung außerhalb des Standards angeboten wird. Bis diese Prüfung abgeschlossen ist, kann Frage 11 bei 2 bleiben. Eine Sprache außerhalb der Live-Sprachen sollte für Ihre Hotline als nicht erprobt gelten, bis Ihr Szenario in dieser Sprache gelaufen ist.
Den Bewertungsbogen nach der Unterschrift behalten
Die Antworten, die eine 3 erhalten haben, werden zu Abnahmekriterien für den Piloten. Das Szenario mit seinen sechs Momenten wird zum ersten Regressionstest. So wird jede spätere Änderung an den Anrufen geprüft, die über den Kauf entschieden haben.
DRING mit Ihrem eigenen Test prüfen
Fordern Sie einen Rückruf an, und schildern Sie uns Ihren Workflow sowie die schwierigen Anrufe, die Sie testen würden. Wir helfen Ihnen, daraus ein gemeinsames Bewertungsszenario zu machen.