30 pytań, które warto zadać przed zakupem voice AI
Każde demo brzmi dobrze. Jeśli każdy dostawca zmierzy się z tymi samymi rozmowami z Państwa linii, a odpowiedzi zostaną ocenione według tych samych wag, prawdziwe różnice wyjdą na jaw.
Krótko mówiąc, każdy dostawca dostaje ten sam test
Prezentacji voice AI nie da się ze sobą porównać. Każdy dostawca wybiera własny skrypt, własne czyste dane testowe i rozmówcę, który zachowuje się wzorowo. Często wygrywa najbardziej dopracowane demo, nawet jeśli nie pasuje do Państwa rozmów.
Rozwiązanie składa się z trzech części. Każdy dostawca dostaje na piśmie te same pytania, przechodzi ten sam scenariusz testowy z Państwa linii, a odpowiedzi są oceniane według wag uzgodnionych przed pierwszą prezentacją. Ten szablon zawiera wszystkie trzy elementy. Zakłada, że decyzja o zakupie już zapadła. Jeśli nie, warto zacząć od naszego poradnika „budować czy kupić”.
Jak oceniać każdą odpowiedź
Listę 30 pytań warto wysłać przed drugim spotkaniem i przy każdej odpowiedzi poprosić o dowód: dokument, przykładowy rekord, zapis w umowie albo pokaz na żywo. Oceniać powinny osobno dwie osoby, jedna z działu operacji, druga z działu zakupów lub IT. Każde pytanie, przy którym ich oceny różnią się o dwa punkty lub więcej, trzeba wspólnie omówić.
| Ocena | Co przedstawił dostawca |
|---|---|
| 0 | Brak odpowiedzi albo „da się zrobić” bez żadnego potwierdzenia |
| 1 | Jasna odpowiedź ustna, ale jeszcze bez dowodu |
| 2 | Odpowiedź na piśmie, dokument lub częściowy pokaz |
| 3 | Pokazane we wspólnym scenariuszu testowym albo zapisane w ofercie lub umowie |
1. Zakres usługi i to, co obejmuje cena
Dwie oferty można porównać tylko wtedy, gdy obejmują ten sam zakres prac. Te pytania pokazują, jaki zakres kryje się za ceną.
| # | Pytanie | Co daje ocenę 3 |
|---|---|---|
| 1 | Które połączenia, intencje, języki i kanały obejmuje oferta, a które są z niej wyłączone? | Pisemna lista tego, co jest w zakresie, a co poza nim, zawarta w ofercie i zgodna z rzeczywistą strukturą Państwa połączeń. |
| 2 | Jaka jest jednostka rozliczeniowa i jak się ją mierzy oraz zaokrągla? | Jedna konkretna jednostka, zasada zaokrąglania i przykładowa pozycja na fakturze dla jednego typowego połączenia. |
| 3 | Jakie koszty nie są objęte ofertą? | Telefonia, numery, zużycie modeli, integracje i zmiany po uruchomieniu, każda pozycja z ceną lub stawką. |
| 4 | Co się dzieje, gdy wolumen jest wyższy lub niższy niż w planie? | Zasady rozliczania nadwyżki i niewykorzystanego salda na piśmie oraz przykładowe rachunki przy 50% i 150% spodziewanego wolumenu. |
| 5 | Kto buduje i utrzymuje agenta oraz które zmiany po uruchomieniu są wliczone w cenę? | Wskazana osoba odpowiedzialna za prompty, testy i integracje oraz pisemna zasada, które zmiany są w cenie, a które wyceniane osobno. |
2. Własność danych, prywatność i wyjście z umowy
Po każdej rozmowie zostają nagrania, transkrypcje i pola z danymi Państwa klientów. Kto o nich decyduje, trzeba ustalić przed pilotażem, a nie przy przedłużaniu umowy. Warto prosić o zabezpieczenia, które są testowane, a nie tylko deklarowane. Przykład, jak można je przedstawić, znajdą Państwo na stronie DRING o standardach bezpieczeństwa.
| # | Pytanie | Co daje ocenę 3 |
|---|---|---|
| 6 | Do kogo należą nagrania, transkrypcje, podsumowania i wyodrębnione pola? | Umowa stanowi, że do Państwa, i pozwala dostawcy wykorzystywać dane wyłącznie do świadczenia usługi na Państwa rzecz. |
| 7 | Czy nasze dane służą do trenowania modeli, które obsługują innych klientów? | Pisemne „nie” albo zapisana w umowie możliwość wyłączenia, obejmująca także firmy, których modeli używa dostawca. |
| 8 | Gdzie dane są przetwarzane i przechowywane oraz które dalsze podmioty przetwarzające mają do nich dostęp? | Wskazany region i aktualna lista dalszych podmiotów przetwarzających z rolą każdego z nich. |
| 9 | Czy możemy ustawić okres przechowywania dla każdego typu danych i sprawdzić, kto miał dostęp do zapisu rozmowy? | Osobne ustawienia przechowywania dla nagrań, transkrypcji i pól oraz rejestr dostępu, o który można poprosić. |
| 10 | Jeśli odejdziemy, co zabierzemy ze sobą, w jakim formacie i jak szybko? | Pisemna lista na wypadek wyjścia z umowy: dane, które Państwo otrzymają, ich format, termin i to, co zostaje u dostawcy. |
3. Połączenia z systemami i zapis wyniku
Logo na stronie z integracjami oznacza tylko, że połączenie jest możliwe. Nie mówi, które pola agent może odczytać lub zmienić w Państwa wersji systemu. Warto poprosić o mapę pól, a potem sprawdzić ją w scenariuszu.
| # | Pytanie | Co daje ocenę 3 |
|---|---|---|
| 11 | Z których naszych systemów agent będzie odczytywać dane i do których będzie je zapisywać? | Mapa pól dla każdego systemu (obiekty, pola, odczyt lub zapis), sprawdzona pod kątem Państwa wersji systemu i uprawnień. |
| 12 | Co dokładnie trafia do naszego CRM lub systemu zgłoszeń po rozmowie i czy możemy dodać własne pola? | Przykładowy rekord z Państwa scenariusza: wynik, podsumowanie, kolejny krok i własne pola. |
| 13 | Co się dzieje, gdy zapis się nie powiedzie albo system nie działa w trakcie rozmowy? | Rozmówca słyszy rzetelną informację o tym, co będzie dalej, zapis jest ponawiany bez duplikatów, a człowiek dostaje powiadomienie. |
| 14 | Jak nasze własne systemy mogą uruchomić połączenie i odczytać jego wynik? | Udokumentowane usługi do uruchomienia połączenia, sprawdzenia jego stanu i pobrania wyniku, a do tego webhooki i środowisko testowe. |
| 15 | Które działania agent może wykonać bez potwierdzenia przez człowieka? | Pisemna lista uprawnień dla każdego działania, przy czym każdy zapis jest włączany dopiero po Państwa akceptacji. |
4. Przekazanie rozmowy człowiekowi i kontrola
Przekazanie rozmowy to część projektu, a nie porażka. Warto sprawdzić, czy konsultant może przejąć rozmowę tak, żeby rozmówca nie musiał zaczynać od początku, i czy Państwa zespół może zatrzymać agenta.
| # | Pytanie | Co daje ocenę 3 |
|---|---|---|
| 16 | Kiedy agent przekazuje rozmowę i kto ustala zasady? | Spisane warunki przekazania, które mogą Państwo zmieniać, w tym prośba rozmówcy o człowieka, nieudana weryfikacja i prośby wykraczające poza zasady. |
| 17 | Co widzi nasz konsultant w chwili przełączenia? | Tożsamość rozmówcy, powód połączenia, wykonane kroki i otwarta kwestia, widoczne, zanim konsultant się odezwie. |
| 18 | Co się dzieje, gdy nikt z naszego zespołu nie może odebrać? | Zadanie oddzwonienia lub zgłoszenie z osobą odpowiedzialną i terminem, tworzone automatycznie i pokazane w scenariuszu. |
| 19 | Czy możemy sami wstrzymać agenta? | Jeden przetestowany krok, który zatrzymuje automatyzację i kieruje połączenia do Państwa zespołu, dostępny dla wyznaczonych przez Państwa osób. |
| 20 | Jak przekazania są potem raportowane? | Odsetek przekazań i ich powody dla każdej intencji oraz informacja, czy konsultant, który przejął rozmowę, rozwiązał sprawę. |
5. Testy jakości i wydania
Udane pierwsze demo niewiele mówi o setnej zmianie. Warto zapytać, jak dostawca udowadnia, że agent jest gotowy i że zmiana niczego nie zepsuła. DRING opisuje swój proces testowania krok po kroku. Niech każdy dostawca omówi swój w ten sam sposób.
| # | Pytanie | Co daje ocenę 3 |
|---|---|---|
| 21 | Co jest testowane przed pierwszą prawdziwą rozmową i na jakim materiale? | Zestaw testów zbudowany na podstawie Państwa rozmów, dokumentów i zasad, a jego wielkość, kryterium zaliczenia i wyniki są Państwu udostępniane. |
| 22 | Kto ocenia rozmowy testowe i co się dzieje, gdy oceniający się nie zgadzają? | Spisane kryteria, więcej niż jeden oceniający i człowiek, który sprawdza każdą rozbieżność. |
| 23 | Jak zmiana jest testowana i wdrażana oraz czy można ją wycofać? | Każda zmiana przechodzi ponownie cały zestaw testów, trafia na produkcję tylko za Państwa zgodą, a poprzednią wersję można przywrócić. |
| 24 | Jak monitorowana jest jakość po uruchomieniu? | Określony odsetek rozmów na żywo oceniany pod kątem wyniku i zgodności z zasadami oraz omawiany z Państwem według stałego harmonogramu. |
| 25 | Co się dzieje, gdy dostawca zmienia model lub dostawcę technologii mowy, na których działa agent? | Dowiadują się Państwo o tym z wyprzedzeniem, a agent przechodzi Państwa zestaw testów na nowej konfiguracji, zanim odbierze prawdziwe połączenie. |
6. Telefonia, poziom usług i awarie
Demo w przeglądarce pomija operatora, dźwięk z linii telefonicznej i centralę, z której Państwo już korzystają. Warstwę telefonii warto traktować jako osobną część porównania.
| # | Pytanie | Co daje ocenę 3 |
|---|---|---|
| 26 | Czy możemy zachować nasze numery i obecną centralę? | Wskazana ścieżka połączenia (przekierowanie połączeń, SIP lub przeniesienie numeru), przetestowana u Państwa operatora, z obecnym przepływem połączeń jako rozwiązaniem zapasowym. |
| 27 | Ile połączeń może trwać jednocześnie i co słyszy kolejny dzwoniący? | Podany limit równoległych połączeń i pokazana ścieżka dla nadmiarowych połączeń: kolejka, oddzwonienie albo przełączenie do Państwa zespołu. |
| 28 | Jak szybko agent odpowiada na linii telefonicznej i jak to zmierzono? | Czas zmierzony na całej ścieżce, na prawdziwych połączeniach telefonicznych w Państwa języku, z opisaną metodą. |
| 29 | Co się dzieje, gdy w trakcie rozmowy zawiedzie jakiś element systemu? | Przetestowana ścieżka przełączania awaryjnego, która w kontrolowany sposób kończy lub przełącza rozmowę i nigdy nie zostawia rozmówcy w ciszy. |
| 30 | Jakie poziomy usług zapisano w umowie i co się dzieje, gdy nie zostaną dotrzymane? | Dostępność, czas reakcji wsparcia i czas powiadomienia o incydencie na piśmie, z rekompensatą i wskazaną osobą kontaktową. |
Jeden scenariusz testowy z własnych rozmów
Pytania pokazują, co mówi dostawca, a scenariusz pokazuje, co robi agent. Punktem wyjścia jest próbka ostatnich rozmów, na przykład 50 ostatnich. Z niej wybiera się najczęstszą sprawę i momenty, które sprawiają kłopot. Rekordy testowe warto założyć w środowisku testowym (sandboxie) Państwa CRM lub systemu zgłoszeń, z tymi samymi polami co na produkcji.
Zarys scenariusza trzeba przekazać wszystkim dostawcom jednocześnie: intencje, systemy i rekordy testowe. Dokładne wypowiedzi rozmówcy lepiej zachować dla siebie, żeby żaden dostawca nie mógł dostroić agenta pod skrypt.
| Moment | Jak to odegrać | Zaliczone, gdy |
|---|---|---|
| Rutynowa rozmowa | Najczęstsza sprawa, na istniejącym rekordzie testowym | Odpowiedź zgadza się z rekordem, a wynik pojawia się w systemie testowym |
| Wtrącenie | Rozmówca wchodzi w słowo w połowie zdania i zmienia prośbę | Agent przerywa, przyjmuje nową prośbę i nie zaczyna skryptu od nowa |
| Brak rekordu | Rozmówca podaje numer zamówienia lub konta, który nie istnieje | Agent mówi o tym wprost, pyta jeszcze raz i proponuje kolejny krok, ale nigdy nie wymyśla statusu |
| Zdenerwowany lub zagubiony rozmówca | Rozmówca się powtarza, podnosi głos albo miesza dwa problemy | Agent potwierdza, że rozumie problem, zajmuje się jedną sprawą naraz i proponuje rozmowę z człowiekiem, gdy przewiduje to Państwa zasada |
| Przekazanie | Rozmówca prosi o człowieka. Test trzeba przeprowadzić raz z obsadzoną kolejką testową i raz, gdy nikt nie jest dostępny | Konsultant widzi powód bez dopytywania. Gdy nikt nie jest dostępny, pojawia się zadanie oddzwonienia z osobą odpowiedzialną |
| Kontrola zapisu | Po wszystkich rozmowach otworzyć system testowy | Każda rozmowa ma właściwy wynik, podsumowanie i kolejny krok, bez duplikatów, a nieudane sprawdzenie w systemie jest oznaczone jako nieudane |
Test na prawdziwej linii telefonicznej
- Zadzwonić na prawdziwy numer z telefonu komórkowego, a nie z karty przeglądarki. Rozmówcą powinien być ktoś z Państwa zespołu.
- Nagrać sesję za zgodą i oceniać ją na podstawie nagrania, a nie z pamięci.
- Policzyć, ile razy rozmówca musiał coś powtórzyć, i zmierzyć przerwę przed każdą odpowiedzią agenta.
- Po pierwszym przebiegu poprosić o jedną zmianę, na przykład nową zasadę, i powtórzyć scenariusz.
To, jak dostawca testuje i wdraża tę jedną zmianę, odpowiada na pytanie 23 lepiej niż jakikolwiek slajd. Scenariusz dostarcza też dowodów do oceny 3 przy pytaniach 12, 17, 18 i 28.
Sumowanie ocen według tych samych wag
Wagi warto uzgodnić przed pierwszą prezentacją, żeby nikt nie dopasował ich do faworyta. Podział poniżej to tylko przykład. Punkty można przesunąć na obszary, w których niepowodzenie najbardziej zaszkodziłoby Państwa działalności.
| Obszar | Przykładowa waga |
|---|---|
| 1. Zakres usługi i to, co obejmuje cena | 15 |
| 2. Własność danych, prywatność i wyjście z umowy | 15 |
| 3. Połączenia z systemami i zapis wyniku | 20 |
| 4. Przekazanie rozmowy człowiekowi i kontrola | 15 |
| 5. Testy jakości i wydania | 20 |
| 6. Telefonia, poziom usług i awarie | 15 |
| Razem | 100 |
Wynik obszaru = (punkty w obszarze / 15) × waga obszaru. Piętnaście to maksimum w obszarze: pięć pytań po 3 punkty. Suma sześciu wyników obszarów daje wynik łączny w skali do 100 punktów.
Przed oceną warto oznaczyć od trzech do pięciu pytań krytycznych, na przykład 6, 13 i 17. Dostawca, który przy którymkolwiek pytaniu krytycznym dostaje 0 lub 1, odpada niezależnie od sumy punktów.
Przykład z obliczeniami
Oceny poniżej są fikcyjne i służą tylko do zilustrowania rachunków. Dostawca A przedstawił najpłynniejsze demo. Dostawca B brzmiał skromniej, ale w scenariuszu pokazał zapis wyniku i proces testowania.
| Obszar (waga) | Punkty dostawcy A | Wynik dostawcy A | Punkty dostawcy B | Wynik dostawcy B |
|---|---|---|---|---|
| Zakres i cena (15) | 12 | 12,0 | 10 | 10,0 |
| Dane i wyjście (15) | 9 | 9,0 | 12 | 12,0 |
| Połączenia z systemami (20) | 6 | 8,0 | 12 | 16,0 |
| Przekazanie (15) | 8 | 8,0 | 11 | 11,0 |
| Jakość (20) | 7 | 9,3 | 12 | 16,0 |
| Telefonia (15) | 12 | 12,0 | 10 | 10,0 |
| Razem | 54 | 58,3 | 67 | 75,0 |
Dostawca A dostał też 1 przy pytaniu 13, które jest krytyczne, więc odpada niezależnie od sumy. Jego demo było mocne w samej rozmowie, a słabe w tym, co dzieje się po niej: w zapisie, ścieżce awarii i kolejnym wydaniu.
Sygnały ostrzegawcze w odpowiedziach
- „Integrujemy się ze wszystkim”, ale bez mapy pól dla Państwa systemów.
- Brak odpowiedzi na pytanie, co słyszy rozmówca, gdy system dostawcy przestaje działać.
- Przekazanie oznacza przekierowanie połączenia na numer, bez żadnego kontekstu dla konsultanta.
- Wyniki testów podane jako jeden ogólny procent, bez metody i wielkości próby.
- Zmiany lub aktualizacje modelu trafiają na produkcję bez Państwa zgody i bez uprzedzenia.
- Warunki wyjścia z umowy, według których dane „mogą zostać udostępnione”, bez formatu i terminu.
Jeden sygnał ostrzegawczy to powód, żeby zapytać jeszcze raz, na piśmie. Kilka w jednym obszarze pokazuje, gdzie prawdziwa praca spadłaby na Państwa zespół.
Jak DRING odpowiada na te pytania
Ten sam szablon warto zastosować do DRING. Na część pytań możemy już odpowiedzieć na piśmie:
- Pytanie 21: każdy agent DRING przed pierwszą prawdziwą rozmową przechodzi od 1 000 do 10 000 symulowanych rozmów przygotowanych dla Państwa firmy. Powstają one na podstawie Państwa procesu, dokumentów i nagrań rozmów, a nie z ogólnego zestawu benchmarkowego.
- Pytania 11 i 12: HubSpot to udokumentowana implementacja referencyjna w zakresie wyboru, do kogo dzwonić, przeprowadzenia rozmowy i zapisu wyniku. Connect łączy Salesforce, Freshdesk i inne popularne systemy CRM oraz systemy zgłoszeń na tych samych zasadach, a dokładne obiekty, uprawnienia, pola własne i działania potwierdzamy podczas wdrożenia. Dodatkowe pola analizy można zdefiniować i wracają one w ten sam sposób przez API, do CRM, do panelu i do raportów.
- Pytanie 14: usługi uruchamiania połączenia, sprawdzania jego stanu i odczytu wyniku oraz webhooki cyklu życia i wyniku są standardem dla procesu w uzgodnionym zakresie.
- Pytania 1 i 27: pakiet DRING rekomendujemy na podstawie spodziewanego zużycia, liczby równoległych połączeń, liczby rodzajów agentów, kanałów, potrzeb przekazania na żywo, poziomu wsparcia i głębokości integracji. Dostępne są 62 języki, 10 działa dziś produkcyjnie, a Państwa język sprawdzamy przed uruchomieniem.
Gdzie DRING może na początku wypaść słabiej: niszowy lub mocno dostosowany CRM analizujemy osobno, zanim wycenimy jakiekolwiek prace niestandardowe. Do czasu zakończenia tej analizy ocena przy pytaniu 11 może pozostać na poziomie 2. Język spoza tych, które już działają produkcyjnie, należy traktować jako niesprawdzony dla Państwa linii, dopóki nie zostanie w nim przeprowadzony Państwa scenariusz.
Karta ocen zostaje po podpisaniu umowy
Odpowiedzi ocenione na 3 stają się kryteriami akceptacji pilotażu. Scenariusz z sześcioma momentami zostaje pierwszym testem regresji, więc każdą późniejszą zmianę sprawdza się na rozmowach, które przesądziły o zakupie.
Niech DRING przejdzie Państwa własny test
Wystarczy poprosić o telefon i opisać swój proces oraz trudne rozmowy, które chcieliby Państwo przetestować. Pomożemy zamienić je w jeden wspólny scenariusz oceny.