Jak ocenić 30-dniowy pilotaż voice AI

Krótka odpowiedź

Pilotaż voice AI się udał, jeśli w dniu 30 każdy wskaźnik osiąga swój cel i żaden próg zatrzymania nie został przekroczony. Cele i progi zatrzymania są zapisane na karcie pilotażu, którą podpisuje się przed pierwszą rozmową na żywo. Kryteria ustalone dopiero po rozmowach zamieniają dzień 30 w spór o to, które rozmowy się liczą. Przy kryteriach ustalonych wcześniej dzień 30 to krótkie spotkanie.

Najpierw trzeba zmierzyć punkt odniesienia dla tego samego typu połączeń w porównywalnym okresie. Na jednej karcie pilotażu znajduje się pięć wskaźników: odsetek rozwiązanych spraw, odsetek ponownych kontaktów, odsetek błędnych działań, jakość przekazań i nakład pracy zespołu. Każdy z nich dostaje dokładną definicję, cel i próg zatrzymania, a każdy przegląd tygodnia opiera się na tej samej karcie.

W dniu 30 stosuje się regułę uzgodnioną z góry. Gdy każdy cel jest osiągnięty, decyzja brzmi: Rozszerzenie. Gdy jeden lub dwa wskaźniki nie osiągają celu, a wyjaśnia to jedna znana przyczyna, decyzja brzmi: Przedłużenie, jednorazowo o dwa tygodnie. Gdy przekroczono próg zatrzymania, więcej niż dwa wskaźniki nie osiągają celu albo nieosiągniętych celów nie wyjaśnia żadna pojedyncza znana przyczyna, decyzja brzmi: Zatrzymanie. Do przekroczenia niektórych progów zatrzymania wystarczy jedna rozmowa, na przykład błędne działanie ze skutkami finansowymi lub prawnymi.

Kroki budowy przed pilotażem opisuje nasz 90-dniowy plan wdrożenia voice AI.

Dlaczego wrażenia to jeszcze nie werdykt

Po 30 dniach kierownik pamięta tę jedną rozmowę, w której agent źle zrozumiał zdenerwowanego klienta. Zespół projektowy pamięta płynne rozmowy, które odtwarzał na spotkaniach. Ani jedno, ani drugie niewiele mówi o setkach rozmów, których nikt nie odsłuchał.

Z liczbami wybranymi po fakcie jest ten sam problem: łatwo sięgnąć po wskaźnik, który wygląda najlepiej, albo naciągać pojęcie „rozwiązanej sprawy”, aż wszystko się zgadza. Dlatego kierownik operacyjny, specjalista ds. jakości, osoba odpowiedzialna za systemy i sponsor projektu podpisują kartę pilotażu przed dniem 1. W trakcie pilotażu cele i progi zatrzymania się nie zmieniają.

Krok 1: pomiar punktu odniesienia

Punkt odniesienia to dzisiejsze wyniki tego samego typu połączeń, zmierzone według definicji z pilotażu. Bez niego odsetek rozwiązanych spraw na poziomie 70% nie jest ani dobry, ani zły. Typ połączeń to jeden proces z jednym oczekiwanym wynikiem. W przykładzie z tego artykułu klienci dzwonią, żeby przełożyć umówioną wizytę technika, a rozmowa powinna się zakończyć nowym terminem, który klient zaakceptował.

Punkt odniesienia powinien pochodzić z porównywalnego okresu:

• Te same dni tygodnia i godziny: cztery pełne tygodnie, w godzinach, w których agent będzie odbierał połączenia.
• Ten sam sezon lub ta sama kampania: nie tydzień wyprzedaży zestawiony ze spokojnym tygodniem i nie tydzień świąteczny zestawiony ze zwykłym.
• Ta sama struktura połączeń: ten sam typ połączeń, te same języki i grupy klientów. Jeśli pilotaż obejmuje tylko połączenia wieczorne, punktem odniesienia jest to, co wcześniej działo się z połączeniami wieczornymi, nawet jeśli trafiały na pocztę głosową.

Nie warto korzystać ze starych kodów zamknięcia rozmowy: kliknięcie „rozwiązana” może oznaczać coś innego niż nowy termin w systemie rezerwacji. Losową próbkę rozmów z okresu odniesienia trzeba oznaczyć na nowo według zasad pilotażu i na tej samej próbce zmierzyć błędne działania Państwa zespołu. Dlaczego rozmowa bez przekazania to jeszcze nie rozwiązana sprawa, wyjaśniamy w artykule o containment i odsetku rozwiązanych spraw.

Jeśli jakiegoś wskaźnika nigdy nie mierzono, na karcie trzeba wpisać „brak pomiaru”, a cel ustalić na podstawie tego, czego wymaga uzasadnienie biznesowe. Później nie można też twierdzić, że ten wskaźnik się poprawił.

Krok 2: spisanie karty pilotażu

Karta pilotażu zawiera pięć wskaźników. Każdy odpowiada na inne pytanie, więc dobry wynik jednego nie ukryje złego wyniku drugiego. Dla każdego wskaźnika trzeba zapisać licznik, mianownik i to, co jest wyłączone. Potem ustala się dwa poziomy. Cel to poziom, przy którym uzasadnienie biznesowe się spina. Próg zatrzymania to poziom, przy którym pilotaż się zatrzymuje, niezależnie od pozostałych wskaźników. Wskaźnik, którego wynik leży między tymi poziomami, nie osiąga celu.

Wszystkie wartości na karcie to przykład przygotowany na potrzeby artykułu, a nie dane prawdziwej firmy.

Cel dla odsetka rozwiązanych spraw jest świadomie ustawiony poniżej punktu odniesienia. Powód trzeba zapisać na karcie: uzasadnienie biznesowe spina się przy 70%, jeśli nakład pracy zespołu spadnie z 640 do najwyżej 250 minut na 100 rozmów. Nakład pracy zespołu liczy się tylko dla tygodni 3 i 4, bo w tygodniu 1 oceniający odsłuchują każdą rozmowę, a pierwsza poprawka wchodzi w tygodniu 2.

Progi zatrzymania, które przekracza jedna rozmowa

Niektóre błędy kosztują zbyt wiele, żeby czekać, aż złożą się na odsetek:

• Błędne działanie ze skutkami finansowymi lub prawnymi, na przykład naliczona opłata, zwrot pieniędzy albo odwołana płatna wizyta.
• Dane osobowe przekazane rozmówcy, który nie przeszedł weryfikacji tożsamości.
• Rozmówca zgłasza zagrożenie, na przykład zapach gazu, a rozmowa nie trafia od razu do człowieka.

Każde z tych zdarzeń kończy pilotaż przed czasem, a rozmowy jeszcze tego samego dnia wracają na dotychczasową ścieżkę. Ponowny start po poprawce to nowy pilotaż od dnia 1. Próg zatrzymania przy wskaźniku działa wolniej: pilotaż kończy się przed czasem, jeśli zmierzona wartość wskaźnika przekracza jego próg zatrzymania w dwóch kolejnych przeglądach tygodnia. Liczą się tylko przeglądy, w których dany wskaźnik jest oceniany: nakład pracy zespołu od tygodnia 3, a ponowne kontakty dopiero wtedy, gdy od rozmów minęło 7 dni.

Losowa próbka 100 rozmów tygodniowo pominie większość wymienionych wyżej błędów, dlatego trzeba ich szukać bezpośrednio. Co tydzień należy odsłuchać każdą rozmowę zakończoną naliczeniem opłaty, zwrotem pieniędzy albo odwołaniem wizyty, każdą rozmowę, w której agent podał dane osobowe, i każdą rozmowę, którą klient lub konsultant zgłosił jako problematyczną. Te rozmowy odsłuchuje się dodatkowo, poza losową próbką.

Krok 3: przegląd tygodnia

Przegląd tygodnia odbywa się zawsze w ten sam dzień i opiera się na tej samej karcie. Sprawdza się w nim sposób liczenia i wybiera najwyżej jedną zmianę w agencie.

Trzy zasady sprawiają, że tygodnie da się porównać:

• Jedna zmiana w tygodniu, zapisana z datą. Przy dwóch zmianach nie wiadomo, która z nich przesunęła wynik.
• Stałe definicje. Jeśli definicja okaże się błędna, zmienia się ją raz, zapisuje powód i przelicza wszystkie wcześniejsze tygodnie.
• Liczby obok odsetków. Zapis „64% (256 z 400 rozmów)”, a nie samo „64%”.

Które rozmowy powinni odsłuchiwać oceniający, opisujemy w poradniku o próbkowaniu jakości w call center.

Co liczby mówią, a czego nie

Każdy odsetek z pilotażu jest szacunkiem. Dla odsetka p zmierzonego na n rozmowach przybliżony margines błędu przy 95% ufności wynosi 1,96 × √(p(1 - p) / n). Przy odsetku 70% daje to:

• 100 rozmów: około ±9,0 punktu procentowego (p.p.)
• 400 rozmów: około ±4,5 p.p.
• 1 000 rozmów: około ±2,8 p.p.

Wynik tygodnia z 400 rozmów mieści się więc zwykle w granicach około 4,5 p.p. od prawdziwego odsetka, a zmiana o kilka punktów procentowych z tygodnia na tydzień może być czystym przypadkiem. Wzór zakłada, że rozmowy są od siebie niezależne, a odsetek nie jest bliski 0% ani 100%. Porównanie z punktem odniesienia ma szerszy margines: przy dwóch odsetkach około 70%, każdy zmierzony na 1 600 rozmowach, różnica między nimi ma margines około ±3,2 p.p.

W tygodniu 1 przykładowego pilotażu odsetek rozwiązanych spraw wynosi 64% przy 400 rozmowach, z marginesem około ±4,7 p.p. Prawdziwy odsetek może więc wynosić od około 59,3% do 68,7%: przedział przecina próg zatrzymania i pozostaje poniżej celu. Do dnia 30 przykładowy pilotaż obejmuje 1 600 rozmów z wynikiem 68%, z marginesem około ±2,3 p.p. Przedział od około 65,7% do 70,3% leży wyraźnie powyżej progu zatrzymania, a cel mieści się w nim tuż przy górnej granicy.

Są jeszcze trzy ograniczenia:

• Rzadkie zdarzenia. Brak błędnych działań w 300 ocenionych rozmowach nadal jest zgodny z prawdziwym odsetkiem do około 1%. To tak zwana „reguła trzech”: jeśli w n rozmowach nie było żadnego zdarzenia, górna granica przy 95% ufności wynosi około 3 / n. Każde błędne działanie trzeba przeanalizować i sklasyfikować.
• Małe wycinki. Jeden język albo dzień tygodnia z 60 rozmowami ma przy 70% margines około ±11,6 p.p. Te rozmowy lepiej odsłuchać, niż porównywać ich odsetek.
• Ponowne kontakty po ostatnich rozmowach. W dniu 30 odsetek ponownych kontaktów obejmuje tylko rozmowy do dnia 23. Dla późniejszych rozmów nie minęło jeszcze 7 dni.

Decyzja w dniu 30: Rozszerzenie, Przedłużenie czy Zatrzymanie

W dniu 30 wskaźniki z karty pilotażu liczy się dla wszystkich rozmów od dnia 1. Potem stosuje się regułę w tej kolejności:

• Zatrzymanie, jeśli przekroczono próg zatrzymania, więcej niż dwa wskaźniki nie osiągają celu albo nieosiągniętych celów nie wyjaśnia żadna pojedyncza znana przyczyna. Rozmowy wracają na dotychczasową ścieżkę, a powód zostaje zapisany na potrzeby kolejnego pilotażu.
• Rozszerzenie, jeśli każdy cel jest osiągnięty i żaden próg zatrzymania nie został przekroczony. Agent przejmuje etapami więcej połączeń tego samego typu, z tą samą kartą. Nowy typ połączeń dostaje własną kartę pilotażu.
• Przedłużenie, jeśli jeden lub dwa wskaźniki nie osiągają celu z jednej znanej przyczyny. Pilotaż przedłuża się jednorazowo o dwa tygodnie, z jedną poprawką dotyczącą tej przyczyny i z tą samą kartą, a przedłużenie ocenia się na podstawie rozmów z tych dwóch tygodni. Jeśli wtedy każdy cel zostanie osiągnięty, decyzja brzmi: Rozszerzenie. Jeśli nie, decyzja brzmi: Zatrzymanie.

Jak czytać mieszane wyniki

W dniu 30 wynik często jest mieszany: cztery wskaźniki osiągają cel, a jeden nie.

• Nie uśredniać. Wysoki odsetek rozwiązanych spraw nie rekompensuje błędnej rezerwacji.
• Najpierw chronić klienta. Odsetka błędnych działań i progów zatrzymania, które przekracza jedna rozmowa, nigdy nie poświęca się na rzecz odsetka rozwiązanych spraw ani nakładu pracy zespołu. Jeśli odsetek błędnych działań nie osiąga celu, Przedłużenie wchodzi w grę tylko wtedy, gdy każde błędne działanie ma tę samą znaną przyczynę, a poprawka ją usuwa.
• Odnieść różnicę do marginesu błędu. 68% nie osiąga celu 70%. Ale różnica mniejsza niż margines błędu, przy znanej przyczynie, to typowa sytuacja, w której decyzja brzmi: Przedłużenie.
• Sprawdzić, gdzie leży przyczyna. Jeśli rozmowy kończą się niepowodzeniem, bo nie ma wolnego terminu, lepszy agent tego nie naprawi. Jeśli nakład pracy zespołu nie osiąga celu, warto sprawdzić, czy nadal spada między tygodniem 3 a 4.

Przykład: karta z dnia 30

Przykładowe wartości, nie prawdziwe dane.

Jeden wskaźnik nie osiąga celu, a żaden próg zatrzymania nie został przekroczony. W największej grupie nierozwiązanych rozmów klient prosi o termin wieczorny, a system rezerwacji pokazuje takie terminy tylko pracownikom. Przyczyna jest znana i usuwa ją jedna poprawka, więc decyzja brzmi: Przedłużenie. Przedłużenie trwa dwa tygodnie, karta zostaje ta sama, a agent dostaje dostęp do terminów wieczornych. Przy około 400 rozmowach tygodniowo przedłużenie daje około 800 nowych rozmów do oceny, z marginesem około ±3,2 p.p. przy 70%.

Gdzie pomaga DRING

W DRING agent zaczyna pracę w tydzień. Ten tydzień warto wykorzystać, żeby na nowo oznaczyć próbkę wcześniejszych rozmów z okresu odniesienia i podpisać kartę pilotażu przed pierwszą rozmową na żywo. Każdy agent DRING przechodzi przed pierwszą prawdziwą rozmową od 1 000 do 10 000 symulowanych rozmów przygotowanych dla Państwa firmy. To test przed uruchomieniem, a nie pilotaż. Symulacja pozwala wcześnie wykryć luki, ale nie daje punktu odniesienia ani odsetka rozwiązanych spraw w rozmowach z prawdziwymi klientami. Co obejmują takie symulacje, wyjaśniamy w artykule o symulowanych rozmowach.

W trakcie pilotażu analiza po rozmowie może zwracać zdefiniowane przez Państwa dodatkowe pola, na przykład wynik każdej rozmowy. Pola są dostępne przez API, w Państwa CRM, w panelu i w raportach. Oceniający nadal odsłuchują rozmowy, a dzięki polom każdy przegląd tygodnia korzysta z tych samych etykiet. Panel i raporty pokazujemy na stronie o analityce rozmów.