Gdy AI poda rozmówcy błędną cenę

Krótka odpowiedź

Błędna odpowiedź w rozmowie z AI rzadko jest zagadką. Przechodzi przez jedną z pięciu furtek: Nieaktualne źródło, Brak źródła, Źle usłyszane pytanie, Błąd sprawdzenia albo Przekroczenie uprawnień. Cztery z nich zaczynają się poza modelem: Nieaktualne źródło i Brak źródła w materiałach, z których agent odpowiada, Źle usłyszane pytanie w rozpoznawaniu mowy, a Błąd sprawdzenia w zapytaniu do systemu. Tylko Przekroczenie uprawnień zaczyna się w samym agencie, gdy proponuje więcej, niż mu wolno.

Zapobieganie to więc głównie praca nad źródłami i uprawnieniami. Każda odpowiedź przechodzi przez tę samą bramkę: pochodzi z oficjalnego źródła, to źródło jest aktualne, odpowiedź mieści się w zakresie uprawnień, a każdą liczbę, datę i kwotę agent powtarza, żeby rozmówca ją potwierdził. Odpowiedź, która nie przejdzie którejś kontroli, trafia na bezpieczną ścieżkę: agent przekazuje rozmowę człowiekowi albo umawia oddzwonienie.

Część błędnych odpowiedzi i tak się przedostanie. Wtedy działa stała procedura reagowania: Powstrzymanie, Wyszukanie, Sprostowanie, Zapis, Ponowny test. Skalę incydentu wyznacza jego okno ekspozycji, czyli czas od chwili, gdy błędna odpowiedź stała się możliwa, do chwili usunięcia błędu. Długość tego okna zależy od tego, jak szybko Państwa źródło nadąża za zmianami w firmie, jak szybko wykrywają Państwo problem i jak szybko go powstrzymują, a nie od modelu.

Wszystkie przykładowe liczby w tym poradniku przygotowaliśmy na jego potrzeby. To nie są dane DRING ani dane branżowe.

Pięć furtek, przez które przechodzi błędna odpowiedź

Każdą furtkę zamyka inne zabezpieczenie.

Zakres uprawnień zamyka tylko furtkę Przekroczenie uprawnień. Pozostałe cztery zamyka praca nad źródłami, powtórzenie i sprawdzenia w systemach. Błąd typu Brak źródła kończy się domysłem agenta, ale zaczyna się od luki w źródle, a pierwsza kontrola bramki odpowiedzi zatrzymuje ten domysł. Nieudane sprawdzenia, na przykład gdy system nie odpowiada na czas, omawiamy w artykule o tym, dlaczego wywoływanie narzędzi to jeszcze nie automatyzacja.

Zapobieganie: bramka odpowiedzi

Bramka odpowiedzi to stała kolejność kroków dla każdej odpowiedzi. Zanim rozmówca usłyszy odpowiedź, przechodzi ona trzy kontrole. Czy odpowiedź jest w oficjalnym źródle? Czy źródło jest aktualne? Czy odpowiedź mieści się w zakresie uprawnień? Potem agent powtarza każdą liczbę, datę i kwotę, zanim cokolwiek obieca albo zarezerwuje. Odpowiedź „nie” w którejkolwiek z trzech kontroli kieruje rozmowę na bezpieczną ścieżkę.

Oficjalne źródła, każde z właścicielem i datą obowiązywania

Najpierw trzeba spisać wszystkie źródła, z których agent może odpowiadać: cennik, zasady zwrotów, bazę wiedzy, sprawdzanie zamówień w systemie. Każde z nich jest oficjalnym źródłem. Każde dostaje właściciela źródła, czyli osobę, która je aktualizuje, gdy w firmie coś się zmienia. Każda wersja dostaje datę obowiązywania, czyli datę i godzinę, od której jest ważna.

Na jeden temat powinno przypadać jedno oficjalne źródło. W przykładowym incydencie opisanym niżej cennik na stronie internetowej i źródło agenta były osobnymi dokumentami, a na czas zmienił się tylko jeden z nich.

Kontrola 1: czy odpowiedź jest w oficjalnym źródle?

Jeśli odpowiedzi nie ma w oficjalnym źródle, agent wybiera bezpieczną ścieżkę. Pomocny domysł to wciąż błąd typu Brak źródła.

Kontrola 2: czy źródło jest aktualne?

Każdą nową wersję trzeba wprowadzić z datą obowiązywania, zanim nastąpi zmiana. Wtedy źródło jest aktualne w chwili zmiany ceny, a nie dopiero wtedy, gdy ktoś sobie przypomni, żeby je poprawić. Jeśli zmiana się zbliża, a nowa wersja nie jest gotowa, temat trzeba przenieść na bezpieczną ścieżkę, dopóki wersja nie będzie gotowa.

Kontrola 3: czy odpowiedź mieści się w zakresie uprawnień?

Zakres uprawnień określa, co agent może powiedzieć lub zrobić bez udziału człowieka. Spisuje się go dla każdego tematu, na trzech poziomach:

„Musi przekazać rozmowę” oznacza bezpieczną ścieżkę: człowiek przejmuje rozmowę od razu albo potwierdza sprawę później, oddzwaniając. Co ta osoba powinna dostać razem z rozmową, opisujemy w poradniku o projektowaniu przekazania do człowieka.

Na koniec powtórzenie: każda liczba, data i kwota

Na słabej linii „czternaście” łatwo pomylić z „czterdzieści”. Dlatego agent powtarza każdą liczbę, datę i kwotę, którą podaje albo na podstawie której działa, a rozmówca ją potwierdza, zanim agent cokolwiek obieca albo zarezerwuje. Powtórzenie wyłapuje też Źle usłyszane pytanie, bo rozmówca słyszy, o który pakiet chodzi agentowi. Oto przykład po poprawce z incydentu opisanego niżej:

• Rozmówca: „Ile teraz kosztuje pakiet ochronny?”
• Agent: „Pakiet ochronny kosztuje 14 € miesięcznie. Powtarzam: czternaście euro miesięcznie. Czy chodziło Panu o ten pakiet?”
• Rozmówca: „Tak, czternaście. O ten chodzi.”

A tak ten sam agent odpowiada na granicy swojego zakresu uprawnień:

• Rozmówca: „W zeszłym tygodniu na Państwa stronie było dwanaście. Mogę dostać za dwanaście?”
• Agent: „W tej rozmowie nie mogę zmienić ceny, ale może się tym zająć ktoś z naszego zespołu. Połączyć Pana od razu czy woli Pan, żebyśmy oddzwonili?”

Test bramki przed wydaniem

Przed wydaniem trzeba przetestować co najmniej jeden scenariusz dla każdej furtki:

• Nieaktualne źródło: nowa cena z datą obowiązywania. W rozmowach przed tą datą agent podaje starą cenę, a po niej aktualną.
• Brak źródła: pytania, na które nie odpowiada żadne oficjalne źródło. Agent trafia na bezpieczną ścieżkę.
• Źle usłyszane pytanie: podobnie brzmiące nazwy produktów i hałas w tle. Powtórzenie wyłapuje pomyłkę.
• Błąd sprawdzenia: sprawdzenie w systemie kończy się błędem, nie zwraca nic albo zwraca inne zamówienie. Agent nie wymyśla wyniku i trafia na bezpieczną ścieżkę.
• Przekroczenie uprawnień: prośba o rabat albo zwrot pieniędzy. Agent przekazuje rozmowę.

Jak zbudować pełny zestaw testów, pokazujemy w poradniku o testowaniu voice AI przed uruchomieniem.

Przykładowy incydent: zmiana ceny, która ominęła agenta

Przykład, nie prawdziwe dane. Sklep podniósł cenę pakietu ochronnego z 12 € do 14 € miesięcznie. Nowa cena zaczęła obowiązywać w poniedziałek o 9:00. Cennik na stronie internetowej zmieniono na czas. Oficjalnym źródłem agenta był jednak osobny dokument i nikt go nie zaktualizował, gdy zmieniła się cena. W środę o 10:30 wpłynęła pierwsza skarga: rozmówca, który usłyszał cenę 12 €, został obciążony kwotą 14 €. Dokument poprawiono w środę o 14:00 i to było Powstrzymanie. Okno ekspozycji trwało od poniedziałku 9:00 do środy 14:00, czyli 53 godziny.

Powstrzymanie nastąpiło 3 godziny 30 minut po pierwszej skardze, a przez ten czas rozmówcy wciąż mogli usłyszeć cenę 12 €. Gdyby kilka minut po skardze agent zaczął przekazywać człowiekowi wszystkie pytania o cenę tego pakietu, rozmówcy przestaliby słyszeć błędną cenę jeszcze w trakcie poprawiania dokumentu.

Po 14:00 zespół przeszedł do Wyszukania. Najpierw przeszukał transkrypcje rozmów z okna ekspozycji pod kątem pakietu, a potem przeczytał każdą rozmowę, w której pakiet się pojawił:

Trzy ostatnie wiersze sumują się do 120 rozmów, w których padła nazwa pakietu: 46 plus 61 plus 13. Rozmówców objętych incydentem jest więc 46, a nie 900. Kontakt ze wszystkimi 900 zdezorientowałby 854 rozmówców, którzy nigdy nie usłyszeli ceny 12 €. Gdyby zespół skontaktował się tylko z osobą, która złożyła skargę, 45 rozmówców objętych incydentem nie dowiedziałoby się o aktualnej cenie. W czwartek zespół skontaktował się z 46 rozmówcami objętymi incydentem i podał im aktualną cenę.

Okno byłoby krótsze dzięki dwóm zmianom. Gdyby nowa cena z datą obowiązywania trafiła do oficjalnego źródła przed poniedziałkiem, okno wyniosłoby 0 godzin. Przy codziennej kontroli, która porównuje cenę podaną w każdej rozmowie z aktualnym cennikiem, już pierwsza kontrola, we wtorek o 8:00, wychwyciłaby rozmowy z ceną 12 €. Gdyby wtedy poprawiono źródło, okno trwałoby 23 godziny zamiast 53.

Procedura reagowania w pięciu krokach

Gdy błędna odpowiedź dotrze do rozmówców, wykonuje się te same pięć kroków w tej samej kolejności. Powstrzymanie poprzedza Wyszukanie, bo w czasie przeszukiwania rozmów nowi rozmówcy wciąż mogą usłyszeć błędną odpowiedź.

Wyszukanie dotyczy rozmówców objętych incydentem, a nie wszystkich, którzy dzwonili. Punktem wyjścia jest okno ekspozycji. Potem wyniki zawęża się do tematu, a dopiero na końcu czyta rozmowy. Jeśli Państwa zespół odpowiada z tego samego źródła, trzeba sprawdzić także jego rozmowy.

Sprostowanie wymaga zasady ustalonej przed pierwszym incydentem. Czy honorują Państwo błędnie podaną cenę, czy wyjaśniają rozmówcy, jaka cena obowiązuje? To decyzja biznesowa. Trzeba ją podjąć z wyprzedzeniem, zapisać i przekazać osobom, które będą dzwonić do rozmówców ze sprostowaniem. To, czy podana cena jest dla Państwa wiążąca, to pytanie do Państwa doradców prawnych. Ten poradnik na nie nie odpowiada.

Zapis zawsze korzysta z tych samych pól rejestru incydentów, dzięki czemu incydenty można porównywać. Wpis dla przykładowego incydentu:

Co mierzyć

Czy bramka i procedura działają, pokazują trzy liczby:

• Odsetek błędnych odpowiedzi w ocenionych rozmowach: ocenione rozmowy z błędną informacją podzielone przez liczbę ocenionych rozmów. To ta część odsetka błędnych działań z artykułu o kryteriach sukcesu pilotażu voice AI, która dotyczy błędnych informacji, więc oba wskaźniki można porównywać. Każdej błędnej odpowiedzi trzeba przypisać jej furtkę, a zestawienie według furtek pokaże, nad czym pracować w następnej kolejności.
• Długość okna ekspozycji: dla każdego incydentu, w godzinach. W przykładzie 53 godziny: 49 godzin 30 minut do pierwszej skargi, a potem 3 godziny 30 minut do poprawki.
• Czas od pierwszego sygnału do Powstrzymania: od pierwszej skargi, ustalenia z oceny rozmów albo alertu z kontroli do Powstrzymania. W przykładzie 3 godziny 30 minut.

Żadna bramka nie zagwarantuje zerowego odsetka błędnych odpowiedzi, a spokojny miesiąc nie dowodzi, że bramka działa. Jak wyjaśniamy w artykule o pilotażu, brak błędnych działań w 300 ocenionych rozmowach nadal jest zgodny z prawdziwym odsetkiem do około 1%.

Losowa ocena rozmów może też przeoczyć wąski temat albo wykryć go późno. W przykładzie incydent objął 46 z 900 rozmów w oknie ekspozycji, czyli około 5 na 100, i wszystkie dotyczyły jednego pakietu. Codzienna kontrola, która porównuje cenę podaną w każdej rozmowie z aktualnym cennikiem, obejmuje każdą rozmowę na ten temat, a nie próbkę.

Gdzie pomaga DRING

Zabezpieczenia, przekazanie rozmowy do człowieka, analiza po rozmowie, testy i monitoring należą do wspólnych fundamentów każdego pakietu DRING. W tym poradniku zakres uprawnień jest zabezpieczeniem, bezpieczna ścieżka opiera się na przekazaniu rozmowy do człowieka, a codzienna kontrola na analizie po rozmowie.

Analiza po rozmowie może zwracać zdefiniowane przez Państwa dodatkowe pola, dostępne przez API, w Państwa CRM, w panelu i w raportach. Jednym z nich może być cena podana w każdej rozmowie, dzięki czemu możliwa jest codzienna kontrola, która porównuje ją z aktualnym cennikiem. Panel i raporty pokazujemy na stronie o analityce rozmów.

Każdy agent DRING przechodzi przed pierwszą prawdziwą rozmową od 1 000 do 10 000 symulowanych rozmów przygotowanych dla Państwa firmy. Symulacje sprawdzają bramkę przed uruchomieniem. Nie zastępują procedury reagowania w rozmowach na żywo.

Jeśli na Państwa linii zbliża się zmiana cen lub zasad, warto poprosić o telefon. Prosimy mieć pod ręką cennik i dokument, z którego odpowiada agent. Nasz zespół może razem z Państwem sprawdzić je pod kątem pięciu furtek.