Nie piszą Państwo promptów
Państwa zespół wyjaśnia, na czym polega praca, i sprawdza, co mówi agent. Sam prompt piszemy i utrzymujemy my.
Jakość
Przetestowany, zanim odbierze telefon
Nie piszą Państwo promptów. Zbieramy materiały, budujemy z nich testy i wydajemy tylko to, co je przejdzie.
Zestaw testów DRING
Testy powstają z Państwa własnych materiałów
Pisanie promptów nie jest Państwa zadaniem. Podobnie jak wyobrażanie sobie trudnych rozmów, które czekają agenta.
Testy z tego, co zbieramy
Dokumenty, nagrania, zasady i uwagi zgłoszone podczas przeglądu stają się zestawem testów dla danego agenta.
Zatwierdzony przez DRING, potem na produkcji
Agent trafia na produkcję dopiero wtedy, gdy przejdzie ten zestaw. Do tego czasu działa na prywatnej linii.
Od 1 000 do 10 000 symulowanych rozmów przygotowanych dla Państwa firmy, przed pierwszą prawdziwą rozmową. Liczba symulowanych rozmów zależy od agenta, a każda z nich powstaje na podstawie Państwa procesu, dokumentów i nagrań rozmów, a nie ogólnego zestawu benchmarkowego.
Ta sama dyscyplina obowiązuje przy zmianie. Każda zasada, którą od Państwa dostajemy, trafia do jednego zestawu testów danego agenta, a nowa zasada wchodzi dopiero wtedy, gdy wszystkie dotychczasowe nadal przechodzą. Zobacz, jak powstaje agent
Przed uruchomieniem
Co się dzieje, zanim agent wystartuje
Ten sam proces obowiązuje każdego agenta, bez względu na to, jak prosto scenariusz wygląda z zewnątrz.
Persony z Państwa rzeczywistości
Zdenerwowani rozmówcy, błędne zamówienia, pułapki w zasadach, cisza i wtrącenia, zaczerpnięte z Państwa procesu.
Symulowane rozmowy
Każda persona przechodzi z agentem pełną rozmowę, a nie pojedyncze pytanie ze skryptu.
Niezależna ocena
Automatyczni oceniający punktują każdą rozmowę. Gdy się nie zgadzają, rozmowę sprawdza człowiek.
Test regresji
Przed każdym wydaniem wyniki są porównywane z poprzednią wersją, więc poprawka nie może po cichu zepsuć czegoś innego.
Sprawdzone ścieżki przekazania
Eskalacja do człowieka jest wprost sprawdzana, a nie zakładana.
Stopniowe uruchomienie
Ruch na żywo rośnie w kontrolowanych etapach, z obserwacją wyników na każdym kroku i gotową poprzednią wersją.
Automatyczna ocena może się rozjechać albo przeoczyć niuans. Niezależne kontrole i przegląd każdej rozbieżności przez człowieka dają bardziej użyteczny sygnał niż pojedyncza ocena.
Po uruchomieniu
Kontrola jakości trwa dalej
Testy nie kończą się na uruchomieniu. Działający agenci przechodzą regularną kontrolę jakości przez cały czas pracy.
Każda rozmowa oceniona
W chwili zakończenia rozmowy oceniane są rozwiązanie sprawy, zgodność z procedurami i czas odpowiedzi, a nastrój rozmówcy dostaje etykietę.
Regularne przeglądy
Każdy działający agent jest regularnie testowany względem poprzedniej wersji, więc cicha regresja wychodzi na jaw, zanim zauważy ją klient.
Alerty o odchyleniach
Gdy wynik wychodzi poza oczekiwany zakres, alert uruchamia się sam, bez czekania na kolejny przegląd.
Śledzenie błędów rozpoznawania mowy
Błędy zamiany mowy na tekst są śledzone według nazwisk, miejsc i nazw produktów, a potem poprawiane w słowniku agenta.
| Wskaźnik | Definicja | Dlaczego to ważne |
|---|---|---|
| Rozwiązane sprawy | Czy sprawa, z którą dzwonił klient, naprawdę została załatwiona. | Podstawowa miara tego, czy agent wykonał swoje zadanie. |
| Nastrój rozmówcy | Jak zmieniał się ton klienta od początku do końca rozmowy. | Wychwytuje rozmowy rozwiązane na papierze, po których klient był jednak sfrustrowany. |
| Zgodność z procedurami | Czy działania agenta mieściły się w zasadach ustawionych dla niego. | Utrzymuje agenta w granicach wyznaczonych przez firmę. |
| Czas odpowiedzi | Czas między końcem wypowiedzi klienta a odpowiedzią agenta. | Powolna odpowiedź brzmi jak słabe połączenie, nawet gdy jest poprawna. |
| Trafność przekazań | Czy agent przekazał sprawę człowiekowi wtedy, gdy powinien. | Pominięta eskalacja jest gorsza niż niepotrzebna. |
| Różnica regresji | Zmiana wyniku względem poprzedniej wersji na tym samym zestawie testów. | Wychwytuje wydanie, które po cichu pogarsza agenta. |
Testy A/B w połączeniach wychodzących
Lepsze otwarcie wygrywa wynikami, a nie opiniami
O tym, które zdanie otwierające, ton lub głos działa, decydują prawdziwe połączenia wychodzące, a nie spotkanie.
Przykładowy test · warianty otwarciaEtap 1 · równy ruch
połączenia: 0
połączenia: 0
połączenia: 0
Nie osiągnięto minimalnej próby. Ruch nadal jest dzielony.
Co jest testowane
Zdanie otwierające, ton, głos, tempo, kolejność pytań i sposób reagowania na obiekcję. Jedna zmienna na wariant, więc wynik da się jednoznacznie przypisać.
Jak wybierany jest zwycięzca
Na podstawie wyniku samej kampanii, przy uzgodnionej minimalnej próbie dla każdego wariantu. Nastrój rozmówcy i odsetek przekazań działają jako zabezpieczenia: wariant, który wygrywa wynikami, ale gorzej wypada w odbiorze, nie wchodzi.
Jak trafia na produkcję
Zwycięzca jest wdrażany w kontrolowanych etapach, pozostałe warianty są wycofywane, a zmiana zostaje zapisana, więc kolejne porównanie zaczyna się od znanego punktu odniesienia.
Wdrażany wariant i tak przechodzi zestaw testów regresji, zanim obejmie całą kampanię.
Zabezpieczenia
Czego agent nigdy nie zrobi
- Odmawia tego, co wykracza poza zakresProśba spoza zadań, do których agent został zbudowany, jest odrzucana, a nie obchodzona improwizacją.
- Nigdy nie wymyśla zasadJeśli nie dostał reguły, nie zgaduje jej i nie składa obietnic w Państwa imieniu.
- Przekazuje drażliwe tematy dalejWrażliwe prośby trafiają do człowieka, zamiast być rozstrzygane według oceny agenta.
- Zawsze proponuje człowiekaŚcieżka do człowieka pozostaje dostępna dla dzwoniącego, niezależnie od tego, co agent potrafi zrobić sam.
FAQ
Pytania o testy
Czy musimy pisać lub utrzymywać prompt?+
Nie. Państwo wyjaśniają, na czym polega praca, udostępniają dokumenty i nagrania i sprawdzają, co mówi agent. Pisanie i utrzymywanie promptu to nasze zadanie, a testy powstają z materiałów od Państwa, a nie z ogólnego szablonu.
Czy testy odbywają się przed każdym wydaniem, a nie tylko przed startem?+
Tak. Przeglądy regresji względem poprzedniej wersji odbywają się regularnie, a każda zmiana przechodzi to samo stopniowe wdrożenie co pierwsze uruchomienie.
Co się dzieje, gdy dwie oceny się różnią?+
Rozmowa trafia do człowieka, który ją sprawdza, zanim wynik zostanie zatwierdzony. Powtarzające się rozbieżności są sygnałem, że trzeba dopracować sam zestaw oceniający.
Czy możemy zobaczyć scenariusze testowe naszego agenta?+
Tak. Persony i scenariusze powstają wokół Państwa zasad i przypadków brzegowych i są dla Państwa widoczne podczas wdrożenia.
Co się dzieje, gdy wyniki działającego agenta zaczynają się odchylać?+
Alert o odchyleniu uruchamia się automatycznie, rozmowy, które za nim stoją, są przeglądane, a poprawka przechodzi zestaw testów, zanim ten typ połączeń wróci do agenta.
Zestaw testów na Państwa własnym scenariuszu
Omówmy, jak wyglądałoby mierzone uruchomienie, od pierwszego briefu procesu po cykl przeglądów po starcie.