Który model dobrze słyszy rozmówców?

Testować trzeba na własnych rozmowach

Pewnego wtorku wieczorem tego lata rozmówca zadzwonił do [firma], która dostarcza paczki dla sklepów internetowych, i powiedział agentowi AI: „Dzień dobry, dzwonię w sprawie paczki PX 4827 3315. Proszę, żeby paczka nie została u sąsiada obok. Jestem poza domem do czwartku i odbiorę ją osobiście.” W transkrypcji poprawne było każde słowo poza „nie”. Bez niego zdanie prosiło o coś odwrotnego i paczkę zostawiono u sąsiada. W czwartek ten sam rozmówca zadzwonił znowu, tym razem zdenerwowany.

Następnego ranka Irena, która prowadzi infolinię [firma], przeczytała transkrypcję. Zabrakło jednego słowa, a właśnie od niego zależała ta rozmowa. Przez całe lato agent odbierał w pilotażu wieczorne telefony, z modelem rozpoznawania mowy, który dostawca dołączył do swojego rozwiązania. W tym artykule nazywamy go Modelem A. Na stronie dostawcy Model A miał wysoki wynik za poprawne słowa ogółem. [firma], Irena, pilotaż, rozmowy, oba modele i wszystkie liczby w tym artykule to przykład, a nie prawdziwe dane.

Taki wynik nie mógł ostrzec Ireny. Liczy każde słowo tak samo, a w rozmowie telefonicznej decyduje kilka z nich: numer przesyłki, nazwisko, dzień, adres i każde „nie”, które odwraca prośbę. Dobrze słyszy rozmówców ten model, który zapisuje te słowa poprawnie. Przy wyborze rozpoznawania mowy do rozmów telefonicznych, zwanego też zamianą mowy na tekst, warto przetestować kandydatów na własnych nagraniach. Na każdym nagraniu zaznaczają Państwo słowa decydujące o rozmowie, liczą, ile z nich zapisał każdy model, i sprawdzają, czym kończy się każda pomyłka. Wybór najlepiej oprzeć na tym, czego lista słów później nie naprawi, a agent powinien powtarzać każdą prośbę, która coś zmienia.

Czy można ufać wynikowi dostawcy?

Strona dostawcy opisuje model jedną liczbą: ile słów na 100 zapisał poprawnie. Niektóre strony liczą za to pomyłki i podają odsetek błędnych słów (word error rate). Tak czy inaczej to średnia ze wszystkich słów, na których model testowano, więc „yyy” liczy się tak samo jak trzecia cyfra numeru przesyłki.

Przy takiej ocenie wtorkowa transkrypcja wypada znakomicie. Model zapisał numer przesyłki, sąsiada, dzień i wszystko inne, co powiedział rozmówca. Zgubił tylko „nie”, czyli słowo, które odwracało prośbę.

Poza tym wynik zmierzono na cudzych nagraniach. Państwa rozmówcy dzwonią z samochodu, na głośniku albo z ulicy. Ich głos dociera do modelu przez linię telefoniczną, a numer przesyłki czytają z wiadomości w telefonie, i to szybko. Zanim zaufają Państwo liczbie od dostawcy, warto zapytać, na ile jego nagrania przypominają takie rozmowy.

• Czyje głosy nagrano, w jakim języku i w jakiej odmianie regionalnej?
• Czy mówiący czytali z kartki, czy mówili swobodnie?
• Czy dźwięk szedł przez linię telefoniczną, czy przez mikrofon studyjny?
• Czy wokół był hałas, czy nagrywano w cichym pokoju?

Jakie słowa decydują o rozmowie?

Irena wzięła 50 nagranych rozmów z jednego zwykłego tygodnia pilotażu, tego z wtorkową rozmową, więc ona też jest wśród nich. Tak wyglądają jej wieczory: rozmówcy w samochodzie, na głośniku i na ulicy, starsi rozmówcy, osoby z akcentem i kilka osób, które nazwę ulicy podały w innym języku. Nagrania trzeba wybierać takie, które zespołowi wolno wykorzystać w takim teście, a transkrypcje przechowywać równie starannie jak same nagrania.

Transkrypcje Modelu A z tych rozmów były już gotowe po pilotażu. Irena poprosiła dostawcę, żeby na tych samych nagraniach uruchomił jeszcze Model B, drugiego kandydata, i ocenił oba modele według poprawnych słów ogółem na tych rozmowach. Dwóch konsultantów, którzy codziennie odbierają takie telefony, odsłuchało potem każde nagranie raz, spisało słowa decydujące o rozmowie dokładnie tak, jak powiedział je rozmówca, i sprawdziło w obu transkrypcjach już tylko te słowa.

Ocena była surowa. Numer przesyłki liczył się jako poprawny tylko wtedy, gdy zgadzała się każda litera i każda cyfra, bo numer prawie dobry nie znajdzie żadnej paczki albo znajdzie cudzą. Nazwisko liczyło się, gdy zgadzało się z nazwiskiem na paczce, a „nie” wtedy, gdy transkrypcja je zachowała.

W jednej rozmowie może paść naraz numer przesyłki, nazwisko i dzień, więc suma 150 według konsultantów to liczba słów, a nie rozmów.

Który model usłyszał je dobrze?

Według wyniku dostawcy dla tych 50 rozmów Model A był lepszy: 94 słowa na 100 poprawnie, wobec 92 u Modelu B. Sprawdzenie przez konsultantów dało jednak przewagę Modelowi B.

Model B zapisał poprawnie 131 ze 150 słów decydujących o rozmowie, a Model A 112. Największa różnica dotyczyła numerów przesyłek, 40 z 44 wobec 30. Gdy rozmówcy czytali numer szybko, Model A gubił cyfrę albo zamieniał dwie miejscami.

Model A zgubił też 3 z 18 „nie”, w tym to z wtorkowej rozmowy. Model B w tych 50 rozmowach zachował wszystkie 18. Z nazwiskami oba modele miały kłopot: Model A zapisał poprawnie 20 z 36, Model B 23, więc przy nazwisku nie należy polegać wyłącznie na transkrypcji żadnego z nich.

Większość słów, przez które Model B wypadł gorzej w wyniku ogólnym, to drobiazgi i wtrącenia, takie jak „yyy”, „no” czy „że”, od których nic nie zależy. Irena wybrała Model B dla infolinii. Jeśli w Państwa własnym teście dwa modele wypadną podobnie na słowach decydujących o rozmowie, lepiej dołożyć rozmów przed decyzją.

Co, jeśli model się przesłyszy?

Pomyłka może się skończyć na trzy sposoby. Wyłapie ją sprawdzenie w Państwa systemie, wyłapie ją agent przy powtórzeniu prośby albo przejdzie dalej bez żadnej kontroli.

Model A pomylił się w 38 ze 150 słów decydujących o rozmowie. Jego 14 błędnych numerów przesyłek nie pasowało do żadnej paczki, więc agent pytał jeszcze raz, a 16 błędnych nazwisk nie zgadzało się z nazwiskiem na paczce, więc agent prosił rozmówcę o przeliterowanie. Pozostałych 8 pomyłek nic nie zatrzymało: 4 adresy, 1 dzień i 3 „nie”. W pilotażu agent nie powtarzał próśb, więc te 8 pomyłek przeszło dalej tak, jak model je usłyszał.

Model B pomylił się w 19 ze 150. W jego transkrypcjach sprawdzenie w systemie wyłapałoby 4 błędne numery przesyłek i 13 błędnych nazwisk. Jego 2 błędne adresy bez powtórzenia przeszłyby dalej.

Gdy model usłyszał numer przesyłki dobrze, agent znajdował paczkę za pierwszym razem. W tych rozmowach żaden przesłyszany numer nie pasował do cudzej paczki, choć mógłby, dlatego agent sprawdza też nazwisko.

Państwa system nie sprawdzi nowego adresu, nowego dnia ani miejsca, w którym rozmówca chce zostawić paczkę. Dlatego agent powtarza każdą prośbę, która coś zmienia: własnymi słowami mówi, co zamierza zrobić, i dopiero potem pyta, czy to się zgadza. Dzięki temu rozmówca słyszy właśnie to, co ma sprawdzić, czyli samą czynność. W przypadku „nie” powtórzenie to jedyna kontrola, bo żaden zapis nie powie, czy rozmówca wypowiedział to słowo.

Gdyby agent powtórzył prośbę, wtorkowa rozmowa z tą samą transkrypcją od Modelu A przebiegłaby tak:

Rozmówca: „Proszę, żeby paczka nie została u sąsiada obok. Jestem poza domem do czwartku i odbiorę ją osobiście.”

Agent: „Czyli zostawimy paczkę u sąsiada. Czy to się zgadza?”

Rozmówca: „Nie, proszę tego nie robić. Odbiorę ją osobiście, gdy wrócę w czwartek.”

Agent: „Przepraszam za pomyłkę. Czyli zatrzymamy paczkę w magazynie do odbioru w czwartek. Czy to się zgadza?”

Rozmówca: „Tak, dziękuję.”

Zgubione przez Model A „nie” da się poprawić jeszcze w tej samej rozmowie, bez drugiego telefonu w czwartek, od zdenerwowanego rozmówcy. Agent przeprasza raz i od razu podaje poprawione ustalenie, więc rozmówca sprawdza też nowy plan. Powtórzenie nie wyłapie każdej pomyłki. Tę by wyłapało: paczka z wtorku zostałaby w magazynie.

Co naprawi lista słów?

Po wyborze modelu można mu jeszcze dać listę słów. Dla [firma] to nazwy ulic i miejscowości, do których dowozi paczki, format numeru przesyłki, czyli dwie litery i osiem cyfr, oraz nazwy jej usług. Dostawcy nazywają taką listę „custom vocabulary” albo „keywords” i pomaga ona każdemu modelowi w słowach, z którymi jeszcze się nie zetknął.

Irena dodała ulice i miejscowości z terenu, który obsługuje [firma], i jeszcze raz puściła te same 50 rozmów przez Model B. Za drugim razem zapisał poprawnie wszystkie 22 adresy.

Modele warto więc porównywać na tym, czego lista słów nie naprawi. Żadna lista nie nauczy modelu zachowywać „nie” ani słyszeć języka Państwa rozmówców tak, jak naprawdę nim mówią, z regionalną odmianą, akcentami i głosami starszych osób. Hałas z samochodu, głośnika czy ulicy na linii telefonicznej też nie zniknie dzięki liście. Wybór modelu rozstrzyga też o tym, czy zapisuje on tekst jeszcze w trakcie wypowiedzi rozmówcy, czy dopiero po jej zakończeniu. Model, który czeka, opóźnia każdą odpowiedź. O tej pauzie piszemy w artykule o tym, dlaczego agent AI każe rozmówcom czekać.

Nazwiska nadal sprawiają kłopot. Żadna lista nie pomieści nazwiska każdego rozmówcy, więc agent dalej porównuje je z nazwiskiem na paczce.

Co dzieje się z transkrypcją już po modelu, od porządkowania liczb i dat po ustalanie, czego chce rozmówca, opisujemy w artykule o tym, jak voice AI poprawia to, co źle usłyszy.

Jeśli Państwa infolinia odbiera rozmowy w więcej niż jednym języku, test trzeba powtórzyć dla każdego z nich. Model, który najlepiej słyszy rozmówców mówiących po niemiecku, nie musi być tym, który najlepiej słyszy mówiących po turecku.

Gdzie pomaga DRING?

DRING nie przywiązuje agenta do jednego modelu rozpoznawania mowy. W speech core DRING modele mowy, języka i głosu dobiera się osobno dla każdego agenta i języka, a proces można przełączyć na inny model bez zmiany platformy. Rozmówców mówiących po niemiecku i po turecku mogą słyszeć różne modele. Rozmowa jest transkrybowana w czasie rzeczywistym, a potem poprawiana i normalizowana, zanim agent zacznie analizę.

W Agent Factory, czyli tam, gdzie DRING buduje, testuje i ulepsza swoich agentów, Państwa rozmowy i procesy stają się działającym agentem, a trudne rozmowy zamieniają się w testy. Rozmowa taka jak ta wtorkowa może stać się jednym z nich. Mocniejszy model rozpoznawania mowy trafia na produkcję dopiero po przejściu testów regresji, które obejmują cały stos.