Quale modello sente bene chi chiama?

Provate sulle vostre chiamate

Un martedì sera di quest'estate una persona ha telefonato a [azienda], che consegna pacchi per i negozi online, e all'agente AI che rispondeva ha detto: «Buonasera, chiamo per il pacco PX 4827 3315. Per favore non lo lasci al vicino della porta accanto. Sono via fino a giovedì e lo ritiro io.» La trascrizione aveva tutte le parole giuste tranne «non». Senza quella parola la frase chiedeva il contrario, e il pacco è stato lasciato al vicino. Giovedì la stessa persona ha chiamato di nuovo, arrabbiata.

Irene, che gestisce il servizio clienti di [azienda], ha letto la trascrizione la mattina dopo. Mancava una parola, ed era proprio quella su cui ruotava la chiamata. Per tutta l'estate l'agente aveva risposto alle chiamate serali in un progetto pilota, con il modello di riconoscimento vocale incluso nella soluzione del fornitore, che in questo articolo chiamiamo Modello A. Il fornitore dava al Modello A un punteggio alto per le parole giuste in totale. [azienda], Irene, il progetto pilota, le chiamate, i due modelli e tutti i conteggi di questo articolo sono un esempio, non dati reali.

Un punteggio così non avrebbe messo in guardia Irene. Conta tutte le parole allo stesso modo, mentre una chiamata si regge su poche parole decisive: il codice di tracking, il cognome, il giorno, l'indirizzo e ogni «non» che ribalta una richiesta. Il modello che sente bene chi vi chiama è quello che scrive giuste proprio quelle parole. Se dovete scegliere il riconoscimento vocale per le chiamate, o speech-to-text come si dice anche, provate i candidati sulle vostre chiamate registrate. Segnate le parole decisive di ogni registrazione, contate quante ne scrive esattamente giuste ciascun modello e guardate che fine fa ogni errore. Poi scegliete in base a ciò che un elenco di parole non potrà correggere in seguito, e fate in modo che l'agente ripeta ogni richiesta che cambia qualcosa.

Ci si può fidare del punteggio?

La pagina del fornitore riassume un modello in un numero solo, cioè quante parole su 100 ha scritto giuste. Alcune pagine contano invece gli errori e riportano il tasso di errore sulle parole, il «word error rate». In ogni caso è una media su tutte le parole con cui il modello è stato provato, quindi un «ehm» vale quanto la terza cifra di un codice di tracking.

Valutata così, la trascrizione di martedì sembra ottima. Il modello ha scritto il codice di tracking, il vicino, il giorno e tutto il resto, e ha perso solo il «non», la parola che ribaltava la richiesta.

Il punteggio, poi, è stato misurato su registrazioni di altri. Chi vi chiama è in auto, in vivavoce o per strada. La sua voce arriva al modello attraverso una linea telefonica e il codice di tracking lo legge di fretta, da un messaggio sul telefono. Prima di fidarvi del numero del fornitore, chiedete quanto le sue registrazioni somigliano a chiamate così.

• Di chi sono le voci registrate, in quale lingua e con quale inflessione regionale?
• Le persone leggevano un testo o parlavano liberamente?
• L'audio arrivava da una linea telefonica o da un microfono da studio?
• C'era rumore intorno o la stanza era silenziosa?

Quali sono le parole decisive?

Irene ha preso 50 chiamate registrate da una settimana normale del progetto pilota, la stessa della chiamata di martedì, che quindi è tra quelle. Somigliano alle sue serate: chi chiama dall'auto, in vivavoce o all'aperto, persone anziane, accenti diversi e qualcuno che ha detto il nome di una via in un'altra lingua. Scegliete registrazioni che il vostro team ha il permesso di usare per questo scopo e conservate le trascrizioni con la stessa cura delle registrazioni.

Le trascrizioni del Modello A su quelle chiamate c'erano già, grazie al progetto pilota. Irene ha chiesto al fornitore di far girare sulle stesse registrazioni il Modello B, il secondo candidato, e di calcolare per entrambi i modelli le parole giuste in totale su queste chiamate. Poi due operatori che rispondono ogni giorno a chiamate come queste hanno ascoltato ogni registrazione una volta, hanno annotato le parole decisive come le aveva dette chi chiamava e hanno controllato le due trascrizioni solo su quelle parole.

Il controllo era severo. Un codice di tracking contava come giusto solo se ogni lettera e ogni cifra erano giuste, perché un codice quasi giusto non trova nessun pacco, o trova quello di un altro. Un cognome valeva se coincideva con il nome sul pacco, e un «non» se la trascrizione lo manteneva.

In una stessa chiamata possono comparire un codice di tracking, un cognome e un giorno, perciò il totale di 150 degli operatori conta parole, non chiamate.

Quale modello le ha azzeccate?

Sul punteggio del fornitore per queste 50 chiamate era avanti il Modello A, con 94 parole giuste su 100 contro le 92 del Modello B. Il controllo degli operatori ha messo in testa il Modello B.

Il Modello B ha scritto giuste 131 delle 150 parole decisive, il Modello A 112. Il divario maggiore è nei codici di tracking, 40 su 44 contro 30. Quando chi chiamava leggeva il codice di fretta, il Modello A perdeva una cifra o ne scambiava due.

Il Modello A ha perso anche 3 dei 18 «non», e uno era quello di chi aveva chiamato martedì. Il Modello B li ha mantenuti tutti e 18 in queste 50 chiamate. I cognomi sono stati difficili per entrambi, con 20 giusti su 36 per il Modello A e 23 per il Modello B, quindi per un cognome nessuna delle due trascrizioni basta da sola.

Quasi tutte le parole che facevano restare indietro il Modello B nel punteggio complessivo erano parole piccole e intercalari, come «ehm», «cioè» e «il», che non cambiano niente per nessuno. Irene ha scelto il Modello B per il suo servizio clienti. Se nel vostro test due modelli arrivano vicini sulle parole decisive, aggiungete chiamate prima di decidere.

Cosa succede quando sente male?

Un errore può finire in tre modi. Lo ferma un controllo sui vostri dati, lo ferma l'agente ripetendo la richiesta, oppure passa inosservato.

Il Modello A ha sbagliato 38 delle 150 parole decisive. I suoi 14 codici di tracking sbagliati non corrispondevano a nessun pacco, quindi l'agente ha chiesto di nuovo il codice, e i 16 cognomi sbagliati non coincidevano con il nome sul pacco, quindi l'agente ha chiesto di sillabarlo. Gli altri 8 errori non avevano nulla che li fermasse, cioè 4 indirizzi, 1 giorno e 3 «non». Nel progetto pilota l'agente non ripeteva le richieste, quindi quegli 8 sono passati così come li aveva sentiti il modello.

Il Modello B ne ha sbagliate 19 su 150. Sulle sue trascrizioni il controllo sui dati avrebbe fermato 4 codici di tracking sbagliati e 13 cognomi sbagliati. I 2 indirizzi sbagliati, senza la ripetizione, non avrebbero trovato nulla a fermarli.

Quando il modello sentiva giusto il codice di tracking, l'agente trovava il pacco al primo tentativo. In queste chiamate nessun codice sentito male corrispondeva al pacco di un altro, ma può succedere, ed è per questo che l'agente controlla anche il cognome.

I vostri dati non permettono di controllare un indirizzo nuovo, un giorno nuovo o dove chi chiama vuole che venga lasciato il pacco. Per questo l'agente ripete ogni richiesta che cambia qualcosa, dicendo prima con parole sue cosa sta per fare e chiedendo poi se è giusto. Così chi chiama sente l'azione, ed è proprio quella la parte da controllare. Per un «non» la ripetizione è l'unico controllo possibile, perché nessun dato può dire se chi chiamava aveva detto «non».

Se l'agente avesse ripetuto la richiesta, la chiamata di martedì sarebbe andata così, con la stessa trascrizione del Modello A.

Chi chiama: «Per favore non lo lasci al vicino della porta accanto. Sono via fino a giovedì e lo ritiro io.»

Agente: «Quindi lasciamo il pacco al suo vicino. È corretto?»

Chi chiama: «No, non lo lasci, per favore. Lo ritiro io giovedì, quando torno.»

Agente: «Mi scusi per l'errore. Quindi il suo pacco resta in filiale fino a giovedì, quando lo ritira lei. È corretto?»

Chi chiama: «Sì, grazie.»

Il «non» perso dal Modello A diventa una correzione nella stessa chiamata, invece di una seconda chiamata arrabbiata giovedì. L'agente si scusa una volta sola e passa subito all'azione corretta, così chi chiama controlla anche cosa succederà adesso. La ripetizione non ferma ogni errore. In questo caso, però, il pacco di martedì sarebbe rimasto in filiale.

Cosa può correggere un elenco di parole?

Dopo la scelta potete ancora dare al modello un elenco di parole. Per [azienda] sono i nomi delle vie e delle località in cui consegna, il formato del codice di tracking, fatto di due lettere e otto cifre, e i nomi dei suoi servizi. I fornitori lo chiamano «custom vocabulary» o «keywords», e aiuta qualsiasi modello con le parole che non ha mai incontrato.

Irene ha aggiunto le vie e le località della zona di [azienda] e ha fatto passare di nuovo le stesse 50 chiamate dal Modello B. Alla seconda prova ha scritto giusti tutti i 22 indirizzi.

Confrontate quindi i modelli su ciò che un elenco di parole non può correggere. Nessun elenco insegna a un modello a mantenere un «non», né a capire chi vi chiama così come parla davvero, tra inflessioni regionali, accenti e persone anziane. Se la linea telefonica è rumorosa perché si chiama dall'auto, in vivavoce o dalla strada, lo resta anche con un elenco. Scegliere il modello vuol dire scegliere anche se scrive mentre chi chiama sta ancora parlando o solo dopo che ha smesso. Un modello che aspetta rallenta ogni risposta, e di quella pausa si occupa il nostro articolo su perché l'agente AI fa aspettare i clienti.

Anche i cognomi restano difficili. Nessun elenco contiene il cognome di chiunque chiami, quindi l'agente continua a confrontarlo con il nome sul pacco.

Cosa succede alla trascrizione dopo il modello, dalla pulizia di numeri e date alla comprensione di ciò che vuole chi chiama, lo trovate nel nostro articolo su come l'AI vocale corregge ciò che sente male.

Se il vostro servizio clienti risponde in più lingue, ripetete il test per ciascuna. Il modello migliore con chi chiama in tedesco può non esserlo con chi chiama in turco.

Dove entra DRING?

DRING non lega un agente a un solo modello. Nello speech core di DRING i modelli di riconoscimento vocale, di linguaggio e di voce si scelgono per agente e per lingua, e un processo può passare a un modello diverso senza cambiare piattaforma. Chi chiama in tedesco e chi chiama in turco possono essere ascoltati da modelli diversi. La chiamata viene trascritta in tempo reale, poi corretta e normalizzata prima che l'agente ragioni.

Nell'Agent Factory, dove DRING costruisce, testa e migliora i suoi agenti, le vostre chiamate e i vostri processi diventano un agente operativo e le conversazioni difficili diventano test. Una chiamata come quella di martedì può diventare uno di quei test. Un modello di riconoscimento vocale migliore va in produzione solo dopo aver superato la suite di regressione che gira su tutta la piattaforma.