Demo riuscita, chiamate reali no: dove cede?

In breve

Un agente vocale che supera la demo e poi fallisce sulle chiamate reali non è peggiorato all'improvviso. Le chiamate reali attraversano gli stessi sette livelli della demo, dall'audio della linea e dal riconoscimento vocale fino agli strumenti, al passaggio a un operatore e alla misurazione. La demo non ha mai messo alla prova il livello che ora cede in condizioni reali.

Quindi non partite dalla riscrittura del prompt. Prendete le chiamate reali fallite, fate passare ognuna attraverso i livelli, in ordine, e assegnatela al primo livello che ha ceduto. Il livello con più chiamate è quello che sta cedendo, ed è da lì che parte la prima correzione. Fate solo quella correzione, ripetete il test sulle stesse chiamate e confrontate.

Questo articolo riguarda una linea già in produzione. Se non siete ancora partiti, cominciate dalla nostra guida su come testare un agente vocale prima della messa in produzione.

Perché la demo è andata bene

Una demo è un test amichevole. Chi chiama conosce il copione, parla chiaro in una stanza silenziosa e aspetta che l'agente finisca. I dati di test sono puliti: l'ordine esiste e l'orario è libero.

Nelle chiamate reali le persone interrompono. Telefonano dall'auto o dal magazzino, usano termini locali e abbreviazioni, e fanno domande su temi collegati che il flusso non prevede. A volte all'altro capo non c'è nemmeno la persona che il flusso si aspettava: risponde il commercialista al posto del titolare, risponde un familiare oppure la chiamata arriva a un altro reparto.

Ognuna di queste condizioni mette alla prova un livello diverso. Una buona demo dimostra che i livelli reggono con un input pulito, non quale cede per primo con il traffico reale.

I sette livelli che una chiamata attraversa

Ogni chiamata attraversa gli stessi livelli, nello stesso ordine. Un cedimento in un livello iniziale produce sintomi in quelli successivi, quindi i sintomi da soli spesso indicano il punto sbagliato.

• Audio della linea e telefonia: la chiamata si collega, l'audio passa nei due sensi senza ritardi né eco e la chiamata si chiude in modo pulito.
• Riconoscimento vocale: ciò che dice chi chiama diventa testo.
• Conoscenze: le informazioni che l'agente può usare, come regole aziendali, dettagli sui prodotti e risposte alle domande frequenti.
• Decisione: la logica della conversazione, cioè cosa dire o chiedere dopo, quando confermare, quando passare la chiamata e come chiuderla.
• Strumenti e azioni di sistema: letture e scritture nel CRM, nel sistema di prenotazione o in quello dei ticket.
• Passaggio a un operatore: il trasferimento o la richiamata, e il contesto che riceve il vostro collega.
• Misurazione: l'esito registrato corrisponde a quello che è successo davvero.

C'è poi un ostacolo che non è un livello AI. Alcune chiamate falliscono sul lato aziendale: merce esaurita, nessun orario libero o dati non aggiornati nel vostro sistema. L'agente ha fatto il suo lavoro, ma l'azienda non poteva dare quello che serviva. Contate queste chiamate a parte e passatele al responsabile di quel processo.

Partite da chi chiama davvero, non dal foglio di test

Prendete tutte le chiamate reali di un periodo recente, non gli scenari del vostro foglio di test. Poi togliete le chiamate di test interne: stesso numero e stesse battute da copione, ripetute a pochi minuti di distanza. Un tester non parla come un cliente vero.

Il passo successivo è controllare su un campione gli esiti assegnati. Se le segreterie telefoniche contano come conversazioni o le prenotazioni andate a buon fine contano come fallimenti, è sbagliato già l'insieme delle chiamate fallite. La misurazione è l'ultimo livello, ma il primo da verificare.

Infine ascoltate l'audio. La trascrizione mostra cosa ha sentito il riconoscimento vocale, ma solo la registrazione mostra cosa ha detto chi chiama.

Tabella di diagnosi: dal sintomo al livello

Usate la tabella su una chiamata fallita alla volta, e trovate la prova prima di assegnare il livello.

Contate ogni chiamata fallita una volta sola, al primo cedimento

È così che leggiamo le chiamate fallite in DRING. Ogni chiamata fallita attraversa i livelli in ordine e riceve una sola etichetta: il primo livello che ha ceduto. Una frase capita male che porta a una risposta sbagliata e poi a una prenotazione fallita è un solo cedimento del riconoscimento vocale, non tre problemi.

Con un solo valore per chiamata, la somma dei conteggi dà il totale delle chiamate fallite, e il conteggio più alto mostra dove una sola correzione può recuperare più chiamate.

L'alternativa più diffusa è etichettare ogni sintomo ovunque compaia. Con questo metodo, le 200 chiamate fallite dell'esempio qui sotto hanno ricevuto 355 etichette. La decisione ne ha raccolte più di ogni altro livello, 104, perché una frase capita male di solito rende sbagliata anche la risposta successiva. Eppure la decisione è stata il primo cedimento solo in 40 chiamate. Le etichette per sintomo si sovrappongono, il loro totale non corrisponde al numero di chiamate fallite e fanno sembrare urgente ogni livello. Mostratele a parte, se servono, ma ordinate le correzioni in base ai primi cedimenti.

Le cifre di questa sezione sono un esempio per questo articolo, non dati di una linea reale.

In questo esempio il primo livello su cui lavorare è il riconoscimento vocale: è il primo cedimento in 62 chiamate su 200. Le 22 chiamate del lato aziendale non sono un difetto dell'AI. Nessuna modifica all'agente libera un orario in agenda o aggiorna un listino prezzi vecchio nel vostro sistema.

Riconoscimento vocale: la maggior parte delle correzioni sta nella decisione

Il primo cedimento mostra dove la chiamata è uscita di strada, non sempre dove va la correzione. Su una linea telefonica molti errori di riconoscimento non si possono correggere nel livello del riconoscimento: l'audio è compresso, e un muletto può coprire la voce. La conversazione deve restare corretta anche quando il testo è sbagliato, e questo lavoro si fa nel livello della decisione:

• Non si risponde a una frase che non torna. Quando il testo riconosciuto non corrisponde alla domanda che l'agente ha appena fatto, l'agente non agisce e non apre un nuovo argomento. Dice che non ha capito e chiede di ripetere.
• Tenete un elenco dei fraintendimenti noti. Le parole che il riconoscimento sbaglia nelle chiamate reali finiscono in un elenco, e l'agente le conferma con una domanda invece di tirare a indovinare.
• Usate i dati di sistema. Quando l'ordine o il record è già noto, l'agente lo rilegge e chiede «È questo?»
• Aggiungete per ultimo un elenco di parole chiave. Un elenco di nomi e termini di prodotto è un'impostazione di riconoscimento poco costosa, ma viene dopo i tre passi qui sopra.

Un esempio scritto per questo articolo, non una chiamata reale: un turno capito male, gestito in due modi.

La prima risposta trasforma un errore di riconoscimento in un ordine annullato. La seconda tiene la parte che torna e chiede di ripetere il resto. Per approfondire questo livello, leggete come l'AI vocale corregge ciò che capisce male.

Strumenti e passaggio a un operatore: fidatevi del log, non della frase

Un agente che dice «Il suo appuntamento è fissato» ha prodotto una frase, non una prenotazione. Controllate il log dello strumento per ogni azione: la richiesta è partita, cosa è tornato, c'era un ID del record? L'agente dovrebbe confermare un'azione solo dopo una risposta andata a buon fine. La nostra guida all'aggiornamento del CRM spiega cosa deve lasciare una chiamata.

Anche il passaggio a un operatore cede senza far rumore. Il trasferimento avviene, ma il riepilogo arriva tardi o non arriva proprio. Ascoltate i primi secondi dopo ogni trasferimento. Se il vostro collega chiede al cliente perché sta chiamando, il passaggio è fallito. Per sapere cosa deve contenere il contesto, leggete come progettare il passaggio a un operatore.

La chiusura: contate i saluti

Molti flussi chiudono la chiamata a tempo, oppure appena il compito è svolto. Sulle chiamate reali questo interrompe le persone a metà di una domanda o di un ringraziamento. L'agente non dovrebbe riattaccare prima di aver sentito il saluto del cliente.

Per ogni chiamata chiusa dall'agente, leggete l'ultima frase del cliente prima della chiusura. C'era un saluto? La quota di chiamate senza saluto è il vostro tasso di chiamate troncate, e appartiene al livello della decisione.

Correggete un livello alla volta

La tabella dei primi cedimenti stabilisce l'ordine del lavoro:

1. Scegliete il livello AI con il conteggio più alto. Il lato aziendale va al suo responsabile.
2. Fate una sola modifica mirata a quelle chiamate. Per i cedimenti del riconoscimento vocale, di solito questa modifica va fatta nel livello della decisione, come visto sopra. Con due modifiche insieme non potete sapere quale ha aiutato.
3. Ripetete il test sulle stesse chiamate fallite. Ora sono il vostro set di regressione: le stesse battute di chi chiama e, dove possibile, le stesse condizioni audio.
4. Confrontate i primi cedimenti prima e dopo sullo stesso tipo di traffico: stessa campagna, stesso tipo di lista o stessa fascia oraria inbound. Con una lista più facile qualunque modifica sembra buona.

Aspettatevi che alcune chiamate si spostino invece di sparire. Una chiamata che ora supera il riconoscimento vocale può cedere più avanti, negli strumenti. È un progresso: adesso si vede la correzione successiva. L'Agent Factory, il modo in cui DRING costruisce, testa e migliora gli agenti, segue la stessa regola: una modifica alla volta, testata prima del rilascio.

Dove entra in gioco DRING

Se un flusso già in produzione rende meno del previsto, parliamone in una richiamata. Preparate un campione di chiamate fallite, con le registrazioni dove le vostre regole interne lo consentono, e l'esito che ogni chiamata avrebbe dovuto raggiungere. Il nostro team può esaminarle con voi come descritto in questo articolo e vedere dove ciascuna ha ceduto per prima.

Le modifiche che toccano i vostri sistemi vanno definite a parte. Le azioni che un agente può compiere in un CRM dipendono dalla versione del CRM, dai permessi e dall'accesso alle API. Su DRING si possono definire campi di analisi aggiuntivi, restituiti tramite API, CRM, dashboard e report. Il primo livello che ha ceduto può essere uno di questi campi.

Ogni agente realizzato da DRING affronta da 1.000 a 10.000 conversazioni simulate, costruite per la vostra azienda, prima della prima chiamata reale. Le chiamate reali mostrano comunque ciò che è sfuggito alla simulazione, quindi il miglioramento dopo il lancio parte da chi chiama davvero.