Come valutare un pilota di AI vocale da 30 giorni

In breve

Un pilota di AI vocale è riuscito quando al giorno 30 ogni metrica raggiunge il suo target e nessuna soglia di stop è stata superata. Target e soglie di stop sono riportati su una scheda del pilota, firmata prima di passare alle chiamate reali. Se fissate i criteri dopo le chiamate, il giorno 30 diventa una discussione su quali chiamate contano. Se li fissate prima, al giorno 30 basta una riunione breve.

Misurate una baseline sullo stesso tipo di chiamata, in un periodo confrontabile. Mettete cinque metriche su un'unica scheda del pilota: tasso di risoluzione, tasso di ricontatto, tasso di azioni errate, qualità dei trasferimenti e impegno del personale. Date a ciascuna una definizione esatta, un target e una soglia di stop, e leggete la stessa scheda a ogni punto settimanale.

Al giorno 30 applicate la regola concordata in anticipo. Se ogni target è raggiunto, si passa all'Ampliamento. Se una o due metriche sono fuori target e un'unica causa nota le spiega, si sceglie la Proroga: una sola volta, di due settimane. Si decide lo Stop se si supera una soglia di stop, se più di due metriche sono fuori target o se lo scarto non ha un'unica causa nota. Per alcune soglie di stop basta una sola chiamata, per esempio un'azione errata con conseguenze economiche o legali.

Per le fasi di realizzazione che precedono il pilota, leggete il nostro piano di 90 giorni per l'AI vocale.

Perché le impressioni non sono un verdetto

Dopo 30 giorni, il responsabile ricorda quell'unica chiamata in cui l'agente ha frainteso un cliente arrabbiato. Il team di progetto ricorda le chiamate filate lisce che ha fatto ascoltare in riunione. Entrambi i ricordi dicono poco delle centinaia di chiamate che nessuno ha sentito.

I numeri scelti a posteriori hanno lo stesso problema: è facile prendere la metrica che fa più bella figura, o allargare il significato di «risolto» finché i conti tornano. Per questo il responsabile operations, il revisore qualità, il responsabile dei sistemi e lo sponsor firmano la scheda del pilota prima del giorno 1. Durante il pilota, target e soglie di stop non cambiano.

Passo 1: misurate la baseline

La baseline è il risultato che lo stesso tipo di chiamata ottiene oggi, misurato con le definizioni del pilota. Senza baseline, un tasso di risoluzione del 70% non è né buono né cattivo. Un tipo di chiamata è un processo con un solo esito atteso. Nell'esempio di questo articolo i clienti chiamano per spostare un appuntamento già fissato con il tecnico, e la chiamata deve chiudersi con un nuovo orario accettato dal cliente.

Prendete la baseline da un periodo confrontabile:

• Stessi giorni e stessi orari: quattro settimane complete, negli orari in cui risponderà l'agente.
• Stessa stagione o campagna: non una settimana di promozioni contro una settimana tranquilla, né la settimana di Ferragosto contro una settimana normale.
• Stesso mix di chiamate: stesso tipo di chiamata, stesse lingue, stessi gruppi di clienti. Se il pilota riguarda solo le chiamate serali, la baseline è quello che succedeva prima alle chiamate serali, anche se finivano in segreteria telefonica.

Non riutilizzate i vecchi codici di esito: un clic su «risolto» può voler dire qualcosa di diverso da un nuovo orario nel sistema di prenotazione. Rietichettate con le regole del pilota un campione casuale di chiamate della baseline, e usatelo anche per misurare le azioni errate del vostro team. Il nostro articolo sul tasso di contenimento e di risoluzione spiega perché una chiamata senza trasferimento non è ancora una chiamata risolta.

Se una metrica non è mai stata misurata, scrivete «non misurata» sulla scheda, fissate il target in base a ciò che serve al business case e in seguito non dichiarate miglioramenti su quella metrica.

Passo 2: scrivete la scheda del pilota

La scheda del pilota contiene cinque metriche e ognuna risponde a una domanda diversa: così un buon numero su una non può nascondere un cattivo numero su un'altra. Per ogni metrica scrivete numeratore, denominatore e che cosa resta escluso. Poi fissate due livelli. Il target è il livello a cui il business case funziona. La soglia di stop è il punto in cui vi fermate, qualunque cosa dicano le altre metriche. Una metrica che sta tra i due livelli è fuori target.

Tutti i valori della scheda sono un esempio inventato per questo articolo, non dati di un'azienda reale.

Il target del tasso di risoluzione è volutamente sotto la baseline. Scrivete il motivo sulla scheda: il business case funziona al 70% se l'impegno del personale scende da 640 a 250 minuti o meno ogni 100 chiamate. Per l'impegno del personale contano solo le settimane 3 e 4, perché nella settimana 1 i revisori leggono tutte le chiamate e la prima correzione arriva nella settimana 2.

Soglie di stop che scattano con una sola chiamata

Alcuni errori costano troppo per aspettare che diventino un tasso:

• Un'azione errata con conseguenze economiche o legali, come un addebito, un rimborso o l'annullamento di un intervento a pagamento.
• Dati personali comunicati a chi chiama e non ha superato la verifica d'identità.
• Un cliente che segnala un pericolo, per esempio odore di gas, e non viene passato subito a una persona.

Basta uno solo di questi casi per chiudere il pilota in anticipo, e le chiamate tornano al percorso precedente il giorno stesso. Ripartire dopo una correzione significa iniziare un nuovo pilota dal giorno 1. La soglia di stop di una metrica agisce più lentamente: il pilota si chiude in anticipo se il valore misurato della metrica è oltre la sua soglia di stop in due punti settimanali consecutivi. Contano solo i punti settimanali in cui quella metrica viene valutata: l'impegno del personale dalla settimana 3, i ricontatti solo quando sono passati i loro 7 giorni.

Il campione casuale di 100 chiamate a settimana lascia sfuggire la maggior parte degli errori elencati sopra, quindi andateli a cercare direttamente. Ogni settimana leggete tutte le chiamate che si chiudono con un addebito, un rimborso o un annullamento, tutte quelle in cui l'agente ha comunicato dati personali e tutte quelle che un cliente o un collega segnala come problematiche. Queste letture si aggiungono al campione casuale.

Passo 3: fate il punto settimanale

Al punto settimanale si legge la stessa scheda, lo stesso giorno ogni settimana, si controllano i conteggi e si sceglie al massimo una modifica all'agente.

Tre regole rendono le settimane confrontabili:

• Una modifica a settimana, registrata con la sua data. Con due modifiche non potete sapere quale ha spostato il numero.
• Definizioni fisse. Se una definizione si rivela sbagliata, cambiatela una volta sola, annotate il motivo e ricalcolate tutte le settimane precedenti.
• Conteggi accanto ai tassi. Scrivete «64% (256 su 400 chiamate)», non «64%».

La nostra guida al campionamento qualità nel call center spiega quali chiamate far leggere ai revisori.

Cosa possono dirvi i numeri, e cosa no

Ogni tasso del pilota è una stima. Per un tasso p misurato su n chiamate, un margine di errore approssimativo al 95% è dato da 1,96 × √(p(1 - p) / n). Con un tasso del 70% si ottiene:

• 100 chiamate: circa ±9,0 punti
• 400 chiamate: circa ±4,5 punti
• 1.000 chiamate: circa ±2,8 punti

Quindi un dato settimanale su 400 chiamate di solito resta entro circa 4,5 punti dal tasso reale, e una variazione di qualche punto da una settimana all'altra può essere puro caso. La formula presuppone chiamate indipendenti e un tasso non vicino allo 0% o al 100%. Il confronto con la baseline ha un margine più ampio: per due tassi intorno al 70% su 1.600 chiamate ciascuno, la differenza ha un margine di circa ±3,2 punti.

Nella settimana 1 dell'esempio il tasso di risoluzione è del 64% su 400 chiamate, circa ±4,7 punti. Il tasso reale potrebbe stare ovunque tra circa il 59,3% e il 68,7%: l'intervallo attraversa la soglia di stop e resta sotto il target. Al giorno 30 l'esempio conta 1.600 chiamate al 68%, circa ±2,3 punti. L'intervallo, da circa il 65,7% al 70,3%, è nettamente sopra la soglia di stop, con il target appena al suo interno.

Valgono altri tre limiti:

• Eventi rari. Nessuna azione errata su 300 chiamate riviste è ancora compatibile con un tasso reale fino a circa l'1%. È la «regola del tre»: con zero eventi su n chiamate, il limite superiore al 95% è circa 3 / n. Leggete e classificate ogni azione errata.
• Sottoinsiemi piccoli. Una lingua o un giorno della settimana con 60 chiamate ha un margine di circa ±11,6 punti al 70%. Ascoltate quelle chiamate invece di confrontarne il tasso.
• Ricontatti recenti. Al giorno 30 il tasso di ricontatto copre solo le chiamate fino al giorno 23. Per le chiamate successive i 7 giorni non sono ancora passati.

La decisione del giorno 30: Ampliamento, Proroga o Stop

Al giorno 30 calcolate i valori della scheda del pilota su tutte le chiamate dal giorno 1. Poi applicate la regola in quest'ordine:

• Stop se si supera una soglia di stop, se più di due metriche sono fuori target o se lo scarto non ha un'unica causa nota. Le chiamate tornano al percorso precedente e il motivo viene messo per iscritto per il pilota successivo.
• Ampliamento se ogni target è raggiunto e nessuna soglia di stop è superata. Spostate gradualmente sull'agente più chiamate dello stesso tipo, con la stessa scheda. Un nuovo tipo di chiamata ha bisogno di una sua scheda del pilota.
• Proroga se una o due metriche sono fuori target per un'unica causa nota. La proroga si concede una sola volta, di due settimane, con una sola correzione per quella causa e la stessa scheda, e si valuta solo sulle sue chiamate. Se a quel punto ogni target è raggiunto, si passa all'Ampliamento. Altrimenti la decisione è Stop.

Come leggere risultati misti

Al giorno 30 capita spesso un risultato misto: quattro metriche raggiungono il target e una no.

• Niente medie. Un tasso di risoluzione alto non compensa una prenotazione sbagliata.
• Prima di tutto il cliente. Il tasso di azioni errate e le soglie di stop che scattano con una sola chiamata non si barattano mai con il tasso di risoluzione o con l'impegno del personale. Se il tasso di azioni errate è fuori target, la Proroga è possibile solo se tutte le azioni errate hanno la stessa causa nota e la correzione la elimina.
• Leggete lo scarto rispetto al margine. Il 68% non raggiunge un target del 70%. Ma uno scarto più piccolo del margine, con una causa nota, è un caso tipico di Proroga.
• Cercate dove sta la causa. Se le chiamate falliscono perché non c'è un orario libero, un agente migliore non risolve il problema. Se l'impegno del personale non raggiunge il target, controllate se sta ancora scendendo dalla settimana 3 alla settimana 4.

Esempio: una scheda al giorno 30

Valori di esempio, non dati reali.

Una metrica è fuori target e nessuna soglia di stop è superata. Nel gruppo più numeroso di chiamate non risolte il cliente chiede un orario serale, che il sistema di prenotazione mostra solo al personale. La causa è nota e basta una sola correzione, quindi la decisione è Proroga: due settimane, la stessa scheda e gli orari serali aperti all'agente. Con circa 400 chiamate a settimana, la proroga porta circa 800 nuove chiamate da valutare, con un margine di circa ±3,2 punti al 70%.

Dove entra in gioco DRING

Con DRING un agente è operativo in una settimana. Usate quella settimana per rietichettare il campione della baseline preso dalle chiamate passate e firmare la scheda del pilota prima di passare alle chiamate reali. Prima di rispondere a una chiamata reale, ogni agente DRING affronta da 1.000 a 10.000 conversazioni simulate, costruite per la vostra azienda. È un test prima del lancio, non il pilota. La simulazione può far emergere presto le lacune, ma non dà né una baseline né un tasso di risoluzione su clienti veri. Il nostro articolo sulle conversazioni simulate spiega che cosa coprono.

Durante il pilota, l'analisi post-chiamata può restituire campi aggiuntivi definiti da voi, come l'esito di ogni chiamata, tramite API, CRM, dashboard e report. I revisori continuano a leggere le chiamate, e i campi danno a ogni punto settimanale le stesse etichette. La pagina sull'analisi delle chiamate mostra dashboard e report.