Quando l'AI comunica il prezzo sbagliato

In breve

Una risposta errata in una chiamata AI raramente è un mistero. Entra da una di queste cinque porte: Fonte obsoleta, Fonte mancante, Domanda fraintesa, Errore di ricerca o Oltre il limite. Quattro si aprono fuori dal modello: Fonte obsoleta e Fonte mancante nelle fonti, Domanda fraintesa nel riconoscimento vocale, Errore di ricerca nei sistemi che l'agente consulta. Solo la porta Oltre il limite si apre nell'agente stesso, quando offre più di quanto gli è consentito.

Per questo la prevenzione è soprattutto un lavoro su fonti e limiti di autonomia. Ogni risposta passa dallo stesso filtro: viene da una fonte approvata, la fonte è aggiornata, la risposta rientra nel limite di autonomia e ogni numero, data e importo viene riletto. Se una risposta non supera una verifica, scatta il percorso di riserva: l'agente passa la chiamata a una persona oppure fissa una richiamata.

Qualche risposta errata passerà comunque. L'intervento segue un protocollo fisso: Contenimento, Individuazione, Rettifica, Documentazione, Nuovo test. La portata di un incidente è data dal suo periodo di esposizione: dal momento in cui la risposta errata è diventata possibile al momento in cui è stata corretta. Quel periodo non dipende dal modello, ma dalla rapidità con cui la vostra fonte recepisce un cambiamento in azienda, con cui vi accorgete di un problema e con cui lo contenete.

Tutti i numeri di esempio di questa guida sono stati creati apposta: non sono dati DRING né dati di settore.

Le cinque porte da cui entra una risposta errata

Ogni porta ha la sua contromisura.

Solo la porta Oltre il limite si chiude con il limite di autonomia. Le altre quattro porte si chiudono lavorando su fonti, rilettura e ricerche nel sistema. Un errore da Fonte mancante finisce con l'agente che tira a indovinare, ma nasce da una lacuna nella fonte, e la prima verifica del filtro delle risposte blocca quel tentativo. Per le ricerche che non vanno a buon fine, come in caso di timeout, leggete il nostro articolo che spiega perché il tool calling non è automazione.

Prevenzione: il filtro delle risposte

Il filtro delle risposte è una sequenza fissa di passaggi, uguale per ogni risposta. Prima che chi chiama senta la risposta ci sono tre verifiche: la risposta è in una fonte approvata? La fonte è aggiornata? La risposta rientra nel limite di autonomia? Poi l'agente rilegge ogni numero, data e importo prima di promettere o prenotare qualsiasi cosa. Un no a una qualsiasi delle tre verifiche manda la chiamata sul percorso di riserva.

Fonti approvate, ognuna con un responsabile e una data di decorrenza

Elencate tutte le fonti da cui l'agente può rispondere: il listino prezzi, le condizioni di reso, la knowledge base, la ricerca nel sistema ordini. Ognuna è una fonte approvata. Assegnate a ciascuna un responsabile della fonte, la persona che la modifica quando cambia qualcosa in azienda. Assegnate a ogni versione una data di decorrenza, cioè la data e l'ora da cui è valida.

Tenete una sola fonte approvata per argomento. Nell'incidente di esempio descritto più avanti, il listino del sito e la fonte dell'agente erano documenti separati, e solo uno è stato aggiornato in tempo.

Verifica 1: la risposta è in una fonte approvata?

Se la risposta non è in una fonte approvata, l'agente passa al percorso di riserva. Anche un tentativo fatto a fin di bene resta un errore da Fonte mancante.

Verifica 2: la fonte è aggiornata?

Inserite ogni nuova versione con la sua data di decorrenza prima che il cambio avvenga. Così la fonte è aggiornata nel momento in cui il prezzo cambia, non quando qualcuno si ricorda di modificarla. Se un cambio è in arrivo e la nuova versione non è pronta, spostate l'argomento sul percorso di riserva finché non lo è.

Verifica 3: la risposta rientra nel limite di autonomia?

Il limite di autonomia stabilisce cosa l'agente può dire o fare senza una persona. Definitelo argomento per argomento, su tre livelli:

Il livello «Deve passare la chiamata» porta al percorso di riserva: una persona prende la chiamata subito, oppure conferma più tardi con una richiamata. La nostra guida su come progettare il passaggio a un operatore spiega cosa deve ricevere la persona insieme alla chiamata.

Poi la rilettura: ogni numero, data e importo

Su una linea disturbata, sessanta e settanta si confondono facilmente. Per questo l'agente ripete ogni numero, data e importo che dice o su cui agisce, e chi chiama lo conferma prima che si prometta o si prenoti qualcosa. La rilettura intercetta anche una Domanda fraintesa, perché chi chiama sente di quale piano parla l'agente. Un esempio, dopo la correzione dell'incidente descritto più avanti:

• Cliente: «Quanto costa adesso il piano protezione?»
• Agente: «Il piano protezione costa 14 € al mese. Ripeto, quattordici euro al mese. È questo il piano che intendeva?»
• Cliente: «Sì, quattordici. Proprio quello.»

E lo stesso agente al limite della sua autonomia:

• Cliente: «La settimana scorsa sul vostro sito c'era scritto dodici. Me lo può fare a dodici?»
• Agente: «In questa chiamata non posso cambiare il prezzo, ma un mio collega può verificare. Vuole che glielo passi subito o preferisce che la richiamiamo?»

Testate il filtro prima della release

Prima della release, testate almeno un caso per ogni porta:

• Fonte obsoleta: un nuovo prezzo con una data di decorrenza. Le chiamate prima di quella data ricevono il prezzo vecchio, quelle successive il prezzo in vigore.
• Fonte mancante: domande che nessuna fonte approvata copre. L'agente passa al percorso di riserva.
• Domanda fraintesa: nomi di prodotto che si somigliano, con rumore di fondo. La rilettura intercetta quello sbagliato.
• Errore di ricerca: una ricerca che fallisce, non restituisce nulla o restituisce un altro ordine. L'agente non inventa un risultato e passa al percorso di riserva.
• Oltre il limite: una richiesta di sconto o di rimborso. L'agente passa la chiamata a una persona.

Per costruire il set di test completo, leggete la nostra guida su come testare l'AI vocale prima della messa in produzione.

Un incidente di esempio: un cambio di prezzo sfuggito all'agente

Esempio, non dati reali. Un rivenditore ha alzato il prezzo del suo piano protezione da 12 € a 14 € al mese, con decorrenza da lunedì alle 09:00. Il listino sul sito è stato aggiornato in tempo. La fonte approvata dell'agente era un documento separato, e nessuno lo ha aggiornato quando il prezzo è cambiato. Mercoledì alle 10:30 è arrivato il primo reclamo: un cliente a cui l'agente aveva detto 12 € si era visto addebitare 14 €. Il documento è stato corretto mercoledì alle 14:00, e questo è stato il Contenimento. Il periodo di esposizione è durato da lunedì alle 09:00 a mercoledì alle 14:00: 53 ore.

Il Contenimento è arrivato 3 ore e 30 minuti dopo il primo reclamo, e in quelle ore chi chiamava poteva ancora sentirsi dire 12 €. Passare a un operatore le domande sul prezzo del piano entro pochi minuti dal reclamo avrebbe evitato il problema per tutto il tempo in cui si correggeva il documento.

Dopo le 14:00 il team è passato all'Individuazione. Ha cercato il piano nelle trascrizioni del periodo di esposizione, poi ha letto ogni chiamata che lo citava:

Sommate, le ultime tre righe danno le 120 chiamate che hanno citato il piano: 46 più 61 più 13. Quindi i clienti coinvolti sono 46, non 900. Contattare tutti e 900 avrebbe confuso 854 clienti che non si erano mai sentiti dire 12 €. Contattare solo il cliente che aveva fatto reclamo avrebbe lasciato 45 clienti coinvolti con un prezzo sbagliato. Giovedì il team ha contattato i 46 clienti coinvolti per comunicare il prezzo in vigore.

Due cambiamenti avrebbero accorciato il periodo di esposizione. Con il nuovo prezzo e la sua data di decorrenza inseriti nella fonte approvata prima di lunedì, il periodo sarebbe stato di 0 ore. Con un controllo giornaliero che confronta il prezzo indicato in ogni chiamata con il listino in vigore, il primo controllo, martedì alle 08:00, avrebbe segnalato le chiamate con il prezzo di 12 €. Se la fonte fosse stata corretta in quel momento, il periodo sarebbe stato di 23 ore invece di 53.

Il protocollo di intervento: cinque passi

Quando una risposta errata arriva ai clienti, eseguite gli stessi cinque passi nello stesso ordine. Il Contenimento viene prima dell'Individuazione: mentre cercate tra le chiamate, chi chiama in quel momento può ancora ricevere la risposta errata.

L'Individuazione riguarda i clienti coinvolti, non tutti quelli che hanno chiamato. Partite dal periodo di esposizione, restringete la ricerca all'argomento, poi leggete le chiamate. Se il vostro team risponde dalla stessa fonte, controllate anche le sue chiamate.

La Rettifica richiede una regola fissata prima del primo incidente. Mantenete il prezzo comunicato per errore o spiegate il prezzo in vigore? È una decisione di politica commerciale. Prendetela in anticipo, mettetela per iscritto e datela a chi fa le chiamate di rettifica. Se un prezzo comunicato vi vincoli è una questione per i vostri consulenti legali: questa guida non la affronta.

La Documentazione usa ogni volta gli stessi campi del registro degli incidenti, così gli incidenti si possono confrontare. La voce per l'incidente di esempio:

Cosa misurare

Tre numeri mostrano se il filtro e il protocollo funzionano:

• Tasso di risposte errate sulle chiamate riviste: chiamate riviste con informazioni errate, divise per le chiamate riviste. Corrisponde alla parte «informazioni errate» del tasso di azioni errate definito nel nostro articolo sui criteri di successo di un pilota di AI vocale, così i due numeri restano confrontabili. Assegnate ogni risposta errata alla sua porta: il conteggio per porta indica dove lavorare dopo.
• Durata del periodo di esposizione: per ogni incidente, in ore. Nell'esempio 53 ore: 49 ore e 30 minuti fino al primo reclamo, poi 3 ore e 30 minuti fino alla correzione.
• Tempo dal primo segnale al Contenimento: dal primo reclamo, riscontro in revisione o segnalazione di un controllo fino al Contenimento. Nell'esempio, 3 ore e 30 minuti.

Nessun filtro può garantire un tasso di risposte errate pari a zero, e un mese tranquillo non dimostra che il filtro funzioni. Come spiega l'articolo sul pilota, nessuna azione errata su 300 chiamate riviste è ancora compatibile con un tasso reale fino a circa l'1%.

Anche la revisione a campione può lasciarsi sfuggire un argomento circoscritto, o individuarlo tardi. Nell'esempio erano coinvolte 46 delle 900 chiamate del periodo, circa 5 su 100, tutte su un solo piano. Un controllo giornaliero del prezzo indicato in ogni chiamata rispetto al listino in vigore esamina tutte le chiamate su quell'argomento, non un campione.

Dove entra in gioco DRING

Regole di sicurezza, passaggio a un operatore, analisi post-chiamata, test e monitoraggio fanno tutti parte delle fondamenta operative comuni a ogni pacchetto DRING. In questa guida il limite di autonomia è una regola di sicurezza, il percorso di riserva si appoggia al passaggio a un operatore e il controllo giornaliero all'analisi post-chiamata.

L'analisi post-chiamata può restituire campi aggiuntivi definiti da voi, tramite API, CRM, dashboard e report. Uno di questi può essere il prezzo indicato in ogni chiamata: così diventa possibile un controllo giornaliero rispetto al listino in vigore. La pagina sull'analisi delle chiamate mostra dashboard e report.

Ogni agente DRING affronta da 1.000 a 10.000 conversazioni simulate, costruite per la vostra azienda, prima della prima chiamata reale. Le simulazioni mettono alla prova il filtro prima del lancio. Non sostituiscono il protocollo di intervento sulle chiamate reali.

Se sulla vostra linea è in arrivo un cambio di prezzi o di condizioni, richiedete una richiamata. Tenete pronti il listino e il documento da cui risponde il vostro agente. Il nostro team può verificarli con voi, porta per porta.