Cómo evaluar un piloto de IA de voz de 30 días

La respuesta corta

Un piloto de IA de voz ha funcionado cuando, el día 30, todas las métricas cumplen su objetivo y no se ha cruzado ningún umbral de parada. Los objetivos y los umbrales de parada figuran en una ficha del piloto firmada antes de la primera llamada real. Si los criterios se fijan después de las llamadas, el día 30 se convierte en una discusión sobre qué llamadas cuentan. Si se fijan antes, el día 30 es una reunión corta.

Mida una línea base del mismo tipo de llamada en un periodo comparable. Reúna cinco métricas en una sola ficha del piloto: tasa de resolución, tasa de rellamada, tasa de acciones erróneas, calidad de las transferencias y esfuerzo humano. Cada una lleva una definición exacta, un objetivo y un umbral de parada, y en todas las revisiones semanales se usa la misma ficha.

El día 30, aplique la regla acordada de antemano. Ampliar si se cumplen todos los objetivos. Prorrogar, una sola vez y por dos semanas, si una o dos métricas no alcanzan el objetivo y una sola causa conocida lo explica. Parar si se cruza un umbral de parada, si más de dos métricas no alcanzan el objetivo o si no hay una única causa conocida que lo explique. Para algunos umbrales de parada basta una sola llamada, como una acción errónea con consecuencias económicas o legales.

Los pasos para crear el agente antes del piloto están en nuestro plan de implantación de IA de voz en 90 días.

Por qué las impresiones no son un veredicto

Al cabo de 30 días, el responsable del servicio recuerda aquella llamada en la que el agente no entendió a un cliente enfadado. El equipo del proyecto recuerda las llamadas impecables que puso en las reuniones. Ninguno de los dos recuerdos dice gran cosa de los cientos de llamadas que nadie escuchó.

Las cifras elegidas a posteriori tienen el mismo problema: es fácil quedarse con la métrica que mejor sale, o estirar la palabra «resuelta» hasta que encaje. Por eso, el responsable de operaciones, el revisor de calidad, el responsable de sistemas y el patrocinador firman la ficha del piloto antes del día 1. Durante el piloto, los objetivos y los umbrales de parada no cambian.

Paso 1: mida la línea base

La línea base es el rendimiento actual del mismo tipo de llamada, medido con las definiciones del piloto. Sin ella, una tasa de resolución del 70 % no es ni buena ni mala. Un tipo de llamada es un proceso con un único resultado esperado. En el ejemplo de este artículo, los clientes llaman para cambiar la visita ya programada de un técnico, y la llamada debe terminar con una nueva franja aceptada por el cliente.

Tome la línea base de un periodo comparable:

• Mismos días de la semana y mismas horas: cuatro semanas completas que cubran las horas en las que atenderá el agente.
• Misma temporada o campaña: no una semana de rebajas frente a una tranquila, ni una semana con festivo frente a una normal.
• Misma tipología de llamadas: el mismo tipo de llamada, los mismos idiomas y los mismos grupos de clientes. Si el piloto solo atiende las llamadas de la tarde, la línea base es lo que les pasaba antes a esas llamadas, aunque fuera acabar en el buzón de voz.

No reutilice las tipificaciones antiguas: un clic en «resuelta» puede significar algo distinto de una nueva franja en el sistema de reservas. Vuelva a etiquetar con las reglas del piloto una muestra aleatoria de llamadas del periodo de la línea base, y úsela también para medir las acciones erróneas de su equipo. Nuestro artículo sobre contención frente a tasa de resolución explica por qué una llamada sin transferencia todavía no es una llamada resuelta.

Si una métrica nunca se ha medido, escriba «no medida» en la ficha, fije su objetivo según lo que necesite el caso de negocio y no presente después ninguna mejora en ella.

Paso 2: redacte la ficha del piloto

La ficha del piloto reúne cinco métricas y cada una responde a una pregunta distinta, de modo que una buena cifra en una no puede tapar una mala cifra en otra. Para cada métrica, anote el numerador, el denominador y lo que queda excluido. Después, fije dos niveles. El objetivo es el nivel con el que funciona el caso de negocio. El umbral de parada es el nivel en el que se para, digan lo que digan las demás métricas. Una métrica que queda entre los dos no alcanza el objetivo.

Todos los valores de la ficha son un ejemplo inventado para este artículo, no datos de una empresa real.

El objetivo de la tasa de resolución queda por debajo de la línea base a propósito. Deje el motivo escrito en la ficha: el caso de negocio funciona con un 70 % si el esfuerzo humano baja de 640 a 250 minutos o menos por cada 100 llamadas. Para el esfuerzo humano solo cuentan las semanas 3 y 4, porque en la semana 1 se revisan todas las llamadas y el primer ajuste se hace en la semana 2.

Umbrales de parada de una sola llamada

Algunos fallos cuestan demasiado como para esperar a tener una tasa:

• Una acción errónea con consecuencias económicas o legales, como un cargo, un reembolso o la cancelación de una visita de pago.
• Datos personales facilitados a alguien que no ha superado la verificación de identidad.
• Una llamada que avisa de un peligro, como un olor a gas, y no se pasa de inmediato a una persona.

Basta uno solo de estos fallos para poner fin al piloto antes de tiempo, y las llamadas vuelven a la ruta anterior ese mismo día. Reanudar tras un ajuste es empezar un piloto nuevo desde el día 1. El umbral de parada de una métrica actúa más despacio: el piloto termina antes de tiempo si el valor medido de una métrica queda al otro lado de su umbral de parada en dos revisiones semanales seguidas. Solo cuentan las revisiones en las que se evalúa esa métrica: el esfuerzo humano, desde la semana 3, y las rellamadas, una vez pasados sus 7 días.

A la muestra aleatoria de 100 llamadas por semana se le escapará la mayoría de los fallos de la lista anterior, así que búsquelos directamente. Cada semana, escuche todas las llamadas que terminen en un cargo, un reembolso o una cancelación, todas aquellas en las que el agente haya facilitado datos personales y todas las que un cliente o un compañero señale como problemáticas. Estas escuchas se suman a la muestra aleatoria.

Paso 3: haga la revisión semanal

En la revisión semanal se repasa la misma ficha el mismo día de cada semana, se comprueban los recuentos y se elige como máximo un cambio en el agente.

Tres reglas mantienen comparables las semanas:

• Un cambio por semana, registrado con su fecha. Con dos cambios, no se sabe cuál ha movido la cifra.
• Definiciones fijas. Si una definición resulta errónea, cámbiela una sola vez, anote el motivo y vuelva a calcular todas las semanas anteriores.
• Recuentos junto a las tasas. Escriba «64 % (256 de 400 llamadas)», no «64 %».

Nuestra guía de muestreo de calidad en el call center explica qué llamadas conviene revisar.

Lo que dicen las cifras y lo que no

Toda tasa de un piloto es una estimación. Para una tasa p medida en n llamadas, el margen de error aproximado, con un 95 % de confianza, es 1,96 × √(p(1 - p) / n). Con una tasa del 70 %, el resultado es:

• 100 llamadas: unos ±9,0 puntos
• 400 llamadas: unos ±4,5 puntos
• 1.000 llamadas: unos ±2,8 puntos

Es decir, una cifra semanal sobre 400 llamadas suele quedar a menos de unos 4,5 puntos de la tasa real, y un cambio de unos pocos puntos de una semana a otra puede deberse solo al azar. La fórmula supone llamadas independientes y una tasa que no esté cerca del 0 % ni del 100 %. La comparación con la línea base tiene un margen más amplio: con dos tasas de alrededor del 70 % sobre 1.600 llamadas cada una, la diferencia tiene un margen de unos ±3,2 puntos.

En la semana 1 del ejemplo, la tasa de resolución es del 64 % sobre 400 llamadas, con unos ±4,7 puntos. La tasa real podría estar en cualquier punto entre el 59,3 % y el 68,7 %, aproximadamente: el intervalo cruza el umbral de parada y queda por debajo del objetivo. Al llegar al día 30, el ejemplo suma 1.600 llamadas al 68 %, con unos ±2,3 puntos. El intervalo, de aproximadamente el 65,7 % al 70,3 %, queda claramente por encima del umbral de parada, con el objetivo justo dentro.

Hay tres límites más:

• Sucesos poco frecuentes. No encontrar ninguna acción errónea en 300 llamadas revisadas sigue siendo compatible con una tasa real de hasta un 1 %, aproximadamente. Es la «regla del tres»: sin ningún suceso en n llamadas, el límite superior con un 95 % de confianza es de unos 3 / n. Revise y clasifique cada acción errónea.
• Segmentos pequeños. Un idioma o un día de la semana con 60 llamadas tiene un margen de unos ±11,6 puntos al 70 %. Escuche esas llamadas en lugar de comparar su tasa.
• Rellamadas recientes. El día 30, la tasa de rellamada solo cubre las llamadas hasta el día 23. Las posteriores todavía no han cumplido sus 7 días.

La decisión del día 30: Ampliar, Prorrogar o Parar

El día 30, calcule la ficha del piloto con todas las llamadas desde el día 1. Después, aplique la regla en este orden:

• Parar si se cruza un umbral de parada, si más de dos métricas no alcanzan el objetivo o si no hay una única causa conocida que explique lo que falta. Las llamadas vuelven a la ruta anterior y el motivo queda por escrito para el siguiente piloto.
• Ampliar si se cumplen todos los objetivos y no se cruza ningún umbral de parada. Pase al agente, por fases, más llamadas del mismo tipo, con la misma ficha. Un tipo de llamada nuevo necesita su propia ficha del piloto.
• Prorrogar si una o dos métricas no alcanzan el objetivo por una sola causa conocida. Se prorroga una sola vez y por dos semanas, con un único ajuste para esa causa y la misma ficha, y la prórroga se evalúa con sus propias llamadas. Si entonces se cumplen todos los objetivos, se pasa a Ampliar. Si no, la decisión es Parar.

Cómo leer resultados mixtos

Un resultado habitual el día 30 es mixto: cuatro métricas cumplen su objetivo y una no.

• No haga medias. Una tasa de resolución alta no compensa una reserva equivocada.
• Proteja primero al cliente. La tasa de acciones erróneas y los umbrales de parada de una sola llamada nunca se sacrifican a cambio de tasa de resolución o de esfuerzo humano. Si la tasa de acciones erróneas no alcanza el objetivo, elija Prorrogar solo si todas las acciones erróneas tienen la misma causa conocida y el ajuste la elimina.
• Compare la diferencia con su margen. Un 68 % no cumple un objetivo del 70 %. Pero una diferencia menor que el margen, con una causa conocida, es un caso típico para Prorrogar.
• Busque dónde está la causa. Si las llamadas fallan porque no queda ninguna franja libre, un agente mejor no lo va a arreglar. Si el esfuerzo humano no alcanza su objetivo, compruebe si sigue bajando de la semana 3 a la semana 4.

Ejemplo: una ficha del día 30

Valores de ejemplo, no datos reales.

Una métrica no alcanza el objetivo y no se cruza ningún umbral de parada. En el grupo más grande de llamadas no resueltas, el cliente pide una franja de tarde, que el sistema de reservas solo muestra al personal. La causa es conocida y un solo ajuste la aborda, así que la decisión es Prorrogar: dos semanas, la misma ficha y las franjas de tarde abiertas al agente. Con unas 400 llamadas por semana, la prórroga aporta unas 800 llamadas nuevas que evaluar, con un margen de unos ±3,2 puntos al 70 %.

Dónde encaja DRING

Con DRING, un agente está operativo en una semana. Aproveche esa semana para volver a etiquetar la muestra de llamadas pasadas de la línea base y para firmar la ficha del piloto antes de la primera llamada real. Cada agente de DRING pasa por entre 1.000 y 10.000 conversaciones simuladas, creadas para su empresa, antes de la primera llamada real. Eso es una prueba previa al lanzamiento, no el piloto. La simulación puede detectar carencias pronto, pero no da una línea base ni una tasa de resolución con clientes reales. Nuestro artículo sobre conversaciones simuladas explica qué cubren.

Durante el piloto, el análisis tras la llamada puede devolver campos adicionales que usted defina, como el resultado de cada llamada, a través de la API, su CRM, el panel y los informes. Los revisores siguen escuchando las llamadas, y los campos dan a todas las revisiones semanales las mismas etiquetas. Nuestra página de analítica de llamadas muestra el panel y los informes.