¿Qué modelo oye bien a quien llama?

Pruebe con sus propias llamadas

Un martes por la tarde de este verano, alguien llamó a [empresa], que reparte los paquetes de tiendas online, y le dijo al agente de IA: «Hola, llamo por el paquete PX 4827 3315. Por favor, que no se lo dejen al vecino de al lado. Estoy fuera hasta el jueves y ya lo recojo yo». En la transcripción estaban bien todas las palabras menos el «no». Sin esa palabra, la frase pedía lo contrario, y el paquete se entregó al vecino. El jueves la misma persona volvió a llamar, enfadada.

Irene, que lleva el teléfono de atención al cliente de [empresa], leyó la transcripción a la mañana siguiente. Faltaba una palabra, justo aquella de la que dependía la llamada. El agente llevaba todo el verano atendiendo las llamadas de la tarde en una prueba piloto, con el modelo de reconocimiento de voz que venía con la configuración del proveedor y que en este artículo llamamos Modelo A. En la página del proveedor, el Modelo A tenía una puntuación alta en palabras acertadas en total. [empresa], Irene, la prueba piloto, las llamadas, los dos modelos y todas las cifras de este artículo son un ejemplo, no datos reales.

Una puntuación así no habría puesto en guardia a Irene. Cuenta todas las palabras por igual, y una llamada depende de unas pocas: el número de seguimiento, el apellido, el día, la dirección y cualquier «no» que cambie el sentido de la petición. El modelo que oye bien a quienes llaman es el que acierta esas palabras. Para elegir el reconocimiento de voz de su agente, también llamado voz a texto, ponga a prueba a los modelos candidatos con grabaciones de sus propias llamadas. Marque en cada grabación las palabras decisivas, cuente cuántas acierta cada modelo al pie de la letra y mire en qué acaba cada fallo. Decida según lo que una lista de palabras no podrá arreglar después y haga que el agente repita lo que va a hacer en cada petición que cambie algo.

¿Puede fiarse de la puntuación?

La página del proveedor resume cada modelo en una sola cifra, las palabras que acierta de cada 100. Algunas páginas cuentan los fallos en lugar de los aciertos y dan la tasa de error de palabras. En cualquier caso es una media de todas las palabras con las que se probó el modelo, y por eso un «eh» pesa lo mismo que el tercer dígito de un número de seguimiento.

Medida así, la transcripción del martes parece excelente. El modelo escribió el número de seguimiento, el vecino, el día y todo lo demás que dijo quien llamó, y perdió el «no», la palabra que daba la vuelta a la petición.

Además, la puntuación se midió con grabaciones de otras personas. Quienes llaman van en el coche, hablan en altavoz o están en plena calle. Su voz llega al modelo por una línea telefónica y el número de seguimiento lo leen a toda prisa desde un mensaje en el móvil. Antes de fiarse de la cifra del proveedor, pregunte hasta qué punto se parecen sus grabaciones a llamadas como estas.

• ¿De quién son las voces grabadas, en qué idioma y con qué variedad regional?
• ¿Los hablantes leían un guion o hablaban libremente?
• ¿El sonido llegó por una línea telefónica o por un micrófono de estudio?
• ¿Había ruido alrededor o estaban en una sala tranquila?

¿Qué palabras son decisivas?

Irene escogió 50 llamadas grabadas de una semana normal de la prueba piloto, la de la llamada del martes, así que esa llamada está entre ellas. Suenan a su turno de tarde, con gente que llama desde el coche, en altavoz o por la calle, personas mayores, voces con acento y alguien que dijo el nombre de una calle en otro idioma. Elija grabaciones que su equipo esté autorizado a usar para esto y guarde las transcripciones con el mismo cuidado que las grabaciones.

Del Modelo A ya había transcripciones de esas llamadas, las de la prueba piloto. Irene pidió al proveedor que pasara el Modelo B, el segundo candidato, por las mismas grabaciones y que calculara con ellas las palabras acertadas en total de los dos modelos. Después, dos asesores que atienden llamadas así todos los días escucharon cada grabación una vez, anotaron las palabras decisivas tal como las dijo quien llamó y comprobaron las dos transcripciones solo en esas palabras.

La comprobación fue estricta. Un número de seguimiento solo contaba como acertado si cada letra y cada dígito estaban bien, porque un número casi correcto no encuentra ningún paquete, o encuentra el de otra persona. Un apellido contaba si coincidía con el nombre que figuraba en el paquete, y un «no» contaba si la transcripción lo conservaba.

Una llamada puede contener a la vez un número de seguimiento, un apellido y un día, así que el total de 150 de los asesores cuenta palabras, no llamadas.

¿Qué modelo acertó más?

Según la puntuación del proveedor para estas 50 llamadas, iba por delante el Modelo A, con 94 palabras acertadas de cada 100 frente a 92 del Modelo B. En la comprobación de los asesores, en cambio, ganó el Modelo B.

El Modelo B acertó 131 de las 150 palabras decisivas, y el Modelo A, 112. La mayor diferencia estuvo en los números de seguimiento, 40 de 44 frente a 30. Cuando quien llamaba leía el número deprisa, el Modelo A se comía un dígito o cambiaba dos de orden.

El Modelo A perdió además 3 de los 18 «no», y uno de ellos fue el de quien llamó el martes. El Modelo B los conservó todos en estas 50 llamadas. Los apellidos se les resistieron a los dos modelos. El Modelo A acertó 20 de 36 y el Modelo B, 23, así que no conviene fiarse de ninguna de las dos transcripciones para un apellido sin otra comprobación.

En la puntuación general, el Modelo B se quedó atrás sobre todo por palabras pequeñas y muletillas, como «eh», «pues» o «el», que no cambian lo que hay que hacer. Irene eligió el Modelo B para el teléfono de atención al cliente. Si en su propia prueba dos modelos quedan muy cerca en las palabras decisivas, añada más llamadas antes de decidir.

¿Qué pasa cuando oye mal?

Un fallo puede acabar de tres maneras. Lo detecta una comprobación con sus registros, lo detecta el agente al repetir lo que va a hacer o se cuela.

El Modelo A falló en 38 de las 150 palabras decisivas. Sus 14 números de seguimiento equivocados no coincidían con ningún paquete, así que el agente volvió a preguntar. Sus 16 apellidos equivocados no coincidían con el nombre que figuraba en el paquete, así que el agente pidió a quien llamaba que lo deletreara. Los otros 8 fallos no tenían nada que los detectara: 4 direcciones, 1 día y 3 «no». En la prueba piloto el agente no repetía lo que iba a hacer, así que esos 8 pasaron tal como los había oído el modelo.

El Modelo B falló en 19 de las 150. Con sus transcripciones, la comprobación con los registros habría detectado 4 números de seguimiento equivocados y 13 apellidos equivocados. A las 2 direcciones equivocadas, en cambio, nada las habría detectado sin que el agente repitiera lo que iba a hacer.

Cuando el modelo oía bien el número de seguimiento, el agente encontraba el paquete a la primera. En estas llamadas ningún número mal oído coincidió con el paquete de otra persona, pero podría ocurrir, y por eso el agente comprueba también el apellido.

Sus registros no pueden comprobar una dirección nueva, un día nuevo ni dónde quiere quien llama que le dejen el paquete. Por eso, en cada petición que cambia algo, el agente repite lo que va a hacer, con sus propias palabras, y pregunta si es correcto. Así, quien llama oye la acción, que es justo lo que necesita comprobar. Para un «no», repetir lo que se va a hacer es la única comprobación posible, porque ningún registro puede decir si la frase llevaba un «no».

Si el agente hubiera repetido lo que iba a hacer, la llamada del martes habría ido así, con la misma transcripción del Modelo A.

Quien llama: «Por favor, que no se lo dejen al vecino de al lado. Estoy fuera hasta el jueves y ya lo recojo yo.»

Agente: «Entonces entregamos el paquete a su vecino. ¿Es correcto?»

Quien llama: «No, por favor, que no se lo dejen. Ya lo recojo yo cuando vuelva el jueves.»

Agente: «Perdone el error. Entonces guardamos su paquete en el almacén hasta que lo recoja usted el jueves. ¿Es correcto?»

Quien llama: «Sí, gracias.»

El «no» que perdió el Modelo A se convierte en una corrección en la misma llamada, en lugar de una segunda llamada enfadada el jueves. El agente pide perdón una sola vez y pasa directamente a la acción corregida, de modo que quien llama comprueba también el nuevo plan. Repetir lo que se va a hacer no detecta todos los fallos. En este caso, el paquete del martes se habría quedado en el almacén.

¿Qué arregla una lista de palabras?

Una vez elegido el modelo, todavía puede darle una lista de palabras. Para [empresa] son los nombres de las calles y las localidades a las que reparte, el formato de su número de seguimiento, de dos letras y ocho dígitos, y los nombres de sus servicios. Es lo que los proveedores llaman «vocabulario personalizado» o «palabras clave», y ayuda a cualquier modelo con las palabras que no conoce.

Irene añadió las calles y localidades de la zona de [empresa] y pasó otra vez las mismas 50 llamadas por el Modelo B. En la segunda pasada acertó las 22 direcciones.

Por eso, compare los modelos en lo que una lista de palabras no puede arreglar. Ninguna lista enseña a un modelo a conservar un «no» ni a oír el idioma de quienes llaman tal como lo hablan, con las variantes de cada región, los acentos y las personas mayores. Y el ruido de la línea telefónica, venga de un coche, de un altavoz o de la calle, es el mismo con lista que sin ella. Al elegir el modelo se decide también si escribe mientras quien llama sigue hablando o solo cuando termina. Un modelo que espera retrasa todas las respuestas, y de esa pausa trata nuestro artículo sobre por qué su agente de IA tarda en responder.

Con los apellidos pasa algo parecido: ninguna lista recoge los de quienes llaman, así que el agente sigue comprobando el nombre que figura en el paquete.

Lo que ocurre con la transcripción después del modelo, desde corregir números y fechas hasta saber qué quiere quien llama, se cuenta en nuestro artículo sobre cómo la IA de voz corrige lo que oye mal.

Si su teléfono de atención al cliente recibe llamadas en más de un idioma, repita la prueba con cada uno. El modelo que mejor oye a quienes llaman en alemán puede no ser el que mejor oye a quienes llaman en turco.

¿Dónde encaja DRING?

DRING no ata un agente a un único modelo de reconocimiento de voz. En el núcleo de voz a voz de DRING, los modelos de reconocimiento de voz, de lenguaje y de síntesis de voz se eligen por agente y por idioma, y un proceso puede pasar a otro modelo sin cambiar de plataforma. Modelos distintos pueden oír a quienes llaman en alemán y a quienes llaman en turco. La llamada se transcribe en tiempo real y se corrige y normaliza antes de que el agente razone.

En Agent Factory, donde DRING crea, prueba y mejora sus agentes, sus llamadas y procesos se convierten en un agente operativo y las conversaciones difíciles, en pruebas. Una llamada como la del martes puede ser una de ellas. Un modelo de reconocimiento de voz mejor solo entra en producción después de superar la batería de regresión por la que pasa todo el sistema.