Usted nunca escribe un prompt
Su equipo explica el trabajo y revisa lo que dice el agente. Escribir y mantener el prompt sigue siendo cosa nuestra.
Calidad
Probado antes de atender una llamada
Usted nunca escribe un prompt. Nosotros reunimos el material, creamos las pruebas a partir de él y solo lanzamos lo que las supera.
Batería de pruebas de DRING
Las pruebas salen de su propio material
Escribir prompts no es su trabajo. Tampoco lo es imaginar las llamadas incómodas que recibirá su agente.
Pruebas creadas con lo que recopilamos
Documentos, grabaciones, políticas y los comentarios que usted deja durante la revisión se convierten en el conjunto de pruebas de ese agente.
Aprobado por DRING y en producción
Un agente solo pasa a producción cuando supera ese conjunto. Hasta entonces, se queda en una línea privada.
De 1.000 a 10.000 conversaciones simuladas, creadas para su empresa, antes de la primera llamada real. El número de conversaciones simuladas depende del agente, y cada una se genera a partir de su propio proceso, sus documentos y sus grabaciones de llamadas, no de un conjunto genérico de referencia.
La misma disciplina se aplica a cada cambio. Cada regla que nos da se suma al conjunto único de pruebas de ese agente, y una regla nueva solo llega a producción cuando todas las anteriores siguen superando las pruebas junto a ella. Ver cómo se crea el agente
Antes del lanzamiento
Lo que ocurre antes de lanzar un agente
El mismo proceso se aplica a todos los agentes, por sencillo que parezca el caso de uso visto desde fuera.
Perfiles sacados de su realidad
Clientes enfadados, pedidos equivocados, trampas de política, silencios e interrupciones, sacados de su propio proceso.
Conversaciones simuladas
Cada perfil mantiene una conversación completa con el agente, no una única pregunta con guion.
Evaluación independiente
Unos evaluadores automáticos puntúan cada conversación. Cuando no coinciden, una persona audita la llamada.
Prueba de regresión
Antes de publicar nada, los resultados se comparan con la versión anterior, así que un arreglo no puede romper otra cosa sin que se note.
Vías de traspaso comprobadas
El traspaso a una persona se verifica de forma explícita, en lugar de dar por hecho que funciona.
Despliegue por fases
El tráfico real aumenta por fases controladas, vigilando las puntuaciones en cada paso y con la versión anterior lista.
La evaluación automática puede desviarse o pasar por alto un matiz. Las comprobaciones independientes, junto con la revisión por personas de cada discrepancia, hacen que la señal sea más útil que una única puntuación.
Después del lanzamiento
El control de calidad no se detiene
Las pruebas no terminan con el lanzamiento. Los agentes en producción pasan controles de calidad periódicos mientras sigan funcionando.
Cada llamada, puntuada
En cuanto termina la llamada, se puntúan la resolución, el cumplimiento de políticas y el tiempo de respuesta, y el sentimiento se etiqueta.
Revisiones periódicas
Cada agente en producción se vuelve a comparar con la versión anterior según un calendario, para detectar una regresión silenciosa antes que un cliente.
Alertas de desviación
Si una puntuación se sale de su rango esperado, salta una alerta por sí sola, sin esperar a la siguiente revisión.
Errores de reconocimiento
Los errores del reconocimiento de voz se registran por nombre, lugar y término de producto, y se corrigen en el diccionario del agente.
| Métrica | Definición | Por qué importa |
|---|---|---|
| Resolución | Si de verdad se atendió el motivo por el que llamó el cliente. | La medida básica de si el agente hizo su trabajo. |
| Sentimiento | Cómo cambió el tono del cliente del principio al final de la llamada. | Detecta llamadas resueltas sobre el papel que, sin embargo, frustraron al cliente. |
| Cumplimiento de políticas | Si las acciones del agente se mantuvieron dentro de las reglas configuradas. | Mantiene al agente dentro de los límites que fijó la empresa. |
| Tiempo de respuesta | El intervalo entre el momento en que el cliente deja de hablar y la respuesta del agente. | Una respuesta lenta parece una mala conexión, aunque el contenido sea correcto. |
| Precisión del traspaso | Si el agente pasó la llamada a una persona cuando debía. | Un traspaso que falta es peor que uno innecesario. |
| Variación de regresión | El cambio de puntuación frente a la versión anterior con el mismo conjunto de pruebas. | Detecta una versión que empeora el agente sin que se note. |
Pruebas A/B salientes
La mejor apertura gana por resultados, no por opiniones
Qué frase de apertura, qué tono o qué voz funcionan se decide en llamadas salientes reales, no en una reunión.
Prueba ilustrativa · variantes de aperturaFase 1 · tráfico equilibrado
0 llamadas
0 llamadas
0 llamadas
Aún no se alcanza la muestra mínima. Siga dividiendo el tráfico.
Qué se prueba
La frase de apertura, el tono, la voz, el ritmo, el orden de las preguntas y la forma de responder a una objeción. Una sola variable por variante, para poder atribuir el resultado.
Cómo se elige la ganadora
Por el propio resultado de la campaña, con una muestra mínima acordada por variante. El sentimiento y la tasa de traspaso actúan como límites de seguridad: una variante que gana en resultados pero pierde en acogida no sale a producción.
Cómo pasa a producción
La ganadora se extiende por fases controladas, las demás variantes se retiran y el cambio queda registrado para que la siguiente comparación parta de una referencia conocida.
Una variante ganadora sigue pasando la prueba de regresión antes de llegar a toda la campaña.
Límites de seguridad
Lo que un agente nunca hará
- Rechaza lo que queda fuera de su alcanceUna petición ajena a aquello para lo que se creó el agente se rechaza, no se resuelve improvisando.
- Nunca se inventa una políticaSi no se le ha dado una regla, no la supone ni promete nada en su nombre.
- Pasa los temas delicados a una personaLas peticiones delicadas van a una persona en lugar de resolverse según el criterio del propio agente.
- Siempre ofrece hablar con una personaQuien llama tiene siempre a su alcance la vía de una persona, haga lo que haga el propio agente.
Preguntas frecuentes
Preguntas sobre las pruebas
¿Tenemos que escribir o mantener el prompt?+
No. Usted explica el trabajo, comparte los documentos y las grabaciones y revisa lo que dice el agente. Escribir y mantener el prompt es trabajo nuestro, y las pruebas se crean a partir del material que nos ha dado, no de una plantilla genérica.
¿Las pruebas se hacen antes de cada versión, no solo en el lanzamiento?+
Sí. Las pruebas de regresión se ejecutan periódicamente frente a la versión anterior, y cada cambio pasa por el mismo despliegue por fases que el primer lanzamiento.
¿Qué pasa cuando dos evaluaciones no coinciden?+
Una persona revisa y audita la conversación antes de dar el resultado por definitivo. Si las discrepancias se repiten, es una señal para afinar el propio conjunto de evaluación.
¿Podemos ver los escenarios de prueba de nuestro agente?+
Sí. Los perfiles y escenarios se construyen en torno a sus propias políticas y casos límite, y puede verlos durante la puesta en marcha.
¿Qué pasa si las puntuaciones de un agente en producción se desvían?+
Salta automáticamente una alerta de desviación, se revisan las llamadas que la originan y el arreglo vuelve a pasar por el conjunto de pruebas antes de que ese tipo de llamada vuelva al agente.
Vea la batería de pruebas aplicada a su caso de uso
Repase cómo sería un lanzamiento medido, desde el primer resumen del proceso hasta el ciclo de revisión tras la puesta en producción.