Nenhum prompt para escrever
A sua equipa explica o trabalho e revê o que o agente diz. O prompt fica connosco: somos nós que o escrevemos e mantemos.
Qualidade
Testado antes de atender uma chamada
A sua equipa nunca escreve um prompt. Recolhemos o material, criamos os testes a partir dele e só lançamos o que passa.
Bateria de testes DRING
Os testes nascem do seu próprio material
Escrever prompts não é trabalho da sua equipa. Imaginar as chamadas difíceis que o agente vai receber também não.
Testes criados com o que recolhemos
Documentos, gravações, políticas e os comentários deixados durante a revisão tornam-se a bateria de testes desse agente.
Aprovado pela DRING, depois em produção
Um agente só entra em produção depois de passar nessa bateria. Até lá, fica numa linha privada.
De 1 000 a 10 000 conversas simuladas, criadas para a sua empresa, antes da primeira chamada real. O número de conversas simuladas depende do agente, e cada uma é gerada a partir dos seus próprios processos, documentos e gravações de chamadas, não de um conjunto de referência genérico.
A mesma disciplina aplica-se a uma alteração. Cada regra que nos dá entra na bateria de testes única desse agente, e uma regra nova só entra em produção quando todas as regras existentes continuam a passar ao lado dela. Ver como o agente é construído
Antes do arranque
Antes de um agente entrar em produção
O mesmo processo aplica-se a todos os agentes, por mais simples que o caso pareça visto de fora.
Personas tiradas da sua realidade
Clientes irritados, encomendas erradas, armadilhas de política, silêncios e interrupções, retirados dos seus próprios processos.
Conversas simuladas
Cada persona tem uma conversa completa com o agente, não uma única pergunta de guião.
Avaliação independente
Avaliadores automáticos pontuam cada conversa. Quando discordam, uma pessoa audita a chamada.
Teste de regressão
Os resultados são comparados com a versão anterior antes de qualquer lançamento, para que uma correção não estrague outra coisa sem se dar por isso.
Passagens verificadas
A passagem da chamada para uma pessoa é verificada de forma explícita, em vez de se partir do princípio de que funciona.
Arranque por fases
O tráfego real aumenta por fases controladas, com as pontuações acompanhadas em cada passo e a versão anterior pronta a voltar.
A avaliação automática pode desviar-se ou deixar escapar um pormenor. Verificações independentes, com revisão humana de cada divergência, tornam o sinal mais útil do que uma pontuação isolada.
Depois do arranque
O controlo de qualidade não para
Os testes não terminam no arranque. Os agentes em produção passam por controlos de qualidade regulares enquanto estiverem a funcionar.
Cada chamada avaliada
Assim que a chamada termina, a resolução, o cumprimento da política e o tempo de resposta são avaliados, e o sentimento é etiquetado.
Verificações periódicas
Cada agente em produção é testado de novo face à versão anterior, de forma agendada, para apanhar uma regressão silenciosa antes de um cliente dar por ela.
Alertas de desvio
Quando uma pontuação sai do intervalo esperado, o alerta dispara sozinho, sem esperar pela verificação seguinte.
Erros de transcrição
Os erros de conversão de voz em texto são registados por nome, local e termo de produto e depois corrigidos no dicionário do agente.
| Indicador | Definição | Porque importa |
|---|---|---|
| Resolução | Se o motivo da chamada do cliente foi de facto resolvido. | A medida essencial para saber se o agente fez o seu trabalho. |
| Sentimento | Como o tom do cliente mudou do início ao fim da chamada. | Identifica chamadas resolvidas no papel que deixaram o cliente frustrado. |
| Cumprimento da política | Se as ações do agente ficaram dentro das regras configuradas para ele. | Mantém o agente dentro dos limites definidos pela empresa. |
| Tempo de resposta | O intervalo entre o cliente acabar de falar e o agente responder. | Uma resposta lenta parece uma má ligação, mesmo quando a resposta está certa. |
| Precisão da passagem | Se o agente passou a chamada a uma pessoa quando devia. | Não passar a chamada quando devia é pior do que passá-la sem necessidade. |
| Variação de regressão | A variação da pontuação face à versão anterior, na mesma bateria de testes. | Apanha uma versão que piora o agente sem se dar por isso. |
Testes A/B outbound
A melhor abertura ganha pelos resultados, não por opiniões
A frase de abertura, o tom ou a voz que funcionam decidem-se em chamadas outbound reais, não numa reunião.
Teste ilustrativo · variantes de aberturaFase 1 · tráfego dividido por igual
0 chamadas
0 chamadas
0 chamadas
Amostra mínima ainda não atingida. O tráfego continua a ser dividido.
O que se testa
A frase de abertura, o tom, a voz, o ritmo, a ordem das perguntas, a forma de responder a uma objeção. Uma variável por variante, para que o resultado tenha uma causa clara.
Como se escolhe a vencedora
Pelo resultado da própria campanha, com uma amostra mínima acordada por variante. O sentimento e a taxa de passagem funcionam como salvaguardas: uma variante que ganha nos resultados mas perde na receção não entra em produção.
Como entra em produção
A vencedora é promovida por fases controladas, as outras variantes saem, e a alteração fica registada para que a comparação seguinte parta de uma base conhecida.
Uma variante promovida continua a passar pela bateria de regressão antes de chegar à campanha inteira.
Salvaguardas
O que um agente nunca fará
- Recusa o que está fora do âmbitoUm pedido fora daquilo para que o agente foi criado é recusado, não contornado com improvisos.
- Nunca inventa políticasSe não lhe deram uma regra, não a adivinha e não faz promessas em nome da sua empresa.
- Encaminha temas sensíveisOs pedidos sensíveis passam para uma pessoa, em vez de ficarem ao critério do próprio agente.
- Há sempre uma pessoa ao alcanceQuem liga tem sempre a opção de falar com alguém da equipa, seja o que for que o agente consiga fazer sozinho.
Perguntas frequentes
Perguntas sobre testes
Temos de escrever ou manter o prompt?+
Não. A sua equipa explica o trabalho, partilha os documentos e as gravações e revê o que o agente diz. Escrever e manter o prompt é trabalho nosso, e os testes são criados a partir do material que nos deu, não de um modelo genérico.
Os testes acontecem antes de cada nova versão, não só no arranque?+
Sim. As verificações de regressão correm face à versão anterior de forma periódica, e cada alteração passa pelo mesmo arranque por fases que o primeiro lançamento.
O que acontece quando duas avaliações discordam?+
A conversa segue para um revisor humano e é auditada antes de o resultado ficar fechado. Divergências repetidas são um sinal para afinar a própria bateria de avaliação.
Podemos ver os cenários de teste do nosso agente?+
Sim. As personas e os cenários são construídos à volta das suas políticas e casos limite, e ficam visíveis para a sua equipa durante a implementação.
O que acontece quando as pontuações de um agente em produção se desviam?+
Dispara automaticamente um alerta de desvio, as chamadas em causa são analisadas, e a correção volta a passar pela bateria de testes antes de esse tipo de chamada regressar ao agente.
Veja a bateria de testes no seu próprio caso
Veja connosco como seria um arranque medido, do primeiro briefing do processo ao ciclo de revisão depois da entrada em produção.