U schrijft nooit een prompt
Uw team legt het werk uit en beoordeelt wat de agent zegt. De prompt zelf schrijven en onderhouden wij.
Kwaliteit
Getest voordat de agent een gesprek aanneemt
U schrijft nooit een prompt. Wij verzamelen het materiaal, bouwen er de tests uit en brengen alleen uit wat slaagt.
Test Suite
De tests komen uit uw eigen materiaal
Prompts schrijven is niet uw werk. Net zo min als bedenken welke lastige gesprekken uw agent zal krijgen.
Tests gebouwd uit wat wij verzamelen
Documenten, opnames, beleid en de opmerkingen die u tijdens de review geeft, worden de testset voor die agent.
Eerst goedgekeurd door DRING, dan live
Een agent gaat pas naar productie als die set is doorstaan. Tot die tijd blijft de agent op een privélijn.
1.000 tot 10.000 gesimuleerde gesprekken, gebouwd voor uw bedrijf, vóór het eerste echte gesprek. Het aantal gesimuleerde gesprekken hangt af van de agent, en elk ervan wordt gegenereerd uit uw eigen workflow, documenten en gespreksopnames, niet uit een generieke benchmarkset.
Dezelfde discipline geldt voor een wijziging. Elke regel die u ons geeft, komt in de ene testset van die agent, en een nieuwe regel gaat pas live als alle bestaande regels ernaast nog steeds slagen. Bekijk hoe de agent wordt gebouwd
Vóór de lancering
Wat er gebeurt voordat een agent live gaat
Dezelfde pipeline draait voor elke agent, hoe eenvoudig de toepassing van buitenaf ook lijkt.
Persona's uit uw praktijk
Boze bellers, verkeerde bestellingen, beleidsvallen, stiltes en onderbrekingen, gehaald uit uw eigen workflow.
Gesimuleerde gesprekken
Elke persona voert een volledig gesprek met de agent, niet één gescripte vraag.
Onafhankelijke evaluatie
Geautomatiseerde beoordelaars scoren elk gesprek. Waar ze het oneens zijn, controleert een mens het gesprek.
Regressiecontrole
Resultaten worden vergeleken met de vorige release voordat er iets live gaat, zodat een fix niet ongemerkt iets anders kapotmaakt.
Overdrachtsroutes gecontroleerd
Escalatie naar een medewerker wordt uitdrukkelijk gecontroleerd, niet verondersteld.
Gefaseerde uitrol
Live verkeer neemt in gecontroleerde stappen toe, met de scores in de gaten bij elke stap en de vorige release klaar om terug te zetten.
Geautomatiseerde evaluatie kan afdrijven of een nuance missen. Onafhankelijke checks, plus menselijke review van elk verschil in oordeel, maken het signaal bruikbaarder dan één score zou zijn.
Na de lancering
Kwaliteitscontrole blijft doorlopen
Het testen stopt niet bij de lancering. Live agents krijgen regelmatig kwaliteitscontrole, zolang ze draaien.
Elk gesprek beoordeeld
Oplossing, beleidsnaleving en reactietijd krijgen een score zodra een gesprek eindigt, en het sentiment krijgt een label.
Vaste controlerondes
Elke live agent wordt volgens planning opnieuw getest tegen de vorige release, zodat een stille achteruitgang boven water komt voordat een klant die merkt.
Afwijkingsmeldingen
Een score die buiten het verwachte bereik komt, geeft vanzelf een melding, zonder op de volgende controleronde te wachten.
Spraakfouten bijhouden
Fouten in de spraakherkenning worden bijgehouden per naam, plaats en productterm en daarna gecorrigeerd in het woordenboek van de agent.
| Maatstaf | Definitie | Waarom het telt |
|---|---|---|
| Oplossing | Of de reden van het telefoontje echt is afgehandeld. | De kernmaatstaf voor de vraag of de agent zijn werk heeft gedaan. |
| Sentiment | Hoe de toon van de klant veranderde van het begin tot het einde van het gesprek. | Vangt gesprekken die op papier opgelost zijn, maar de klant toch frustreerden. |
| Beleidsnaleving | Of de acties van de agent binnen de ingestelde regels bleven. | Houdt de agent binnen de grenzen die het bedrijf heeft gesteld. |
| Reactietijd | De tijd tussen het moment dat de klant uitgesproken is en het antwoord van de agent. | Een traag antwoord voelt als een slechte verbinding, ook als het antwoord klopt. |
| Juistheid van overdracht | Of de agent heeft doorverbonden met een medewerker wanneer dat nodig was. | Een gemiste escalatie is erger dan een onnodige. |
| Regressieverschil | De scoreverandering ten opzichte van de vorige release, op dezelfde testset. | Vangt een release die de agent ongemerkt slechter maakt. |
Outbound A/B
De betere opening wint op uitkomsten, niet op meningen
Welke openingszin, toon of stem werkt, wordt beslist in live uitgaande gesprekken, niet in een vergadering.
Voorbeeldtest · varianten van de openingFase 1 · gelijk verdeeld verkeer
0 gesprekken
0 gesprekken
0 gesprekken
Minimale steekproef nog niet bereikt. Verkeer blijft verdeeld.
Wat er getest wordt
De openingszin, de toon, de stem, het tempo, de volgorde van de vragen, de manier waarop een bezwaar wordt opgevangen. Eén variabele per variant, zodat het resultaat toe te wijzen is.
Hoe de winnaar wordt gekozen
Op de eigen uitkomst van de campagne, met een afgesproken minimale steekproef per variant. Sentiment en overdrachtspercentage werken als vangrails: een variant die wint op uitkomsten maar slechter valt bij de klant, gaat niet live.
Hoe het live gaat
De winnaar wordt in gecontroleerde stappen uitgerold, de andere varianten verdwijnen, en de wijziging wordt vastgelegd, zodat de volgende vergelijking vanaf een bekende basis begint.
Een gepromoveerde variant moet nog steeds door de regressieset voordat die de hele campagne bereikt.
Vangrails
Wat een agent nooit zal doen
- Weigert wat buiten de scope valtEen verzoek buiten waarvoor de agent is gebouwd, wordt afgewezen, niet omzeild met improvisatie.
- Verzint nooit beleidHeeft de agent geen regel gekregen, dan gokt die er geen en belooft die niets namens u.
- Escaleert gevoelige onderwerpenGevoelige verzoeken gaan naar een medewerker, in plaats van dat de agent ze op eigen oordeel afhandelt.
- Biedt altijd een mens aanEr blijft altijd een route naar een mens open voor de beller, wat de agent ook zelf kan doen.
Veelgestelde vragen
Vragen over testen
Moeten wij de prompt schrijven of onderhouden?+
Nee. U legt het werk uit, deelt de documenten en opnames en beoordeelt wat de agent zegt. De prompt schrijven en onderhouden is ons werk, en de tests worden gebouwd uit het materiaal dat u ons gaf, niet uit een generiek template.
Wordt er vóór elke release getest, niet alleen bij de lancering?+
Ja. Regressierondes tegen de vorige release draaien volgens een vaste planning, en elke wijziging doorloopt dezelfde gefaseerde uitrol als de eerste lancering.
Wat gebeurt er als twee evaluaties het oneens zijn?+
Het gesprek gaat naar een menselijke beoordelaar en wordt gecontroleerd voordat het resultaat definitief is. Herhaalde verschillen zijn een signaal om de evaluatieset zelf aan te scherpen.
Kunnen we de testscenario's voor onze agent inzien?+
Ja. De persona's en scenario's worden gebouwd rond uw eigen beleid en randgevallen, en u kunt ze tijdens de onboarding inzien.
Wat gebeurt er als de scores van een live agent afdrijven?+
Er gaat automatisch een afwijkingsmelding uit, de gesprekken erachter worden beoordeeld, en de fix gaat opnieuw door de testset voordat dat type gesprek terug naar de agent gaat.
Bekijk de Test Suite op uw eigen toepassing
Loop met ons door hoe een gemeten lancering eruit zou zien, van de eerste workflowbriefing tot de reviewcyclus na de livegang.