Uw voice-AI-pilot beoordelen op dag 30

Het korte antwoord

Een voice-AI-pilot is geslaagd als op dag 30 elke KPI zijn doel haalt en geen enkele stopgrens is overschreden. De doelen en stopgrenzen staan op een pilotkaart die vóór het eerste live gesprek is ondertekend. Legt u de criteria pas na de gesprekken vast, dan wordt dag 30 een discussie over welke gesprekken meetellen. Legt u ze vooraf vast, dan is dag 30 een kort overleg.

Maak een nulmeting voor hetzelfde gesprekstype in een vergelijkbare periode. Zet vijf KPI's op één pilotkaart: oplospercentage, percentage herhaalcontact, percentage verkeerde acties, overdrachtskwaliteit en inzet van medewerkers. Geef elke KPI een exacte definitie, een doel en een stopgrens, en bespreek in elke weekevaluatie dezelfde kaart.

Pas op dag 30 de regel toe die u vooraf heeft afgesproken. Kies Opschalen als elk doel is gehaald. Kies Verlengen, eenmalig en voor twee weken, als een of twee KPI's hun doel missen en één bekende oorzaak het tekort verklaart. Kies Stoppen als een stopgrens is overschreden, als meer dan twee KPI's hun doel missen of als het tekort niet door één bekende oorzaak te verklaren is. Voor sommige stopgrenzen is één gesprek genoeg, zoals een verkeerde actie met financiële of juridische gevolgen.

De stappen om de agent vóór de pilot te bouwen, staan in ons 90-dagenplan voor voice-AI.

Waarom een indruk geen oordeel is

Na 30 dagen herinnert de manager zich vooral dat ene gesprek waarin de agent een boze klant verkeerd begreep. Het projectteam herinnert zich de soepele gesprekken die het in vergaderingen liet horen. Geen van beide zegt veel over de honderden gesprekken die niemand heeft gehoord.

Cijfers die u achteraf kiest, hebben hetzelfde probleem: het is makkelijk om de KPI te nemen die er het best uitziet, of het woord “opgelost” op te rekken tot het past. Daarom ondertekenen de operationeel verantwoordelijke, de kwaliteitsbeoordelaar, de systeemeigenaar en de opdrachtgever de pilotkaart vóór dag 1. Tijdens de pilot veranderen de doelen en stopgrenzen niet.

Stap 1: maak de nulmeting

De nulmeting laat zien hoe hetzelfde gesprekstype nu presteert, gemeten met de definities van de pilot. Zonder nulmeting is een oplospercentage van 70% goed noch slecht. Een gesprekstype is één workflow met één verwachte uitkomst. In het voorbeeld in dit artikel bellen klanten om een gepland bezoek van de monteur te verzetten, en het gesprek hoort te eindigen met een nieuw tijdslot waarmee de klant akkoord is.

Haal de nulmeting uit een vergelijkbare periode:

• Dezelfde weekdagen en uren: vier volle weken, met de uren waarop de agent straks de telefoon opneemt.
• Hetzelfde seizoen of dezelfde campagne: geen uitverkoopweek tegenover een rustige week, en geen vakantieweek tegenover een gewone week.
• Dezelfde gespreksmix: hetzelfde gesprekstype, dezelfde talen en dezelfde klantgroepen. Gaan in de pilot alleen de avondgesprekken naar de agent, dan is de nulmeting wat er eerder met avondgesprekken gebeurde, ook als die op de voicemail uitkwamen.

Gebruik geen oude afhandelcodes: een klik op “opgelost” kan iets anders betekenen dan een nieuw tijdslot in het planningssysteem. Label een willekeurige steekproef van gesprekken uit de nulmeting opnieuw volgens de regels van de pilot, en meet daarmee ook de verkeerde acties van uw eigen team. Ons artikel over containment versus oplospercentage legt uit waarom een gesprek zonder doorverbinden nog geen opgelost gesprek is.

Is een KPI nooit gemeten, schrijf dan “niet gemeten” op de kaart, baseer het doel op wat de businesscase nodig heeft en claim later geen verbetering op die KPI.

Stap 2: stel de pilotkaart op

De pilotkaart bevat vijf KPI's die elk een andere vraag beantwoorden. Zo kan een goed cijfer op de ene KPI geen slecht cijfer op een andere verbergen. Noteer per KPI de teller, de noemer en wat niet meetelt. Leg daarna twee niveaus vast. Het doel is het niveau waarop de businesscase sluitend is. De stopgrens is het niveau waarop u stopt, wat de andere KPI's ook laten zien. Zit een KPI daartussen, dan mist die het doel.

Alle waarden op deze kaart zijn een voorbeeld dat voor dit artikel is verzonnen, geen data van een echt bedrijf.

Het doel voor het oplospercentage ligt bewust onder de nulmeting. Zet de reden op de kaart: de businesscase is sluitend bij 70% als de inzet van medewerkers daalt van 640 naar 250 minuten of minder per 100 gesprekken. Voor de inzet van medewerkers tellen alleen week 3 en 4, omdat beoordelaars in week 1 elk gesprek nalopen en de eerste aanpassing in week 2 volgt.

Stopgrenzen waarvoor één gesprek genoeg is

Sommige fouten zijn te duur om op een percentage te wachten:

• Een verkeerde actie met financiële of juridische gevolgen, zoals een afschrijving, een terugbetaling of een geannuleerd betaald bezoek.
• Persoonsgegevens verstrekt aan een beller die niet door de identiteitscontrole is gekomen.
• Een beller die een gevaar meldt, zoals gaslucht, en niet direct met een medewerker wordt doorverbonden.

Elk van deze gevallen beëindigt de pilot voortijdig, en de gesprekken gaan nog dezelfde dag terug naar de oude route. Een herstart na een aanpassing is een nieuwe pilot vanaf dag 1. Een stopgrens op een KPI werkt trager: de pilot stopt voortijdig als de gemeten waarde van een KPI in twee weekevaluaties op rij de stopgrens overschrijdt. Tel daarbij alleen de weekevaluaties waarin die KPI wordt beoordeeld: de inzet van medewerkers vanaf week 3, en herhaalcontacten zodra hun 7 dagen voorbij zijn.

De willekeurige steekproef van 100 gesprekken per week mist de meeste fouten uit de lijst hierboven, dus zoek daar gericht naar. Loop elke week elk gesprek na dat eindigt met een afschrijving, een terugbetaling of een annulering, elk gesprek waarin de agent persoonsgegevens heeft verstrekt en elk gesprek waarover een klant of collega een probleem meldt. Deze controles komen bovenop de willekeurige steekproef.

Stap 3: houd de weekevaluatie

In de weekevaluatie bekijkt u elke week op dezelfde dag dezelfde kaart, controleert u de telling en kiest u hooguit één wijziging aan de agent.

Drie regels houden de weken vergelijkbaar:

• Eén wijziging per week, vastgelegd met de datum. Bij twee wijzigingen weet u niet waardoor het cijfer veranderde.
• Vaste definities. Blijkt een definitie niet te kloppen, pas die dan één keer aan, noteer waarom en bereken alle eerdere weken opnieuw.
• Aantallen naast percentages. Schrijf “64% (256 van 400 gesprekken)”, niet “64%”.

Welke gesprekken beoordelaars moeten nalopen, leest u in onze gids over kwaliteitssteekproeven in het callcenter.

Wat de cijfers wel en niet zeggen

Elk percentage uit een pilot is een schatting. Voor een percentage p, gemeten op n gesprekken, is de foutmarge bij 95% betrouwbaarheid ongeveer 1,96 × √(p(1 - p) / n). Bij een percentage van 70% geeft dat:

• 100 gesprekken: ongeveer ±9,0 procentpunt
• 400 gesprekken: ongeveer ±4,5 procentpunt
• 1.000 gesprekken: ongeveer ±2,8 procentpunt

Een weekcijfer op 400 gesprekken ligt dus meestal binnen ongeveer 4,5 procentpunt van het werkelijke percentage, en een verschuiving van een paar procentpunt van de ene week op de andere kan puur toeval zijn. De formule gaat uit van onafhankelijke gesprekken en een percentage dat niet dicht bij 0% of 100% ligt. Een vergelijking met de nulmeting heeft een bredere marge: bij twee percentages van ongeveer 70%, elk op 1.600 gesprekken, heeft het verschil een marge van ongeveer ±3,2 procentpunt.

In week 1 van het voorbeeld is het oplospercentage 64% op 400 gesprekken, ongeveer ±4,7 procentpunt. Het werkelijke percentage kan ergens tussen ongeveer 59,3% en 68,7% liggen: die bandbreedte loopt over de stopgrens heen en blijft onder het doel. Op dag 30 staat het voorbeeld op 68% over 1.600 gesprekken, ongeveer ±2,3 procentpunt. De bandbreedte, van ongeveer 65,7% tot 70,3%, ligt duidelijk boven de stopgrens, en het doel valt er net binnen.

Er gelden nog drie beperkingen:

• Zeldzame gebeurtenissen. Nul verkeerde acties in 300 beoordeelde gesprekken is nog steeds te rijmen met een werkelijk percentage tot ongeveer 1%. Dat is de statistische “regel van drie”: zonder gebeurtenissen in n gesprekken ligt de bovengrens bij 95% betrouwbaarheid op ongeveer 3 / n. Loop elke verkeerde actie na en classificeer die.
• Kleine deelgroepen. Eén taal of weekdag met 60 gesprekken heeft bij 70% een marge van ongeveer ±11,6 procentpunt. Luister die gesprekken liever terug dan hun percentage te vergelijken.
• Recente herhaalcontacten. Op dag 30 dekt het percentage herhaalcontact alleen gesprekken tot en met dag 23. Voor latere gesprekken zijn de 7 dagen nog niet voorbij.

Het besluit op dag 30: Opschalen, Verlengen of Stoppen

Bereken op dag 30 de pilotkaart over alle gesprekken sinds dag 1. Pas daarna de regel in deze volgorde toe:

• Stoppen als een stopgrens is overschreden, als meer dan twee KPI's hun doel missen of als het tekort niet door één bekende oorzaak te verklaren is. De gesprekken gaan terug naar de oude route, en de reden wordt vastgelegd voor de volgende pilot.
• Opschalen als elk doel is gehaald en geen enkele stopgrens is overschreden. Zet stap voor stap meer gesprekken van hetzelfde gesprekstype over naar de agent, met dezelfde kaart. Een nieuw gesprekstype krijgt een eigen pilotkaart.
• Verlengen als een of twee KPI's hun doel missen door één bekende oorzaak. Verleng één keer met twee weken, voer één aanpassing door voor die oorzaak, houd dezelfde kaart aan en beoordeel de verlenging alleen op de gesprekken uit die twee weken. Is dan elk doel gehaald, dan volgt Opschalen. Zo niet, dan is het besluit Stoppen.

Zo leest u gemengde resultaten

Op dag 30 is het resultaat vaak gemengd: vier KPI's halen hun doel en één niet.

• Neem geen gemiddelde. Een hoog oplospercentage maakt een verkeerd ingeplande afspraak niet goed.
• Bescherm eerst de klant. Het percentage verkeerde acties en de stopgrenzen waarvoor één gesprek genoeg is, ruilt u nooit in voor een beter oplospercentage of minder inzet van medewerkers. Mist het percentage verkeerde acties het doel, kies dan alleen Verlengen als elke verkeerde actie dezelfde bekende oorzaak heeft en de aanpassing die oorzaak wegneemt.
• Zet het tekort af tegen de marge. 68% haalt een doel van 70% niet. Maar een tekort dat kleiner is dan de marge, met een bekende oorzaak, is een typisch geval voor Verlengen.
• Zoek uit waar de oorzaak zit. Mislukken gesprekken omdat er geen vrij tijdslot is, dan lost een betere agent dat niet op. Mist de inzet van medewerkers het doel, kijk dan of die van week 3 naar week 4 nog daalt.

Voorbeeld: de kaart op dag 30

Voorbeeldwaarden, geen echte data.

Eén KPI mist het doel en geen enkele stopgrens is overschreden. In de grootste groep niet-opgeloste gesprekken vraagt de klant om een tijdslot in de avond, terwijl het planningssysteem tijdsloten in de avond alleen aan medewerkers toont. De oorzaak is bekend en één aanpassing pakt die aan, dus het besluit is Verlengen: twee weken, dezelfde kaart, en de tijdsloten in de avond worden ook voor de agent beschikbaar. Bij ongeveer 400 gesprekken per week levert de verlenging zo'n 800 nieuwe gesprekken op om te beoordelen, met een marge van ongeveer ±3,2 procentpunt bij 70%.

Waar DRING helpt

Met DRING staat een agent binnen een week live. Gebruik die week om de steekproef voor de nulmeting uit eerdere gesprekken opnieuw te labelen en de pilotkaart te ondertekenen vóór het eerste live gesprek. Elke DRING-agent doorloopt 1.000 tot 10.000 gesimuleerde gesprekken, gebouwd voor uw bedrijf, vóór het eerste echte gesprek. Dat is een test vóór de livegang, niet de pilot. Simulatie kan hiaten vroeg zichtbaar maken, maar levert geen nulmeting en geen oplospercentage bij echte klanten op. Wat die gesprekken afdekken, leest u in ons artikel over gesimuleerde gesprekken.

Tijdens de pilot kan de analyse na het gesprek extra velden teruggeven die u zelf definieert, zoals de uitkomst van elk gesprek, via de API, uw CRM, het dashboard en de rapportages. Beoordelaars blijven de gesprekken nalopen, en de velden geven elke weekevaluatie dezelfde labels. Het dashboard en de rapportages ziet u op onze pagina over gespreksanalyse.