Als AI een beller een verkeerde prijs noemt

Het korte antwoord

Een verkeerd antwoord in een AI-gesprek is zelden een raadsel. Het komt via een van vijf deuren binnen: Verouderde bron, Ontbrekende bron, Verkeerd verstane vraag, Opzoekfout of Bevoegdheidsoverschrijding. Vier daarvan beginnen buiten het model: Verouderde bron en Ontbrekende bron in de bron, Verkeerd verstane vraag in de spraakherkenning, Opzoekfout in een systeem dat de agent raadpleegt. Alleen Bevoegdheidsoverschrijding begint bij de agent zelf, als die meer aanbiedt dan is toegestaan.

Voorkomen is dus vooral werk aan bronnen en bevoegdheden. Elk antwoord gaat door dezelfde poort: het komt uit een goedgekeurde bron, die bron is actueel, het antwoord valt binnen de bevoegdheidsgrens, en elk getal, elke datum en elk bedrag wordt teruggelezen. Haalt een antwoord een controle niet, dan gaat het naar de veilige uitweg: de agent draagt het gesprek over aan een medewerker of spreekt een terugbelgesprek af.

Toch zullen er verkeerde antwoorden doorheen glippen. Daarvoor heeft u een vast incidentdraaiboek: Indammen, Opsporen, Rechtzetten, Vastleggen, Hertesten. De omvang van een incident wordt bepaald door de risicoperiode: van het moment waarop het verkeerde antwoord mogelijk werd tot het moment waarop het was hersteld. Hoe lang die periode duurt, hangt af van hoe snel uw bron een verandering in het bedrijf volgt, hoe snel u een probleem opmerkt en hoe snel u het indamt, niet van het model.

Alle voorbeeldcijfers in deze gids zijn voor deze gids bedacht: geen data van DRING en geen branchecijfers.

De vijf deuren waardoor een verkeerd antwoord binnenkomt

Elke deur heeft een eigen maatregel.

Alleen Bevoegdheidsoverschrijding sluit u met de bevoegdheidsgrens. De andere vier sluit u met werk aan bronnen, teruglezen en opzoekacties. Een fout via Ontbrekende bron eindigt in een gok van de agent, maar begint bij een gat in de bron, en de eerste controle van de antwoordpoort houdt die gok tegen. Over mislukte opzoekacties, zoals time-outs, leest u meer in ons artikel over waarom tool calling nog geen automatisering is.

Voorkomen: de antwoordpoort

De antwoordpoort is een vaste volgorde van stappen voor elk antwoord. Voordat de beller het antwoord hoort, volgen drie controles: Staat het antwoord in een goedgekeurde bron? Is de bron actueel? Valt het antwoord binnen de bevoegdheidsgrens? Daarna leest de agent elk getal, elke datum en elk bedrag terug, voordat er iets wordt toegezegd of geboekt. Is de uitkomst van een van de drie controles nee, dan gaat het gesprek naar de veilige uitweg.

Goedgekeurde bronnen, elk met een eigenaar en een ingangsdatum

Maak een lijst van alle bronnen waaruit de agent mag antwoorden: de prijslijst, het retourbeleid, het kennisdocument, het opzoeken van bestellingen. Elk daarvan is een goedgekeurde bron. Geef elke bron een broneigenaar: de persoon die de bron aanpast als er in het bedrijf iets verandert. Geef elke versie een ingangsdatum: de datum en het tijdstip vanaf wanneer die versie geldt.

Houd per onderwerp één goedgekeurde bron aan. In het voorbeeldincident hieronder waren de prijslijst op de website en de bron van de agent twee aparte documenten, en maar één ervan werd op tijd aangepast.

Controle 1: staat het antwoord in een goedgekeurde bron?

Staat het antwoord niet in een goedgekeurde bron, dan gaat de agent naar de veilige uitweg. Ook een behulpzame gok valt onder Ontbrekende bron.

Controle 2: is de bron actueel?

Voer elke nieuwe versie met ingangsdatum in vóór de wijziging. Dan is de bron actueel op het moment dat de prijs verandert, en niet pas als iemand eraan denkt om die aan te passen. Komt er een wijziging aan en is de nieuwe versie nog niet klaar, stuur vragen over dat onderwerp dan naar de veilige uitweg tot die versie klaar is.

Controle 3: valt het antwoord binnen de bevoegdheidsgrens?

De bevoegdheidsgrens bepaalt wat de agent mag zeggen of doen zonder een medewerker. Beschrijf die per onderwerp, in drie niveaus:

Moet overdragen betekent de veilige uitweg: een medewerker neemt het gesprek nu over, of bevestigt later via een terugbelgesprek. Wat de medewerker bij het gesprek moet meekrijgen, leest u in onze gids over het ontwerp van de overdracht aan medewerkers.

Dan het teruglezen: elk getal, elke datum en elk bedrag

Op een slechte lijn klinken veertien en veertig bijna hetzelfde. Daarom herhaalt de agent elk getal, elke datum en elk bedrag dat in het gesprek wordt genoemd of verwerkt, en de beller bevestigt het voordat er iets wordt toegezegd of geboekt. Het teruglezen vangt ook een Verkeerd verstane vraag op, want de beller hoort welk pakket de agent bedoelt. Een voorbeeld, na het herstel in het incident hieronder:

• Beller: “Wat kost het beschermingspakket nu?”
• Agent: “Het beschermingspakket kost € 14 per maand. Dat is veertien euro per maand. Is dat het pakket dat u bedoelt?”
• Beller: “Ja, veertien. Die bedoel ik.”

En dezelfde agent bij de bevoegdheidsgrens:

• Beller: “Vorige week stond er twaalf euro op uw website. Kan ik het voor twaalf krijgen?”
• Agent: “Een prijs aanpassen kan ik in dit gesprek niet, maar een collega kan ernaar kijken. Zal ik u nu doorverbinden, of wilt u liever teruggebeld worden?”

Test de antwoordpoort vóór de release

Test vóór de release minstens één geval per deur:

• Verouderde bron: een nieuwe prijs met een ingangsdatum. Gesprekken vóór die datum krijgen de oude prijs, gesprekken erna de actuele prijs.
• Ontbrekende bron: vragen die geen enkele goedgekeurde bron dekt. De agent komt uit bij de veilige uitweg.
• Verkeerd verstane vraag: productnamen die bijna hetzelfde klinken, met achtergrondgeluid. Het teruglezen vangt de verkeerde op.
• Opzoekfout: een opzoekactie die mislukt, niets oplevert of een andere bestelling teruggeeft. De agent verzint geen resultaat en komt uit bij de veilige uitweg.
• Bevoegdheidsoverschrijding: een verzoek om korting of een terugbetaling. De agent draagt het gesprek over.

Hoe u de volledige testset opbouwt, leest u in onze gids over het testen van een voice-AI-agent vóór de livegang.

Een voorbeeldincident: een prijswijziging die de agent miste

Voorbeeld, geen echte data. Een winkelketen verhoogde de prijs van haar beschermingspakket van € 12 naar € 14 per maand, met ingang van maandag 9.00 uur. De prijslijst op de website werd op tijd aangepast. De goedgekeurde bron van de agent was een apart document, en niemand paste dat aan toen de prijs veranderde. Woensdag om 10.30 uur kwam de eerste klacht binnen: een beller die € 12 te horen had gekregen, kreeg € 14 in rekening gebracht. Het document werd woensdag om 14.00 uur hersteld: dat was de stap Indammen. De risicoperiode liep van maandag 9.00 uur tot woensdag 14.00 uur: 53 uur.

Indammen volgde 3 uur en 30 minuten na de eerste klacht, en in die uren konden bellers nog steeds € 12 horen. Had het team prijsvragen over het pakket binnen enkele minuten na de klacht laten overdragen aan medewerkers, dan was dat al gestopt terwijl het document nog werd hersteld.

Na 14.00 uur startte het team met Opsporen. Het doorzocht de transcripten uit de risicoperiode op het pakket en las daarna elk gesprek waarin het pakket ter sprake kwam:

De laatste drie rijen komen samen op de 120 gesprekken waarin het pakket ter sprake kwam: 46 plus 61 plus 13. Er zijn dus 46 getroffen bellers, geen 900. Alle 900 bellers benaderen had 854 mensen in verwarring gebracht die nooit € 12 hadden gehoord. Alleen de beller benaderen die klaagde, had 45 getroffen bellers met een verkeerde prijs laten zitten. Op donderdag benaderde het team de 46 getroffen bellers met de actuele prijs.

Met twee aanpassingen was de risicoperiode korter geweest. Had de nieuwe prijs met de ingangsdatum vóór maandag in de goedgekeurde bron gestaan, dan was de risicoperiode 0 uur geweest. Met een dagelijkse controle die de genoemde prijs in elk gesprek vergelijkt met de actuele prijslijst, had de eerste controle, op dinsdag om 8.00 uur, de gesprekken gesignaleerd waarin € 12 werd genoemd. Was de bron toen hersteld, dan was de risicoperiode 23 uur geweest in plaats van 53.

Het incidentdraaiboek: vijf stappen

Bereikt een verkeerd antwoord bellers, doorloop dan dezelfde vijf stappen in dezelfde volgorde. Indammen gaat vóór Opsporen: terwijl u de gesprekken doorzoekt, kunnen nieuwe bellers het verkeerde antwoord nog steeds horen.

Opsporen gaat over getroffen bellers, niet over iedereen die belde. Begin bij de risicoperiode, beperk u tot het onderwerp en lees daarna de gesprekken. Antwoorden uw medewerkers uit dezelfde bron, controleer dan ook hun gesprekken.

Rechtzetten vraagt om beleid dat vóór het eerste incident vaststaat. Houdt u zich aan de verkeerd genoemde prijs, of legt u de actuele prijs uit? Dat is een beleidsbeslissing voor uw bedrijf. Beslis vooraf, leg het besluit vast en geef het aan de mensen die de correctiegesprekken voeren. Of een genoemde prijs u bindt, is een vraag voor uw juridisch adviseurs, en deze gids beantwoordt die niet.

Vastleggen gebeurt elke keer met dezelfde velden in het incidentenregister, zodat incidenten vergelijkbaar zijn. De registratie van het voorbeeldincident:

Wat u meet

Drie cijfers laten zien of de antwoordpoort en het incidentdraaiboek werken:

• Percentage verkeerde antwoorden in beoordeelde gesprekken: beoordeelde gesprekken met verkeerde informatie, gedeeld door het aantal beoordeelde gesprekken. Het is het deel van het percentage verkeerde acties uit ons artikel over succescriteria voor een voice-AI-pilot dat over verkeerde informatie gaat, zodat beide cijfers vergelijkbaar blijven. Koppel elk verkeerd antwoord aan zijn deur, dan ziet u aan de telling per deur waar u als eerste aan moet werken.
• Duur van de risicoperiode: per incident, in uren. In het voorbeeld 53 uur: 49 uur en 30 minuten tot de eerste klacht, daarna 3 uur en 30 minuten tot het herstel.
• Tijd van eerste signaal tot Indammen: van de eerste klacht, bevinding uit een beoordeling of melding van een controle, tot Indammen. In het voorbeeld 3 uur en 30 minuten.

Geen antwoordpoort kan een percentage verkeerde antwoorden van nul garanderen, en een rustige maand bewijst niet dat die werkt. Zoals het pilotartikel uitlegt, is nul verkeerde acties in 300 beoordeelde gesprekken nog steeds te rijmen met een werkelijk percentage tot ongeveer 1%.

Een willekeurige steekproef kan ook een specifiek onderwerp missen, of het pas laat vinden. In het voorbeeld waren 46 van de 900 gesprekken in de risicoperiode getroffen, ongeveer 5 op de 100, allemaal over één pakket. Een dagelijkse controle van de genoemde prijs in elk gesprek tegen de actuele prijslijst bekijkt elk gesprek over dat onderwerp, geen steekproef.

Waar DRING helpt

Vangrails, overdracht aan medewerkers, analyse na het gesprek, testen en monitoring horen allemaal bij de gedeelde basis van elk DRING-pakket. In deze gids is de bevoegdheidsgrens een vangrail, steunt de veilige uitweg op overdracht aan medewerkers en steunt de dagelijkse controle op analyse na het gesprek.

De analyse na het gesprek kan extra velden teruggeven die u zelf definieert, via de API, uw CRM, het dashboard en de rapportages. Een van die velden kan de prijs zijn die in elk gesprek is genoemd. Daarmee wordt een dagelijkse controle tegen de actuele prijslijst mogelijk. Het dashboard en de rapportages ziet u op onze pagina over gespreksanalyse.

Elke DRING-agent doorloopt 1.000 tot 10.000 gesimuleerde gesprekken, gebouwd voor uw bedrijf, vóór het eerste echte gesprek. Simulaties testen de antwoordpoort vóór de livegang. Het incidentdraaiboek bij live gesprekken vervangen ze niet.

Komt er op uw lijn een prijs- of beleidswijziging aan, vraag dan een terugbelgesprek aan. Houd uw prijslijst en het document waaruit uw agent antwoordt bij de hand. Ons team kan ze samen met u toetsen aan de vijf deuren.