Sesli yapay zeka için çağrı merkezi kalite örneklemi

Geleneksel çağrı kalite programları, bir insan her şeyi dinleyemediği için genellikle görüşmelerin küçük bir yüzdesini örnekler. Sesli yapay zeka analizin ekonomisini değiştirir, ama muhakeme ihtiyacını ortadan kaldırmaz. Transkript neyin söylendiğini gösterebilir; yine de müşterinin anlaşılıp anlaşılmadığına, politikanın doğru uygulanıp uygulanmadığına ve sonraki adımın gerçekten tamamlanıp tamamlanmadığına bir değerlendiricinin karar vermesi gerekebilir.

Uygulanabilir bir kalite programı geniş otomatik kontrolleri hedefli insan incelemesiyle birleştirir. Yüksek riskli görüşmelerden, yeni iş akışlarından, yeni dillerden, alışılmadık sonuçlardan ve sistemin kendisinin belirsiz diye işaretlediği çağrılardan örnek alır. DRING'in kalite ve test iş akışları, bu incelemeleri Agent Factory sürüm döngüsüne bağlamak için tasarlanmıştır.

Yalnızca hacme göre değil, riske göre örnekleyin

Tamamen rastgele bir örneklem genel bir sağlık kontrolü için işe yarar, ama nadir görülen ve sonuçları ağır olan hataları kaçırabilir. Riske dayalı katmanlar ekleyin: hassas ödeme talepleri, kimlik belirsizliği, şikayetler, klinik sınırlar, insana devirler, güveni düşük transkripsiyonlar, başarısız araç çağrıları ve olumsuz duygu durumu sinyalleri. Ekip hangi davranışların korunması gerektiğini bilsin diye başarılı çağrılardan da bilinçli bir örneklem inceleyin.

Yeniliği de bir risk etkeni sayın. Yeni bir dil, ses, bilgi makalesi, entegrasyon ya da prompt, ilk yayın döneminde daha yakından incelenmeyi hak eder. Yeni bir pazara açılan iş akışı için de aynısı geçerli. Örneklem talebi olduğu kadar değişimi de izlemeli.

İki değerlendiricinin aynı biçimde uygulayabileceği bir puanlama rehberi yazın

Kalite puanlama rehberi gözlemlenebilir davranışı tarif etmeli. “Yardımsever duruyordu” gibi bir ifadeyi kalibre etmek zordur. “Müşterinin istediği teslimat tarihini teyit etti, kargo durumu uydurmadı ve kayıt erişilemez olduğunda bir geri arama oluşturdu” ise incelenebilir. Boyutları ayırın ki bir çağrı bir alanda güçlü, başka bir alanda zayıf çıkabilsin.

• Niyet ve bağlam: Agent arayanın neye ihtiyacı olduğunu anladı mı?
• Bilgi ve politika: Yanıt doğru ve kapsam içinde miydi?
• Konuşma: Dinledi mi, söz kesmeyi yönetebildi mi, gereksiz tekrardan kaçındı mı?
• İşlem: Araçlar doğru biçimde ve yalnızca yetki verildiğinde mi kullanıldı?
• Devir: Doğru kuyruğa eksiksiz ve dürüst bir bağlam paketi ulaştı mı?
• Sonuç: Müşteri üzerinde anlaşılan sonraki adıma ulaştı mı?

Değerlendiricileri aynı örneklerle kalibre edin. Anlaşmazlıkları konuşun ve yeni bir hata kategorisi ortaya çıktığında puanlama rehberini güncelleyin. Puanın, değerlendiricinin, sürümün ve kullanılan kanıtın denetim izini tutun.

Çağrı yolculuğunun tamamını inceleyin

Kalite ilk cümleden önce başlar ve kayıt yazıldıktan sonra biter. Karşılamayı ve bilgilendirmeyi, numara ya da kimlik yolunu, konuşma tanımayı, bilgi getirmeyi, araç çağrısını, aktarımı, transkripti, özeti ve CRM sonucunu kontrol edin. Kusursuz bir yanıtın ardından yanlış bir geri yazma geliyorsa iş akışı başarısız olmuştur. Sahibi olmayan doğru bir devir de eksiktir.

DRING'in ortak bağlam modeli burada işe yarar, çünkü müşteri sesten WhatsApp'a ya da SMS'e geçebilir. Değerlendirici, kanal değişikliği boyunca dosyanın tutarlı kalıp kalmadığını görebilmeli.

Otomatik kontrollerle insan muhakemesini dengeleyin

Otomatik kontroller tutarlılıkta iyidir. Zorunlu bir bilgilendirmenin yapılıp yapılmadığını, bir alanın yazılıp yazılmadığını, yasak bir işlemden kaçınılıp kaçınılmadığını ya da çağrının doğru sonuç koduyla bitip bitmediğini test edebilirler. İnsan değerlendiriciler ise inceliklerde daha iyidir: bir ifadenin küçümseyici duyulup duyulmadığı, arayanın düzeltmesinin gerçekten duyulup duyulmadığı ya da bir eskalasyonun duygusal olarak doğru anda gelip gelmediği.

Anlaşmazlığı bir bilgi olarak kullanın. Otomatik puanlar ile insan puanları belli bir dilde ya da iş akışında sık sık ayrışıyorsa puanlama rehberi ya da model ilgi gerektirebilir. İkisini, alttaki soruyu gizleyen tek bir sayıda sessizce ortalamayın.

Dili ve sesi örneklemin parçası yapın

Teknik altyapının 62 dili desteklemesi, her dilde aynı kalitenin iddiası değildir. Genel bir metrik sabit kalırken tek bir dilde telaffuz, çeviri ya da devir sorunu gelişebilir. İstenen her dil ve iş akışının canlıya çıkmadan önce gerçek yolu üzerinde doğrulanması gerekir. Dile, kanala ve iş akışına göre örnekleyin. Özel isimlere, sayılara, tarihlere, ürün terimlerine, nezaket kalıplarına ve diller arasında gidip gelmeye kulak verin. Cümlenin birebir çeviri olup olmadığına değil, aynı politikanın doğal biçimde ifade edilip edilmediğine bakın.

Platform ses, WhatsApp, SMS ve e-postada ortak bir agent beyni kullanır; ama ortak bilgi dile özgü kalite kontrolünü gereksiz kılmaz. Sonuç modelini ortak, test örneklerini ise yerel olarak anlamlı tutun.

Bulguları bir sürüm sürecine aktarın

Önemli her bulgunun bir kategorisi ve bir sorumlusu olmalı. Telaffuz sorunu terim listesine ait olabilir. Yanlış bir yanıt bilgiye ait olabilir. Başarısız bir sorgu entegrasyona ait olabilir. Geç bir aktarım politikaya ya da konuşma stratejisine ait olabilir. Doğrulanmış yeniden üretimi regresyon setine ekleyin ve yeşil kalması gereken koruma kuralını belirtin.

Agent Factory bu süreci haftalık ya da aylık bir ritme dönüştürebilir: çağrıları incelemek, hataları önceliklendirmek, sürüm adayını oluşturmak, simülasyonları çalıştırmak, aşama aşama yayına almak ve canlı kanıtı karşılaştırmak. Değer panelin kendisinde değil. Değer, arayanın yaşadığı sürtünmeden kontrollü bir iyileştirmeye giden yolun kısalmasında.

Kusursuz bir ortalama peşinde koşmayın

Ortalamalar yanlış davranışı teşvik edebilir. Ekip yüksek bir AI'da kalma oranı peşine düşerse agent'lar gerektiğinde bile devirden kaçınabilir. Kısa çağrı peşine düşerse netleştirme atlanabilir. Olumlu duygu durumu etiketlerinin payını artırmaya çalışırsa, iş yarım kalırken hoş bir dil kullanılabilir. Sonucu, kaliteyi ve koruma kurallarını birlikte görünür tutun.

Hem oranı hem örneklem büyüklüğünü raporlayın. Dönemi, iş akışını, dili ve sürüm numarasını belirtin. Bir metrik değiştiğinde alttaki kategori hareketini gösterin. Bir yönetici iyileşmenin daha iyi çözümden mi, daha az riskli çağrıdan mı, çağrı karışımındaki bir değişimden mi, yoksa gerçek bir davranış değişikliğinden mi geldiğini görebilmeli.

Bir kalite örneklemi planı

• Rastgele bir sağlık örneklemini riske dayalı örneklemlerle birlikte sürdürün.
• Yeni iş akışlarından, dillerden, entegrasyonlardan ve sürüm adaylarından daha fazla örnek alın.
• Niyet, politika, işlem, devir ve sonuç için ayrı puanları olan bir puanlama rehberi kullanın.
• Otomatik kontrolleri kalibre edilmiş insan incelemesiyle birleştirin.
• Her önemli hatayı bir regresyon senaryosuna ve bir sorumluya bağlayın.
• Metrikle birlikte dönemi, paydayı, sürüm numarasını ve örneklem büyüklüğünü yayınlayın.

Kalite örneklemi, sesli yapay zeka operasyonunun canlıya çıkış duyurusundan sonra da dürüst kalmasını sağlar. Süpervizörlere müşterilerin ne yaşadığını görmenin bir yolunu, mühendislere yeniden üretilebilir hataları, bir sonraki sürüme de hak ederek geçmesi gereken bir çıtayı verir.

İleri okuma

• NIST: ölçüm, dokümantasyon ve sürekli risk yönetimi
• Deloitte: çağrı merkezlerinin analitik ve verimlilik önceliklerine dair araştırma
• Twilio: ses, yazışma ve agent görüşmelerini birlikte analiz etmek