30 günlük sesli yapay zeka pilotu nasıl değerlendirilir?

Kısa cevap

Sesli yapay zeka pilotu, 30. günde her metrik hedefini tutturduysa ve hiçbir durdurma eşiği aşılmadıysa başarılı olmuştur. Hedefler ve durdurma eşikleri, ilk canlı çağrıdan önce imzalanan pilot kartında yazılıdır. Ölçütleri çağrılardan sonra belirlerseniz 30. gün, hangi çağrıların sayılacağı tartışmasına döner. Önceden belirlerseniz 30. gün kısa bir toplantıdan ibarettir.

Aynı çağrı türü için karşılaştırılabilir bir dönemden başlangıç ölçümü alın. Tek bir pilot kartına beş metrik koyun: çözüm oranı, tekrar temas oranı, yanlış işlem oranı, aktarım kalitesi ve insan emeği. Her birine kesin bir tanım, bir hedef ve bir durdurma eşiği yazın. Her haftalık incelemede aynı karta bakın.

30. günde önceden anlaştığınız kuralı uygulayın. Her hedef tutturulduysa karar Genişlet olur. Bir ya da iki metrik hedefin gerisindeyse ve bunu bilinen tek bir neden açıklıyorsa karar Uzat olur: pilot yalnızca bir kez, iki hafta uzatılır. Bir durdurma eşiği aşıldıysa, ikiden fazla metrik hedefin gerisindeyse ya da açığı bilinen tek bir neden açıklamıyorsa karar Durdur olur. Bazı durdurma eşikleri için tek bir çağrı yeter, örneğin parasal ya da hukuki sonucu olan yanlış bir işlem.

Pilottan önceki kurulum adımları için 90 günlük sesli yapay zeka uygulama planımıza bakın.

İzlenimler neden karar yerine geçmez

30 gün sonra yönetici, agent'ın sinirli bir müşteriyi yanlış anladığı o tek çağrıyı hatırlar. Proje ekibi ise toplantılarda dinlettiği sorunsuz çağrıları hatırlar. İkisi de kimsenin dinlemediği yüzlerce çağrı hakkında pek bir şey söylemez.

Sonradan seçilen rakamlarda da aynı sorun var: en iyi görünen metriği seçmek ya da "çözüldü" kelimesini işinize gelecek kadar esnetmek kolaydır. Bu yüzden pilot kartını 1. günden önce operasyon sorumlusu, kalite inceleyicisi, sistem sorumlusu ve sponsor imzalar. Pilot süresince hedefler ve durdurma eşikleri değişmez.

1. adım: başlangıç ölçümünü alın

Başlangıç ölçümü, aynı çağrı türünün bugünkü performansıdır ve pilotta kullanılacak tanımlarla ölçülür. Bu ölçüm olmadan %70'lik bir çözüm oranı ne iyi ne kötüdür. Çağrı türü, tek bir beklenen sonucu olan tek bir iş akışıdır. Bu yazıdaki örnekte müşteriler planlanmış bir teknisyen ziyaretini başka bir saate almak için arıyor. Çağrı, müşterinin kabul ettiği yeni bir saatle bitmeli.

Başlangıç ölçümünü karşılaştırılabilir bir dönemden alın:

• Aynı hafta günleri ve saatler: agent'ın cevap vereceği saatleri kapsayan dört tam hafta.
• Aynı sezon ya da kampanya: indirim haftasını sakin bir haftayla, bayram haftasını da normal bir haftayla karşılaştırmayın.
• Aynı çağrı karması: aynı çağrı türü, aynı diller ve aynı müşteri grupları. Pilot yalnızca akşam çağrılarını alıyorsa başlangıç ölçümü, akşam çağrılarına bugüne kadar ne olduğunu gösterir. Bu çağrılar sesli mesaja düşüyorsa başlangıç ölçümü de budur.

Eski kapanış kodlarını yeniden kullanmayın: "çözüldü" diye işaretlenmiş bir çağrı, randevu sisteminde yeni bir saat anlamına gelmeyebilir. Başlangıç dönemindeki çağrılardan rastgele bir örneklemi pilot kurallarıyla yeniden etiketleyin ve ekibinizin yanlış işlemlerini de bu örneklemle ölçün. Aktarılmayan bir çağrının neden henüz çözülmüş bir çağrı olmadığını otomasyonda kalma ve çözüm oranı yazımız anlatıyor.

Bir metrik hiç ölçülmediyse karta "ölçülmedi" yazın, hedefini yatırım gerekçesinin gerektirdiği seviyede belirleyin ve sonradan o metrikte iyileşme iddia etmeyin.

2. adım: pilot kartını yazın

Pilot kartında beş metrik var ve her biri farklı bir soruyu cevaplıyor. Böylece birindeki iyi rakam başka birindeki kötü rakamı örtemez. Her metrik için payı, paydayı ve neyin hariç tutulduğunu yazın. Sonra iki seviye belirleyin. Hedef, yatırım gerekçesinin tuttuğu seviyedir. Durdurma eşiği ise diğer metrikler ne gösterirse göstersin pilotu durdurduğunuz seviyedir. İkisinin arasında kalan metrik hedefin gerisindedir.

Karttaki bütün değerler bu yazı için kurgulanmış bir örnektir, gerçek bir şirketin verisi değildir.

Çözüm oranı hedefi bilinçli olarak başlangıç ölçümünün altında. Gerekçeyi karta yazın: insan emeği 100 çağrı başına 640 dakikadan 250 dakikaya ya da daha aşağı inerse yatırım gerekçesi %70'te de tutar. İnsan emeğinde yalnızca 3. ve 4. haftalar sayılır, çünkü 1. haftada bütün çağrılar incelenir ve ilk düzeltme 2. haftada yapılır.

Tek çağrının yettiği durdurma eşikleri

Bazı hataların bedeli, bir oranın oluşmasını beklemeyecek kadar yüksektir:

• Parasal ya da hukuki sonucu olan yanlış bir işlem: ücret tahsilatı, para iadesi ya da ücretli bir ziyaretin iptali gibi.
• Kimlik kontrolünden geçmemiş bir arayana kişisel veri verilmesi.
• Gaz kokusu gibi bir tehlike bildiren arayanın hemen bir insana aktarılmaması.

Bunlardan herhangi biri pilotu erken bitirir ve çağrılar aynı gün önceki yola döner. Düzeltmeden sonra yeniden başlarsanız bu, 1. günden başlayan yeni bir pilottur. Bir metriğin durdurma eşiği daha yavaş işler: metriğin ölçülen değeri art arda iki incelemede durdurma eşiğinin ötesindeyse pilot erken biter. Yalnızca o metriğin değerlendirildiği incelemeleri sayın: insan emeğinde 3. haftadan itibaren, tekrar temas oranında ise çağrıların 7 günü dolduktan sonra.

Haftada 100 çağrılık rastgele örneklem, yukarıda sayılan hataların çoğunu kaçırır. Bu yüzden bu hataları ayrıca arayıp bulun. Her hafta ücret tahsilatı, para iadesi ya da iptalle biten her çağrıyı, agent'ın kişisel veri verdiği her çağrıyı ve bir müşterinin ya da ekip arkadaşınızın sorun olarak bildirdiği her çağrıyı inceleyin. Bu incelemeler rastgele örnekleme ek olarak yapılır.

3. adım: haftalık incelemeyi yapın

Haftalık incelemede her hafta aynı gün aynı karta bakılır, sayımlar kontrol edilir ve agent için en fazla bir değişiklik seçilir.

Haftaları karşılaştırılabilir tutan üç kural var:

• Haftada tek değişiklik, tarihiyle birlikte kaydedilir. İki değişiklik olursa rakamı hangisinin değiştirdiğini bilemezsiniz.
• Sabit tanımlar. Bir tanımın yanlış olduğu ortaya çıkarsa onu bir kez değiştirin, nedenini yazın ve önceki bütün haftaları yeniden hesaplayın.
• Oranların yanında adetler. "%64" değil, "%64 (400 çağrının 256'sı)" yazın.

İnceleyenlerin hangi çağrılara bakması gerektiğini çağrı merkezi kalite örneklemi rehberimiz anlatıyor.

Rakamlar neyi söyler, neyi söyleyemez

Pilottaki her oran bir tahmindir. Bir p oranı n çağrıda ölçüldüyse, %95 güven düzeyinde yaklaşık hata payı 1,96 × √(p(1 - p) / n) olur. Oran %70 olduğunda sonuç şöyle:

• 100 çağrı: yaklaşık ±9,0 puan
• 400 çağrı: yaklaşık ±4,5 puan
• 1.000 çağrı: yaklaşık ±2,8 puan

Yani 400 çağrıya dayanan haftalık bir rakam, gerçek orandan çoğu zaman en fazla yaklaşık 4,5 puan sapar. Haftadan haftaya birkaç puanlık bir değişim tesadüften ibaret olabilir. Formül, çağrıların birbirinden bağımsız olduğunu ve oranın %0'a ya da %100'e yakın olmadığını varsayar. Başlangıç ölçümüyle karşılaştırmanın hata payı daha geniştir: her biri 1.600 çağrıda ölçülmüş, yaklaşık %70'lik iki oran arasındaki farkın hata payı yaklaşık ±3,2 puandır.

Örnekte 1. haftanın çözüm oranı 400 çağrıda %64, hata payı yaklaşık ±4,7 puan. Gerçek oran yaklaşık %59,3 ile %68,7 arasında bir yerde olabilir: aralık durdurma eşiğinin altına sarkıyor ve hedefin altında kalıyor. 30. günde örnekte 1.600 çağrı birikmiş, oran %68, hata payı yaklaşık ±2,3 puan. Yaklaşık %65,7 ile %70,3 arasındaki aralık durdurma eşiğinin açıkça üstünde, hedef ise aralığın hemen içinde kalıyor.

Üç sınır daha var:

• Nadir olaylar. İncelenen 300 çağrıda hiç yanlış işlem çıkmaması, gerçek oranın yaklaşık %1'e kadar çıkabileceği ihtimalini dışarıda bırakmaz. Buna "üç kuralı" denir: n çağrıda hiç olay yoksa %95 üst sınır yaklaşık 3 / n olur. Her yanlış işlemi tek tek inceleyin ve sınıflandırın.
• Küçük dilimler. 60 çağrılık tek bir dil ya da hafta günü, %70'te yaklaşık ±11,6 puanlık bir hata payı taşır. Bu dilimlerin oranını karşılaştırmak yerine çağrılarını dinleyin.
• Son günlerin tekrar temasları. 30. günde tekrar temas oranı yalnızca 23. güne kadarki çağrıları kapsar. Sonraki çağrıların 7 günü henüz dolmamıştır.

30. gün kararı: Genişlet, Uzat ya da Durdur

30. günde pilot kartını 1. günden bu yana gelen bütün çağrılar üzerinden hesaplayın. Sonra kuralı şu sırayla uygulayın:

• Durdur: bir durdurma eşiği aşıldıysa, ikiden fazla metrik hedefin gerisindeyse ya da açığı bilinen tek bir neden açıklamıyorsa. Çağrılar önceki yola döner, gerekçe de bir sonraki pilot için yazıya geçirilir.
• Genişlet: her hedef tutturulduysa ve hiçbir durdurma eşiği aşılmadıysa. Aynı çağrı türünden daha fazla çağrıyı aynı kartla, adım adım agent'a taşıyın. Yeni bir çağrı türü kendi pilot kartıyla başlar.
• Uzat: bir ya da iki metrik, bilinen tek bir neden yüzünden hedefin gerisindeyse. Pilotu yalnızca bir kez, iki hafta uzatın. O nedene yönelik tek bir düzeltme yapın, aynı kartı kullanın ve uzatma dönemini kendi çağrıları üzerinden değerlendirin. Uzatmanın sonunda her hedef tutturulduysa karar Genişlet, tutturulmadıysa Durdur olur.

Karışık sonuçlar nasıl okunur

30. günde karışık bir sonuç sık görülür: dört metrik hedefini tutturur, biri tutturamaz.

• Ortalama almayın. Yüksek bir çözüm oranı yanlış bir randevuyu telafi etmez.
• Önce müşteriyi koruyun. Yanlış işlem oranından ve tek çağrının yettiği durdurma eşiklerinden, çözüm oranı ya da insan emeği uğruna asla taviz verilmez. Yanlış işlem oranı hedefin gerisindeyse Uzat kararını ancak bütün yanlış işlemler bilinen aynı nedenden kaynaklanıyorsa ve düzeltme bu nedeni ortadan kaldırıyorsa verin.
• Açığı hata payıyla karşılaştırın. %68, %70'lik hedefi tutturmaz. Ama hata payından küçük ve nedeni bilinen bir açık, Uzat kararı için tipik bir durumdur.
• Nedenin nerede olduğunu bulun. Çağrılar boş randevu saati olmadığı için başarısız oluyorsa daha iyi bir agent bunu düzeltmez. İnsan emeği hedefini tutturamıyorsa 3. haftadan 4. haftaya düşmeye devam edip etmediğine bakın.

Örnek bir 30. gün kartı

Örnek değerler, gerçek veri değil.

Bir metrik hedefin gerisinde ve hiçbir durdurma eşiği aşılmadı. Çözülmeyen çağrıların en büyük grubunda müşteri akşam saatine randevu istiyor, randevu sistemi ise akşam saatlerini yalnızca çalışanlara gösteriyor. Neden belli ve tek bir düzeltmeyle ele alınabilir. Bu yüzden karar Uzat: iki hafta, aynı kart ve akşam saatlerinin agent'a açılması. Haftada yaklaşık 400 çağrıyla uzatma, değerlendirilecek yaklaşık 800 yeni çağrı getirir. %70'te bunun hata payı yaklaşık ±3,2 puandır.

DRING nerede devreye girer

DRING ile bir agent bir haftada canlıda olur. Bu haftayı, geçmiş çağrılardan alınan başlangıç ölçümü örneklemini yeniden etiketlemek ve pilot kartını ilk canlı çağrıdan önce imzalamak için kullanın. Her DRING agent'ı, ilk gerçek çağrıdan önce şirketinize özel hazırlanan 1.000 ila 10.000 simüle konuşmadan geçer. Bu pilot değil, canlıya çıkıştan önceki bir testtir. Simülasyon eksikleri erken bulabilir, ama ne başlangıç ölçümü verir ne de gerçek müşterilerde bir çözüm oranı. Bu konuşmaların neyi kapsadığını simüle konuşmalar yazımız anlatıyor.

Pilot süresince çağrı sonrası analiz, tanımladığınız ek alanları (örneğin her çağrının sonucunu) API, CRM'iniz, dashboard ve raporlar üzerinden size iletebilir. Çağrıları yine inceleyenler dinler. Alanlar ise her haftalık incelemenin aynı etiketlerle yapılmasını sağlar. Dashboard'u ve raporları çağrı analitiği sayfamızda görebilirsiniz.