Demoda iyi, canlıda kötü: hangi katman kırıldı?

Kısa cevap

Demoyu geçip canlı çağrılarda başarısız olan bir sesli agent birdenbire kötüleşmiş değildir. Canlı çağrılar da demodaki aynı yedi katmandan geçer: telefon hattı ve ses ile konuşma tanımadan araçlara, insana devir ve ölçüme kadar. Gerçek koşullarda şimdi kırılan katmanı demo hiç sınamamıştı.

Bu yüzden işe prompt'u yeniden yazarak başlamayın. Gerçek başarısız çağrıları alın, her birini katmanlardan sırayla geçirin ve ilk kırılan katmanın hanesine yazın. En çok çağrının toplandığı katman aksayan katmandır ve ilk düzeltmeniz orada. O tek düzeltmeyi yapın, aynı çağrıları yeniden çalıştırın ve sonuçları karşılaştırın.

Bu yazı zaten canlıda olan bir hat için. Henüz canlıya çıkmadıysanız sesli agent'ı canlıya çıkmadan test etme rehberimizle başlayın.

Demo neden geçti

Demo, her şeyin lehinize işlediği bir sınavdır. Arayan senaryoyu bilir, sessiz bir odada net konuşur ve agent'ın sözünü bitirmesini bekler. Test kaydı da temizdir: sipariş sistemde vardır, randevu saati boştur.

Gerçek arayanlar söz keser. Arabadan ya da depodan ararlar, yöresel kelimeler ve kısaltmalar kullanırlar, akışın hiç hesaba katmadığı yan konuları sorarlar. Bazen telefondaki kişi akışın beklediği kişi bile değildir: işletme sahibinin yerine telefona muhasebeci çıkar, bir yakını açar ya da çağrı başka bir departmana düşer.

Bu koşulların her biri farklı bir katmanı sınar. İyi bir demo, katmanların temiz girdide ayakta kaldığını gösterir. Gerçek trafikte hangisinin önce kırılacağını göstermez.

Bir çağrının geçtiği yedi katman

Her çağrı aynı katmanlardan aynı sırayla geçer. Erken bir katmandaki kırılma sonraki katmanlarda belirti üretir. Bu yüzden belirtiler tek başına çoğu zaman yanlış yeri gösterir.

• Telefon hattı ve ses: çağrı bağlanır, ses iki yönde de gecikmesiz ve yankısız akar, çağrı düzgün biter.
• Konuşma tanıma: arayanın söyledikleri metne dönüşür.
• Bilgi tabanı: agent'ın kullanabildiği politikalar, ürün ayrıntıları ve sık sorulan soruların cevapları gibi bilgiler.
• Karar: konuşmanın mantığı, yani sırada ne söyleneceği ya da sorulacağı, ne zaman teyit alınacağı, ne zaman devredileceği ve görüşmenin nasıl bitirileceği.
• Araçlar ve sistem işlemleri: CRM'de, randevu ya da destek sisteminde yapılan sorgulama ve yazma işlemleri.
• İnsana devir: aktarım ya da geri arama ve bu sırada ekip arkadaşınıza ulaşan bağlam.
• Ölçüm: kaydedilen sonuç gerçekte olanla örtüşür.

Bir kapı daha var, ama o bir yapay zeka katmanı değil. Bazı çağrılar iş tarafında kaybedilir: stok kalmamıştır, boş randevu yoktur ya da kendi sisteminizdeki veri eskidir. Agent işini yapmıştır ama işletme talebi karşılayamamıştır. Bu çağrıları ayrı sayın ve o sürecin sahibine iletin.

Test senaryolarıyla değil, gerçek arayanlarla başlayın

Test tablonuzdaki senaryoları değil, yakın bir dönemin bütün gerçek çağrılarını alın. Sonra şirket içi test çağrılarını ayıklayın: aynı numara, aynı ezber cümleler, birkaç dakika arayla tekrar tekrar. Test eden kişi gerçek bir arayan gibi konuşmaz.

Ardından sonuç etiketlerini bir örneklem üzerinde kontrol edin. Sesli mesajlar görüşme, tamamlanmış randevular başarısız sayılıyorsa başarısız çağrı listesinin kendisi yanlıştır. Ölçüm son katmandır ama doğrulanacak ilk katmandır.

Son olarak kayıtları dinleyin. Transkript, konuşma tanımanın ne duyduğunu gösterir. Arayanın ne söylediğini ise yalnızca ses kaydı gösterir.

Teşhis tablosu: belirtiden katmana

Tabloyu her seferinde tek bir başarısız çağrı için kullanın ve katmanı belirlemeden önce kanıtı bulun.

Her başarısız çağrıyı bir kez, ilk kırıldığı yerde sayın

DRING'de başarısız çağrıları böyle okuyoruz. Her başarısız çağrı katmanlardan sırayla geçer ve tek bir etiket alır: ilk kırılan katman. Yanlış duyulan bir cümle önce yanlış bir cevaba, sonra başarısız bir randevuya yol açıyorsa bu üç ayrı sorun değil, tek bir konuşma tanıma kırılmasıdır.

Her çağrının tek bir değeri olunca sayıların toplamı başarısız çağrı sayısını verir. En büyük sayı da tek bir düzeltmenin en çok çağrıyı nerede kurtarabileceğini gösterir.

Yaygın yöntem ise her belirtiyi göründüğü her yerde etiketlemektir. Bu yöntemle sayıldığında aşağıdaki örnekteki 200 başarısız çağrı 355 etiket aldı. En çok etiket 104 adetle karar katmanına düştü, çünkü yanlış duyulan bir cümle genellikle sonraki cevabı da yanlış yapar. Oysa karar yalnızca 40 çağrıda ilk kırılmaydı. Belirti etiketleri birbirinin üstüne biner, toplamları başarısız çağrı sayısını tutmaz ve her katmanı acil gösterir. Gerekirse bunları ayrıca gösterin, ama düzeltmeleri ilk kırılmalara göre sıralayın.

Bu bölümdeki rakamlar bu yazı için hazırlanmış bir örnektir, gerçek bir kurulumdan alınmış veri değildir.

Bu örnekte önce konuşma tanıma üzerinde çalışılmalı: 200 çağrının 62'sinde ilk kırılma orada. İş tarafındaki 22 çağrı ise bir yapay zeka hatası değil. Agent'ta yapılan hiçbir değişiklik boş randevu yaratmaz, kendi sisteminizdeki eski fiyat listesini de düzeltmez.

Konuşma tanıma: düzeltmelerin çoğu karar katmanında

İlk kırılma, çağrının nerede yoldan çıktığını gösterir. Düzeltmenin nereye yapılacağını her zaman göstermez. Telefon hattında birçok tanıma hatası tanıma katmanında düzeltilemez: ses sıkıştırılmıştır ve bir forklift arayanın sesini bastırabilir. Metin yanlış olduğunda da konuşmanın doğru ilerlemesi gerekir. Bu iş karar katmanında yapılır:

• Oturmayan cümleye cevap vermeyin. Duyulan metin agent'ın az önce sorduğu soruyla örtüşmüyorsa agent ona göre işlem yapmaz, yeni bir konu da açmaz. Anlayamadığını söyler ve yeniden sorar.
• Bilinen yanlış duyuşların listesini tutun. Konuşma tanımanın gerçek çağrılarda yanlış duyduğu kelimeler bir listeye girer. Agent bunları tahmin etmek yerine soruyla teyit eder.
• Sistemdeki veriyi kullanın. Sipariş ya da kayıt zaten biliniyorsa agent onu arayana okur ve "Bahsettiğiniz bu mu?" diye sorar.
• Anahtar kelime listesini en sona bırakın. İsim ve ürün terimlerinden oluşan bir liste düşük maliyetli bir tanıma ayarıdır, ama yukarıdaki üç adımdan sonra gelir.

Bu yazı için kurgulanmış bir örnek, gerçek bir çağrı değil: yanlış duyulan tek bir tur ve iki farklı karşılık.

İlk cevap bir tanıma hatasını iptal edilmiş bir siparişe dönüştürür. İkincisi oturan kısmı tutar, kalanını yeniden sorar. Bu katman hakkında daha fazlası için sesli yapay zekanın yanlış duyduğunu nasıl düzelttiğini okuyun.

Araçlar ve devir: cümleye değil, loga güvenin

"Randevunuz oluşturuldu" diyen bir agent randevu değil, bir cümle üretmiştir. Her işlem için araç loguna bakın: istek gönderildi mi, ne döndü, bir kayıt ID'si var mı? Agent bir işlemi ancak başarılı bir yanıttan sonra teyit etmelidir. Bir çağrının arkasında ne bırakması gerektiğini CRM'e yazma rehberimiz anlatıyor.

Devir de aynı şekilde, sessiz sedasız kırılır. Aktarım gerçekleşir, ama özet geç gelir ya da hiç gelmez. Her aktarımdan sonraki ilk saniyeleri dinleyin. Ekip arkadaşınız arayana neden aradığını soruyorsa devir başarısız olmuştur. Bağlamın neleri içermesi gerektiğini insana devri tasarlamak yazımızda bulabilirsiniz.

Kapanış: vedayı sayın

Birçok akış çağrıyı bir süre dolunca ya da iş biter bitmez kapatır. Canlı çağrılarda bu, insanların sözünü bir sorunun ya da teşekkürün ortasında keser. Agent, arayanın vedasını duymadan telefonu kapatmamalıdır.

Agent'ın bitirdiği her çağrıda, kapatmadan önce arayanın söylediği son cümleyi okuyun. İçinde bir veda var mı? Vedasız kapanan çağrıların payı, yarıda kesilen çağrı oranınızdır ve karar katmanına aittir.

Her seferinde tek bir katmanı düzeltin

İşin sırasını ilk kırılma tablosu belirler:

1. Sayısı en yüksek yapay zeka katmanını seçin. İş tarafı kapısı ise sahibine gider.
2. O çağrılara yönelik tek bir değişiklik yapın. Konuşma tanıma kırılmalarında bu değişiklik, yukarıda anlatıldığı gibi genellikle karar katmanında yapılır. Aynı anda iki değişiklik yaparsanız hangisinin işe yaradığını bilemezsiniz.
3. Aynı başarısız çağrıları yeniden çalıştırın. Bunlar artık regresyon setinizdir: aynı arayan cümleleri ve mümkünse aynı ses koşulları.
4. Değişiklikten önceki ve sonraki ilk kırılma sayılarını karşılaştırın. Karşılaştırma aynı türden trafikte olsun: aynı kampanya, aynı liste türü ya da aynı gelen çağrı saatleri. Daha kolay bir liste her değişikliği iyi gösterir.

Bazı çağrıların kaybolmak yerine yer değiştirmesini bekleyin. Artık konuşma tanımayı geçen bir çağrı daha ileride, araçlarda kırılabilir. Bu bir ilerlemedir: sıradaki düzeltme artık görünür. DRING'in agent'ları kurduğu, test ettiği ve geliştirdiği sistem olan Agent Factory de aynı kurala uyar: her seferinde tek değişiklik ve yayından önce test.

DRING nerede devreye girer

Canlıdaki bir akış beklenen sonucu vermiyorsa, onu geri aramada konuşalım. Başarısız çağrılardan bir örneklem, politikanızın izin verdiği ölçüde ses kayıtları ve her çağrının ulaşması gereken sonuç hazır olsun. Ekibimiz bunları bu yazıda anlatıldığı gibi sizinle birlikte inceleyebilir ve her birinin ilk nerede kırıldığına bakabilir.

Kendi sistemlerinize dokunan değişikliklerin kapsamı ayrıca belirlenir. Bir agent'ın CRM'de hangi işlemleri yapabileceği CRM'in sürümüne, yetkilere ve API erişimine bağlıdır. DRING'de ek analiz alanları tanımlanabilir ve bu alanlar API, CRM, dashboard ve raporlar üzerinden size ulaşır. İlk kırılan katman da bu alanlardan biri olabilir.

DRING'in kurduğu her agent, ilk gerçek çağrıdan önce şirketinize özel hazırlanan 1.000 ila 10.000 simüle konuşmadan geçer. Simülasyonun kaçırdığını yine de canlı çağrılar gösterir. Bu yüzden canlıya çıktıktan sonraki iyileştirme gerçek arayanlardan başlar.