AI agent'ınız arayanları neden bekletiyor?
Arayan sustuktan sonraki sessizlik altı bileşenin toplamıdır. Her turu ölçün, en yavaş turları inceleyin ve en çok süre alan bileşeni düzeltin.
Kısa cevap
Arayan sözünü bitirip sessizlikle karşılaştığında, bu beklemenin arkasında nadiren tek bir yavaş adım vardır. Bekleme altı bileşenin toplamıdır: Tur sonu, Transkripsiyon, Model yanıtı, Sorgu, Seslendirme ve Hat. Sorgu yalnızca sorgu turlarında vardır: agent bir sisteme bakar, örneğin sipariş durumunu kontrol eder. Diğer bütün turlar sorgusuz turdur.
Rehber boyunca bu beklemeye yanıt gecikmesi diyoruz: arayanın sustuğu andan agent'ın ilk sesini duyduğu ana kadar geçen süre. Ortalama yanıt gecikmesi, arayanların aklında kalan turları gizler. Bu yüzden her turu ölçün, sorgusuz turları sorgu turlarından ayırın, medyana ve 90. yüzdeliğe bakın.
Ardından en yavaş turların her birinde en büyük bileşeni bulun. En büyük bileşen en sık hangisiyse ilk düzeltmeniz odur. Her seferinde tek bir bileşeni değiştirin ve ters etkiyi izleyin: yanıt vermeden önce daha az bekleyen bir agent, arayanların sözünü kesmeye başlayabilir. Beklemenin önlenemediği yerde sesli bilgilendirme, arayanın ilk sesi daha erken duymasını sağlar. Ama asıl cevabı öne çekmez.
Hedef rakamı hiçbir yerden kopyalamayın. Kendi arayanlarınızın sessizliğe "Alo?" demeye başladığı gecikmeyi bulun. Sizin eşiğiniz budur.
Arayanlar yapay zekayla konuşurken nerede kapatıyor yazımız, arayanların ayrıldığı aşamayı bulmayı anlatıyor. Bu rehber bir adım daha derine iniyor: sessizlik neden uzun ve hangi bileşen düzeltilmeli? Aşağıdaki her rakam bir örnektir, DRING verisi ya da sektör verisi değildir.
Yanıt gecikmesinin altı bileşeni
Arayanın son kelimesiyle agent'ın ilk sesi arasındaki süre altı bileşene ayrılır. Bu rehber onları hep bu sırayla sayar:
| Bileşen | Ne olur | Genellikle neden uzar | Nasıl ölçülür |
|---|---|---|---|
| Tur sonu | Sistem, arayanın sözünü bitirdiğine karar verir. | Karar vermeden önce uzun bir sessizlik bekler. | Kaydınızda arayanın konuşmasının bittiği andan sistemin kararına kadar |
| Transkripsiyon | Konuşma tanımanın çıkardığı metin kesinleşir. | Kesin metin ancak cümlenin tamamı işlendikten sonra gelir. | Karardan kesin metne kadar |
| Model yanıtı | Model ne yapacağına karar verir ve yanıtı yazar. | Uzun bir ilk cümle, büyük bir prompt, konuşmadan önce uzun bir akıl yürütme zinciri. | Kesin metinden yanıta kadar. Sorgu turunda iki parça: Sorgu isteğine kadar ve Sorgu sonucunun gelmesinden yanıta kadar |
| Sorgu | Sipariş durumu gibi bir sistem kontrolü. Yalnızca sorgu turlarında. | Yavaş bir sistem, art arda çalışan kontroller, süre sınırı olmaması. | İstekten sonucun sistemden dönmesine kadar |
| Seslendirme | Ses motoru yanıtın ilk sesini üretir. | Ses motoru başlamadan önce yanıt metninin tamamını bekler. | Yanıt metninin ses motoruna ulaşmasından ilk sesin sisteminizden çıkmasına kadar |
| Hat | Telefoni ve ağ, sesi her iki yönde taşır. | Uzun çağrı rotaları, uzak bölgeler, zayıf mobil şebekeler. | Sıradan telefonlardan yapılan ve arayan tarafında kaydedilen test çağrıları |
İki bileşen iki parçadan oluşur. Sorgu turunda model, Sorgudan önce neyi kontrol edeceğine karar vermek için, Sorgudan sonra da cevabı cümleye dökmek için çalışır. İki parça da Model yanıtına sayılır. Hat ise her turda iki parçadır: arayanın sesinin sisteminize ulaşması ve agent'ın sesinin arayana ulaşması. İki parça da Hat bileşenine sayılır.
Her tur nasıl ölçülür
Çağrıları değil turları ölçün: çağrı ortalamasında yavaş bir sorgu turu yedi hızlı turun arasında kaybolabilir. Her tura aynı alanlardan oluşan bir satır açın. Örnek değerler, bu rehberde ileride gösterilen yavaş tura ait. Örnek, gerçek veri değil.
| Alan | Ne içerir | Örnek değer |
|---|---|---|
| Çağrı ID'si | Çağrı kaydının ve sistem loglarının ortak kullandığı tek ID | C1047 |
| Tur numarası | Agent yanıtının çağrıdaki sırası | 4 |
| Tur türü | Sorgusuz tur ya da sorgu turu | Sorgu turu |
| Yanıt gecikmesi | Arayanın son kelimesinden agent'ın ilk sesine kadar, Hat dahil | 3,9 sn |
| Tur sonu | Kaydınız ve sistem zaman damgaları | 0,7 sn |
| Transkripsiyon | Sistem zaman damgaları | 0,2 sn |
| Model yanıtı | Sistem zaman damgaları, sorgu turunda iki parça | 0,6 sn (Sorgudan önce 0,3 sn, sonra 0,3 sn) |
| Sorgu | Sistem zaman damgaları, sorgusuz turda boş | 1,9 sn |
| Seslendirme | Sistem zaman damgaları | 0,3 sn |
| Hat | Arayanlarınızın kullandığı şebekelerde test çağrıları | 0,2 sn |
| Açıklanamayan süre | Sisteminizin kaydındaki yanıt gecikmesinden logladığınız bileşenler çıkınca kalan süre | 0,0 sn |
| Arayan sessizlikte konuştu | Arayan sessizlik sırasında "Alo?" dediyse ya da söylediğini tekrarladıysa evet | Evet |
| Söz kesme | Agent, arayan hâlâ konuşurken ya da yalnızca duraklamışken yanıt vermeye başladıysa evet | Hayır |
| Görev tamamlandı | Çağrı başına: arayan aramasının amacına ulaştıysa evet | Evet |
Yanıt gecikmesini önce sisteminizin çağrı kaydında ölçün. Ortak çağrı ID'si, kayıttaki her turu sistem zaman damgalarıyla eşleştirir. Tur sonu, Transkripsiyon, Model yanıtı, Sorgu ve Seslendirme bu zaman damgalarından çıkar. Hat bileşeni bir sonraki adımda eklenir.
Hat, kaydınızda görünmez. Sisteminizde saat, arayanın sesi size ulaştığında başlar ve agent'ın sesi sisteminizden çıktığında durur. Bu yüzden arayanlarınızın kullandığı şebekelerde sıradan telefonlardan test çağrıları yapın ve bunları arayan tarafında kaydedin. O kayıttaki gecikmeden, aynı turun sisteminizdeki kaydında görünen gecikmeyi çıkarın: kalan süre Hat bileşenidir. Bunu gerçek çağrılarınızın gecikmelerine ekleyin.
Sonra toplamı kontrol edin. Açıklanamayan süre, sisteminizin kaydındaki yanıt gecikmesinden logladığınız bileşenler çıkınca kalan süredir. Bu süre büyükse bir zaman damgası eksik demektir. Örnek turda sisteminizin kaydı 3,7 saniye gösteriyor, loglanan bileşenlerin toplamı da 3,7 saniye. Yani açıklanamayan süre sıfır. Üstüne 0,2 saniyelik Hat bileşenini ekleyin: arayanın duyduğu gecikme 3,9 saniyedir.
Ortalama neden sorunu gizler
Örnek, gerçek veri değil: tek bir hatta kaydedilen 50 çağrıdan 400 agent turu, bunların 300'ü sorgusuz tur, 100'ü sorgu turu. Her gecikmeye, test çağrılarıyla ölçülen 0,2 saniyelik Hat dahildir.
| Tur türü | Tur sayısı | Medyan | Ortalama | 90. yüzdelik |
|---|---|---|---|---|
| Sorgusuz turlar | 300 | 1,1 sn | 1,2 sn | 1,8 sn |
| Sorgu turları | 100 | 2,9 sn | 3,2 sn | 4,6 sn |
| Tüm turlar | 400 | 1,3 sn | 1,7 sn | 3,4 sn |
Tüm turların ortalaması olan 1,7 saniye, 1,3 saniyelik medyanın üstünde kalıyor, çünkü yavaş turlar ortalamayı yukarı çeker. İki rakam da arayanların aklında kalan turları göstermez. Onları 90. yüzdelik (p90) gösterir: on turdan birinin ulaştığı ya da aştığı gecikme, burada 3,4 saniye. Bu değere ulaşan ya da onu aşan turlar en yavaş turlardır.
Tur türüne göre de ayırın. Sorgusuz turların medyanı 1,1 saniye, sorgu turlarınınki 2,9 saniye. Sorgu turlarının arttığı bir hafta, hiçbir bileşen yavaşlamasa bile tüm turların rakamlarını yükseltir.
Şimdi aynı 400 turu yanıt gecikmesine göre dört aralığa ayırın: 1,0 saniyenin altında 130 tur, 1,0 ile 2,0 saniye arasında 180 tur, 2,0 ile 3,4 saniye arasında 50 tur, 3,4 saniye ve üstünde 40 tur. Sonra arayanın sessizlikte konuştuğu turları işaretleyin: arayan "Alo?" demiş ya da söylediğini tekrarlamıştır. Bu durum en yavaş 40 turun 31'inde, diğer 360 turun ise 7'sinde yaşandı: 2,0 saniyenin altındaki 310 turda 3 kez, 2,0 ile 3,4 saniye arasındaki 50 turda 4 kez.
Yani bu hatta sessizlikte konuşma 2,0 saniyenin altında nadir, 2,0 ile 3,4 saniye arasında hâlâ seyrek, 3,4 saniye ve üstünde ise yaygın. Bu hattın eşiği 3,4 saniye civarında, ama bu genel bir hedef değil. Kendi eşiğinizi de aynı yolla bulun: turlarınızı aralıklara ayırın ve sessizlikte konuşmanın nadir olmaktan çıkıp yaygınlaştığı noktayı arayın. O noktanın çevresinde daha dar aralıklar kullanırsanız eşiği daha kesin bulursunuz.
En yavaş turlarda en büyük bileşeni bulun
90. yüzdelik, en yavaş turların ne kadar yavaş olduğunu gösterir, nedenini göstermez. Bunun için her yavaş turu açın ve en büyük bileşenini bulun: o turda en çok süre alan bileşeni.
Örnek, gerçek veri değil: en yavaş 40 turdan biri. Arayan sipariş durumunu soruyor, yani bu bir sorgu turu. Saat, arayan tarafında, arayanın sustuğu anda başlar.
Bileşen bazında: Tur sonu 0,7 saniye, Transkripsiyon 0,2 saniye, Model yanıtı 0,6 saniye, Sorgu 1,9 saniye, Seslendirme 0,3 saniye ve Hat 0,2 saniye. Model yanıtı 0,3 saniyelik iki parçadır: biri siparişi kontrol etmeye karar vermek, diğeri cevabı cümleye dökmek için. Hat her yönde 0,1 saniyedir. Bileşenler birlikte 3,9 saniyelik bir yanıt gecikmesi oluşturur. En büyük bileşen Sorgu: gecikmenin neredeyse yarısı.
Bileşen süreleri yalnızca tek bir turun içinde böyle toplanır. Medyanlar ve 90. yüzdelikler toplanmaz: altı bileşenin medyanlarını toplarsanız medyan yanıt gecikmesini bulmazsınız. Bu yüzden en büyük bileşeni tur tur bulun, sonra sayın.
Örnek, gerçek veri değil: en yavaş 40 turun her birindeki en büyük bileşen.
| En büyük bileşen | En yavaş turlar |
|---|---|
| Tur sonu | 8 |
| Transkripsiyon | 0 |
| Model yanıtı | 5 |
| Sorgu | 27 |
| Seslendirme | 0 |
| Hat | 0 |
| Toplam | 40 |
En büyük bileşen en sık Sorgu: 40 turun 27'sinde. Bu, tur türleriyle de uyumlu: en yavaş turların 36'sı sorgu turu, 4'ü sorgusuz tur. Tur sonu 8 turda en büyük bileşen. Bunların çoğunda arayan bir numarayı okurken duraklamış, sistem de sözünü bitirdiğine karar vermeden önce daha uzun beklemiş. Model yanıtı 5 turda en büyük bileşen.
Hat burada hiçbir zaman en büyük bileşen olmuyor, çünkü bu hatta sabit 0,2 saniye. Başka bir hatta olabilir. Demoda iyi, canlıda kötü çağrılar yazımız hızlı bir test veriyor. Uzun gecikme her turda varsa sorun hatta. Yalnızca sorgu turlarında varsa sorun araçlarda.
Her seferinde tek bileşeni düzeltin, ters etkiyi izleyin
En yavaş turlarınızda en büyük bileşen en sık hangisiyse onunla başlayın, bu örnekte Sorgu. Tek bir şeyi değiştirin, sonra aynı tur türlerini yeniden ölçün. Aynı anda iki değişiklik yaparsanız 90. yüzdeliği hangisinin oynattığını bilemezsiniz.
Her düzeltmenin bir bedeli var. Bu yüzden her satır izlenecek sinyali de gösteriyor:
| Bileşen | Ne denenir | Ne izlenir |
|---|---|---|
| Tur sonu | Arayanın söylediğine göre değişen bir bekleme: evet, hayır ya da bir isim gibi kısa cevaplardan sonra daha kısa, arayan bir numara okurken ya da bir kelimeyi hecelerken daha uzun. | Söz kesmeler |
| Transkripsiyon | Akan konuşma tanıma: tur bittiğinde metnin büyük kısmı hazır olur. | Yanlış duyulan kelimeler ve sayılar |
| Model yanıtı | Kısa bir ilk cümle. Sık sorulan sorular için basit bir yanıt planı. | Cevabın kalitesi ve eksiksizliği |
| Sorgu | Birbirinden bağımsız kontrolleri aynı anda çalıştırın. Bir süre sınırı ve yedek yol belirleyin: süre dolunca bir insana devredin ya da geri arama önerin. Kontrolden önce sesli bilgilendirme yapın. | Eski ya da eksik cevaplar. Her turda tekrarlanan sesli bilgilendirmeler. |
| Seslendirme | Yanıtın kalanı yazılırken seslendirmeyi ilk cümleyle başlatın. | Yanıtın ortasında doğal olmayan duraklamalar |
| Hat | Arayanlarınızın kullandığı şebekelerden test çağrıları. Rotanın telefoni sağlayıcınızla birlikte gözden geçirilmesi. | Yalnızca gecikme değil, ses kalitesi de |
Her satırda seçenekler var. Birini deneyin, ölçün, sonra sıradakine karar verin.
Tur sonunu kısaltmanın bedeli: söz kesmeler
Söz kesme, uzun gecikmenin tam tersi olan hatadır: agent, arayan hâlâ konuşurken ya da yalnızca duraklamışken yanıt vermeye başlar. Örnek, gerçek veri değil: aynı 400 turda 6 söz kesme oldu, 5'i arayan bir sipariş numarasını ya da telefon numarasını okurken. İki hatanın arkasında da numaralar var: Tur sonu, en yavaş turların 8'inde en büyük bileşendi ve bunların çoğunda da arayan bir numara okuyordu. Beklemeyi her turda kısaltırsanız söz kesmelerin artacağını hesaba katın. Tur sonu satırında bu yüzden iki ayrı bekleme var. Ne var ki numara okunurken daha uzun beklemek, o 8 yavaş turu hızlandırmaz. Orada işe yarayan şey, numaranın tamamlandığını gösteren bir işarettir: sistem sipariş numarasının beş haneli olduğunu biliyorsa sessizliği beklemeden turu beşinci haneden sonra bitirebilir.
Bekleme önlenemiyorsa: sesli bilgilendirme
Bazı sorgular yavaş kalır ve arkalarındaki sistemi değiştirmek her zaman sizin elinizde değildir. O zaman ilk sesi Sorgudan önceye alın: sesli bilgilendirme, yani yavaş bir adımdan önce söylenen kısa bir cümle. Yukarıdaki yavaş turda bu cümle, Model yanıtının ilk parçasından hemen sonra gelirdi:
- Arayan: "Sipariş numaram 4 8 1 7 2."
- Agent, Sorgudan önce: "Teşekkürler, siparişinize hemen bakıyorum."
- Agent, Sorgudan sonra: "Siparişiniz yola çıktı, perşembe günü elinizde olacak."
Yanıt gecikmesi kısalır, çünkü ilk ses artık Sorgudan önce gelir. Asıl cevap süresi ise arayanın sustuğu andan asıl cevabın başladığı ana kadar geçen süredir. Bu süre hemen hemen aynı kalır, çünkü cevap hâlâ Sorguyu bekler. Bu turlarda asıl cevap süresini de loglayın. Böylece bilgilendirme, giderek yavaşlayan bir Sorguyu gizleyemez.
Sesli bilgilendirmeleri kısa tutun ve yalnızca yavaş bir adımdan önce kullanın. Bir özrün, bir sayının ya da kapanışın içine asla koymayın. Her turda yapılan bilgilendirmenin de bir bedeli var: arayanlar aynı cümleyi tekrar tekrar duyar.
Her hafta ne izlenmeli
Her hafta üç sinyali sorgusuz turlar ve sorgu turları için ayrı ayrı okuyun:
- Yanıt gecikmesi: medyan ve 90. yüzdelik, sesli bilgilendirme yapılan turlarda ayrıca asıl cevap süresi.
- Arayan sessizlikte konuştu: bunun yaşandığı turların payı.
- Söz kesmeler: sayısı ve o sırada arayanın ne söylediği.
Dördüncü sinyali çağrı başına okuyun: görev tamamlandı mı? Görevini tamamlayan çağrılar azalıyorsa daha kısa bir gecikmenin pek değeri yoktur. Pilot yürütüyorsanız bir görevi, pilot kartınızdaki çözülen çağrı tanımına göre tamamlanmış sayın.
Her değişiklikten önce ve sonra aynı tur türlerini karşılaştırın. Birkaç yüz turda ölçülen bir pay tesadüfen oynayabilir. Bir oranın hata payının nasıl hesaplandığını sesli yapay zeka pilotunda başarı ölçütleri yazımız gösteriyor.
DRING nerede devreye girer
Seçilmiş konuşmadan metne, metinden sese ve akıl yürütme modelleri, telefoni, test ve izleme, her DRING paketinin ortak operasyon altyapısının parçasıdır. DRING'de altı bileşenden üçü ve sesli bilgilendirme şöyle çalışır:
- Tur sonu: ayrı bir model araya girmeyi ve tur sonu tespitini yönetir. Böylece agent ne bir duraklamanın üstüne konuşur ne de biten bir cevabın ardından boşuna bekler.
- Transkripsiyon: çağrı, akan STT ile gerçek zamanlı olarak yazıya dökülür.
- Hat: ses kalitesi ve gecikme sinyalleri numara başına izlenir. Böylece bozulan bir hat erken yakalanır.
- Sesli bilgilendirme: bir araç ya da model beklenenden uzun sürdüğünde, DRING'in onaylı setinden kısa ve doğal bir dolgu cümlesi turu ilerletir. Dolgu cümlesi, sesli bilgilendirmenin DRING'deki biçimidir ve asla bir özürde, bir sayıda ya da kapanışta kullanılmaz.
Konuşma çekirdeği sayfamız konuşmadan metne, sıra alma ve metinden sese adımlarının tek bir akış olarak nasıl çalıştığını gösteriyor. Telefoni sayfamız da hat sağlığını anlatıyor.
Her DRING agent'ı, ilk gerçek çağrıdan önce şirketinize özel hazırlanan 1.000 ila 10.000 simüle konuşmadan geçer. Simülasyonlar sıra almayı ve sesli bilgilendirmeleri canlıya çıkmadan önce test eder, ama canlı çağrılardaki Hat bileşenini ölçmez. Hat, arayanlarınızın şebekelerinde yapılan test çağrılarıyla ölçülür.
Hattınızda arayanlar sessizliklere "Alo?" diyorsa geri arama isteyin. Bu çağrılardan birkaçını, politikanızın izin verdiği ölçüde ses kayıtlarıyla birlikte hazır tutun. Ekibimiz en yavaş turları sizinle birlikte, bileşen bileşen inceleyebilir.
Arayanları bekleten bileşeni bulun
Numaranızı bırakın, DRING sizi iki dakikada arar. Hangi hatta uzun sessizlikler olduğunu anlatın. Ekibimiz en yavaş turları sizinle birlikte okumak için size döner.