Siz prompt yazmazsınız
Ekibiniz işi anlatır ve agent'ın söylediklerini gözden geçirir. Prompt'u yazmak ve sürdürmek bizde kalır.
Kalite
Gerçek çağrıdan önce test edilir
Siz prompt yazmazsınız. Malzemeyi biz toplarız, testleri ondan kurarız ve yalnızca geçeni yayınlarız.
DRING Test Suite
Testler sizin malzemenizden çıkar
Prompt yazmak sizin işiniz değil. Agent'ın karşılaşacağı zor aramaları hayal etmek de öyle.
Testler topladığımız bilgiden kurulur
Dokümanlar, kayıtlar, politikalar ve inceleme sırasında bıraktığınız yorumlar o agent'ın test setine dönüşür.
Önce DRING onayı, sonra canlı
Agent ancak bu seti geçtikten sonra yayına alınır. O zamana kadar kapalı bir hatta kalır.
İlk gerçek aramadan önce, şirketinize özel üretilmiş 1.000 ila 10.000 simüle görüşme. Sayı agent'a göre değişir; hepsi genel bir kıyaslama setinden değil, sizin iş akışınızdan, dokümanlarınızdan ve çağrı kayıtlarınızdan üretilir.
Aynı disiplin değişiklikler için de geçerlidir. Verdiğiniz her kural o agent'ın tek test setine eklenir; yeni bir kural, ancak mevcut tüm kurallar yanında geçmeye devam ederse yayınlanır. Agent'ın nasıl kurulduğunu görün
Yayından önce
Bir agent yayına çıkmadan önce ne olur
Kullanım senaryosu dışarıdan ne kadar basit görünürse görünsün, her agent aynı süreçten geçer.
Kendi gerçeğinizden personalar
Sinirli arayanlar, yanlış siparişler, politika tuzakları, sessizlik ve sözü kesme; hepsi sizin iş akışınızdan.
Simüle görüşmeler
Her persona agent ile tam bir görüşme yürütür, tek bir senaryo sorusu sorulup geçilmez.
Bağımsız değerlendirme
Otomatik değerlendiriciler her görüşmeyi puanlar. Aralarında fark çıkarsa görüşmeyi bir insan denetler.
Regresyon kontrolü
Sonuçlar önceki sürümle karşılaştırılır; bir düzeltme başka bir yeri sessizce bozamaz.
Devir yolları denenir
İnsana yükseltme varsayılmaz, açıkça test edilir.
Kademeli yayın
Canlı trafik kontrollü adımlarla artar; her adımda skorlar izlenir ve önceki sürüm hazır bekler.
Otomatik değerlendirme kayabilir veya bir nüansı kaçırabilir. Bağımsız kontroller ve her anlaşmazlığın insan tarafından incelenmesi, sinyali tek bir skordan daha kullanışlı kılar.
Yayından sonra
Kalite kontrolü devam eder
Test yayınla bitmez. Canlı agent'lar çalıştıkları sürece düzenli kalite kontrolünden geçer.
Her çağrı skorlanır
Çözüm, politikaya uyum ve yanıt süresi çağrı biter bitmez puanlanır, duygu tonu etiketlenir.
Düzenli taramalar
Her canlı agent bir program dahilinde önceki sürüme karşı yeniden koşturulur; sessiz regresyon müşteriden önce yakalanır.
Sapma uyarıları
Beklenen aralığın dışına çıkan bir skor, sonraki taramayı beklemeden kendiliğinden uyarı üretir.
Konuşma hatası takibi
Konuşmadan metne hataları isim, yer ve ürün terimi bazında izlenir ve agent'ın sözlüğünde düzeltilir.
| Ölçüt | Tanım | Neden önemli |
|---|---|---|
| Çözüm | Müşterinin arama sebebinin gerçekten karşılanıp karşılanmadığı. | Agent'ın işini yapıp yapmadığının temel ölçüsü. |
| Duygu tonu | Müşterinin tonunun görüşmenin başından sonuna nasıl değiştiği. | Kağıt üzerinde çözülen ama müşteriyi bunaltan çağrıları yakalar. |
| Politikaya uyum | Agent'ın aksiyonlarının kendisine tanımlanan kuralların içinde kalıp kalmadığı. | Agent'ı işletmenin çizdiği sınırların içinde tutar. |
| Yanıt süresi | Müşterinin sözünü bitirmesiyle agent'ın yanıtlaması arasındaki boşluk. | Yavaş yanıt, cevap doğru olsa bile kötü bir hat gibi hissettirir. |
| Devir isabeti | Agent'ın gerektiğinde bir kişiye yükseltip yükseltmediği. | Kaçırılan bir devir, gereksiz bir devirden daha kötüdür. |
| Regresyon farkı | Aynı test setinde önceki sürüme göre skor değişimi. | Agent'ı sessizce kötüleştiren bir sürümü yakalar. |
Giden aramada A/B
Daha iyi açılış sonuçla kazanır, fikirle değil
Hangi açılış cümlesinin, tonun veya sesin işe yaradığı toplantıda değil canlı aramalarda belli olur.
Örnek test · açılış varyantlarıAşama 1 · eşit trafik
0 arama
0 arama
0 arama
Asgari örnek sayısına ulaşılmadı. Trafik eşit bölünmeye devam ediyor.
Ne test edilir
Açılış cümlesi, ton, ses, tempo, soruların sırası ve itirazın karşılanma biçimi. Varyant başına tek değişken, sonuç kime ait olduğu belli olsun diye.
Kazanan nasıl seçilir
Kampanyanın kendi sonucuna göre, varyant başına anlaşılmış asgari örnekle. Duygu tonu ve devir oranı koruma görevi görür: sonuçta kazanıp karşılanmada kaybeden varyant yayınlanmaz.
Nasıl canlıya alınır
Kazanan kontrollü adımlarla yaygınlaştırılır, diğer varyantlar kaldırılır ve değişiklik kaydedilir; sonraki karşılaştırma bilinen bir baz çizgisinden başlar.
Yaygınlaştırılan varyant, kampanyanın tamamına ulaşmadan önce yine regresyon setinden geçer.
Güvenlik bariyerleri
Bir agent'ın asla yapmayacakları
- Kapsam dışını reddederAgent'ın karşılamak üzere kurulmadığı bir talep, etrafından dolaşılmadan reddedilir.
- Politika uydurmazKendisine verilmemiş bir kuralı tahmin etmez ve sizin adınıza söz vermez.
- Hassas konuları yükseltirHassas talepler agent'ın kendi takdirine bırakılmaz, bir kişiye aktarılır.
- Her zaman insan seçeneği sunarAgent kendisi ne kadarını yapabilirse yapsın, arayan için bir insan yolu açık kalır.
SSS
Test hakkında sorular
Prompt'u biz mi yazıp sürdüreceğiz?+
Hayır. Siz işi anlatır, doküman ve kayıtları paylaşır ve agent'ın söylediklerini gözden geçirirsiniz. Prompt'u yazmak ve sürdürmek bizim işimizdir; testler de genel bir şablondan değil, verdiğiniz malzemeden kurulur.
Test sadece yayında mı, her sürümde mi yapılır?+
Her sürümde. Regresyon taramaları düzenli bir programla önceki sürüme karşı koşar ve her değişiklik, ilk yayında olduğu gibi kademeli çıkıştan geçer.
İki değerlendirme farklı sonuç verirse ne olur?+
Görüşme bir insan denetçiye yönlendirilir ve sonuç kesinleşmeden incelenir. Tekrarlayan farklar, değerlendirme setinin kendisini iyileştirmek için sinyaldir.
Kendi agent'ımızın test senaryolarını görebilir miyiz?+
Evet. Personalar ve senaryolar sizin politikalarınız ve uç durumlarınız etrafında kurulur ve kurulum sürecinde size açıktır.
Canlı bir agent'ın skorları kayarsa ne olur?+
Sapma uyarısı otomatik düşer, arkasındaki çağrılar incelenir ve düzeltme, o çağrı tipi agent'a geri dönmeden önce test setinden geçer.
Test setini kendi kullanım senaryonuzda görün
Ölçülebilir bir yayının nasıl görüneceğini birlikte geçelim: ilk iş akışı brifinginden yayın sonrası inceleme döngüsüne kadar.