Sesli yapay zeka agent'ı canlıya çıkmadan nasıl test edilir

İşi yansıtan bir test seti kurun

Agent'ın yapması gereken işten başlayın. 50 ila 100 kişilik bir firma için küçük ve bakımı yapılan bir set, devasa bir transkript yığınından daha iyidir. Arama sebeplerini destek etiketlerinden, aktarım notlarından ve kaçan çağrı incelemelerinden çıkarın. Kişisel bilgileri silin, karar anlarını koruyun ve her örneğe niyetini, izin verilen işlemleri, gereken veriyi ve kabul edilebilir devri gösteren etiketler koyun.

Her teste sabit bir kimlik ve sürüm verin. Arayanın hedefini, açılış cümlesini, hesap durumunu, dili, dikkat dağıtan unsurları, gereken araçları ve gözlemlenebilir başarı koşulunu kaydedin. Bir prompt, model ya da entegrasyon değiştiğinde kalite hattınızın karşılaştırabileceği somut bir şey olsun.

Sorunsuz akışları da zor arayanları da kapsayın

Basit vakaları koruyun: tek ve net bir talep, başarılı kimlik doğrulama, eksiksiz bilgi ve kabul edilen bir cevap. Sonra niyeti çeşitlendirin. Zor bir arayan uzun bir hikaye anlatabilir, fikrini değiştirebilir, bir cevaba itiraz edebilir, argo kullanabilir, agent'ın üstüne konuşabilir, sinirlenebilir ya da istisna isteyebilir. Neye ihtiyacı olduğundan emin olmayan ya da yasak işlem isteyen arayanları da ekleyin.

Sese özgü hata senaryolarını çalıştırın

Testleri canlı için planlanan codec, yönlendirme ve kayıt ayarlarıyla çalıştırın. Aktarım hedefleri ve mesai dışı yollar dahil telefoni kurulumunuz test düzeneğinin bir parçasıdır.

Söz kesmeyi, sessizliği ve toparlanmayı test edin

Karşılamayı, teyidi, yasal bilgilendirmeyi ve araç beklemesini bölün. Agent'ın doğru anda sustuğunu, son cevabı koruduğunu ve doğru soruyla devam ettiğini kontrol edin. Sessizlik, tereddüt, yanlış başlangıçlar ve kopan bir çağrı ekleyin. Arayanın agent düşünürken “alo?” demesi dahil zaman aşımlarını ve tekrar denemeleri doğrulayın. Agent metni tekrarlamadan ya da tahmin yürütmeden, zarifçe toparlanmalıdır.

Aksanları, dilleri ve ses koşullarını çeşitlendirin

Desteklenen diller için, yaygın dil karıştırma dahil, temsil gücü olan konuşmacılar kullanın. İsimleri, adresleri, sayıları ve sektör terimlerini test edin; ardından cep telefonu sesini, hoparlörü ve arka plan gürültüsünü deneyin. Agent'ın işe yarar bir tekrar isteyip istemediğini ve netleştirmeden sonra anlamı koruyup korumadığını puanlayın. Makul görünen bir transkript yetmez; yakalanan değerleri niyetle karşılaştırın.

Politikayı ve kimliği zorlayın

Her işlemin bir yetki sınırı olmalı. Agent'ın neyi okuyabileceğini, neyi teyitten sonra değiştirebileceğini, neyi bir kişiye göndereceğini yazın. Bu sınırları aciliyet, duygusal baskı, ima edilen izin ve başkası adına taleplerle aşma girişimlerini test edin.

Kimlik doğrulama bir görüşme dalıdır

Başarılı bir sorgulamadan fazlasını test edin: eksik bilgi, uyuşmazlık, tekrarlayan hatalar, reddetme ve gereğinden fazla bilgi. Agent yalnızca onaylı doğrulama unsurlarını toplamalı, tahmin edilen bir kaydın var olup olmadığını belli etmemeli ve güvenli bir sonraki adım sunmalıdır. Bu davranışı güvenlik kontrollerinizle, izinlerinizle ve denetim izinizle uyumlu hale getirin.

Kayıt ve izin kararlarını dahil edin

Verilen, reddedilen, geri çekilen ve belirsiz kalan izni, bir de kaydın neden gerektiğini soran arayanı modelleyin. Yapılandırılmış metni, kayıt davranışını ve izin verilmediğindeki yolu teyit edin. Bunu her operasyon bağlamı için onaylanan politikaya bağlayın; tek bir prompt herkes için geçerli bir cevap değildir.

Politika tuzaklarını arayın

Kısıtlı bir bilgi, geri alınamayan bir işlem, limit dışı bir iade ya da onaylanmamış bir söz isteyin. İzin verilen bir adımı yasak bir adımla birleştirin. Beklenen sonuç ret, sınırlı bir cevap, teyit ya da aktarım olabilir; ama asla uydurulmuş bir kestirme yol olmamalı.

Araçları, veriyi ve devirleri bilerek bozun

Her entegrasyon için zaman aşımı, bozuk yanıt, erişilemeyen servis, mükerrer sonuç ve izin hatası simüle edin. Arayan işe yarar bir durum mesajı duymalı, tekrar denemeler sınırlı olmalı ve başarısız bir işlem asla tamamlanmış gibi duyulmamalı. Hatayı, görüşme kimliğini ve denenen işlemi kaydedin.

Eski veriyi eski bir randevuyla, güncel olmayan bir bakiyeyle, kapanmış bir talep kaydıyla ya da çelişen bir bilgi makalesiyle test edin. Agent'ın veriyi yenilemesi, belirsizliği söylemesi, netleştirmesi ya da devretmesi gerekebilir. Eski veriye dayanan pürüzsüz bir cevap yine de hatadır.

Devri test edilen bir davranış haline getirin. Arayan istediğinde, politika gerektirdiğinde ya da belirli sayıda turdan sonra toparlanma başarısız olduğunda aktarın. Kuyruk seçimini, arayan bağlamını, özetin ulaşmasını ve kimsenin olmadığı durumdaki yolu doğrulayın. Devralan ekip arkadaşının hedefe, doğrulanmış bilgilere, denenen işleme ve çözülmemiş sonraki adıma ihtiyacı vardır.

Pratik bir test matrisi kullanın

Matrisi her aday sürümde çalıştırılabilecek kadar kısa tutun; haftalık inceleme için daha geniş, keşif amaçlı bir set ayırın. Her satıra bir sorumlu ve transkript, araç kaydı, kayıt durumu ya da aktarım olayı gibi bir kanıt verin.

Senaryo	Kurulum	Geçme koşulu	Kanıt
Net talep	Kimlik doğrulandı, araçlar sağlıklı	Doğru niyet ve işlem	Transkript ve kayıt
Üstüne konuşma ya da sessizlik	Söz kesme, duraklama, devam	Bağlam kaybolmadan toparlanır	Ses ve zamanlamalar
Aksan ya da dil karışımı	Konuşmacı ve kilit bilgiler	Değerler teyit edilir	Yakalanan değerler
Kimlik uyuşmazlığı	Yanlış bilgi ya da ret	Bilgi sızmaz, güvenli sonraki adım	Politika olayı
Araç ya da eski veri	Zaman aşımı, hata ya da eski kayıt	Yapılmamış iş yapıldı denmez	Kayıt ve sonuç
İnsana devir	Talep ya da başarısız toparlanma	Doğru kuyruk bağlamı alır	Aktarım ve özet

Bağımsız inceleyicilerle puanlayın

Niyet doğruluğunu, bilgi yakalamayı, politikaya uyumu, kimlik doğrulamayı, araç doğruluğunu, sesli davranışı, devir kalitesini ve arayan için sonucu ayrı ayrı değerlendirin. Her boyut için kanıt şartıyla birlikte geçti, kaldı ya da incelenmeli sonucunu kullanın. Sıcak bir görüşme, yanlış alanı değiştirdiği için kalabilir.

Bir örneği tartışmadan önce iki inceleyiciye bağımsız olarak puanlatın. İkisine de transkripti, ilgili sesi, araç olaylarını ve beklenen sonucu verin; ama puanları ayrı toplayın. Anlaşmazlıkları karşılaştırın, değerlendirme ölçütünü netleştirin ve sınır vakaları politika sorumlusuna gönderin. Otomasyon olası hataları işaretleyebilir; ama yetki ya da geri alınamayan işlemlerde insan incelemesini geçersiz kılmamalıdır. Kategorileri sürüme, niyete ve entegrasyona göre izlemek için analiz ve değerlendirme ekranlarını kullanın.

Yayın kapılarını belirleyin

Canlı çağrıları yönlendirmeden önce açık bir çıkış kararı verin. Her kapının adı belli bir onaylayıcısı ve bir çıktısı olmalı.

Yayın kontrol listesi

• Sürümlenen set başlıca arama sebeplerini, zor arayanları ve yüksek riskli işlemleri kapsıyor.
• Sorunsuz akışlar karşılamadan son sistem güncellemesine kadar geçiyor.
• Söz kesme, sessizlik, aksanlar, diller ve ses koşulları için kanıt var.
• Kimlik doğrulama, kayıt, izin ve politika dalları onaylı davranışla örtüşüyor.
• Araç zaman aşımları, izin hataları, eski veri ve mükerrer kayıtlar güvenli biçimde başarısız oluyor.
• Devirler bağlamıyla doğru kuyruğa ulaşıyor, kimsenin olmadığı durum için de bir yol var.
• Bağımsız inceleyiciler aday sürümü puanladı, kritik anlaşmazlıklar çözüldü.
• Regresyon sonuçları son sürümle karşılaştırıldı, kritik gerilemelerin sebebi açıklandı.
• İzleme, sorumlu kapsaması, geri alma adımları ve geri alma tetikleyicisi hazır.

Aşamalı yayınlayın, kullanılabilir bir geri alma planıyla

Sınırlı bir yolla, dar niyetlerle ya da ekibin görevde olduğu bir zaman aralığıyla başlayın. Hataları ve aktarımları izleyin, görüşmelerden örnek alın ve ekibe hızlı bir kapatma yolu verin. Geri alma, yönlendirme ya da yapılandırma değişikliğini belirlemeli, kayıtları korumalı ve arayanları sorunsuz çalıştığı bilinen son iş akışına döndürmelidir. Politika hatası, aracın yanlış yazması ya da devrin çökmesi gibi tetikleyiciyi canlıya çıkmadan önce belirleyin.

Canlıya çıktıktan sonra geliştirmeye devam edin

Canlı hat yeni test vakaları üretir. Çağrılardan niyete ve sonuca göre örnek alın, kişisel bilgileri karartın ve anlamlı hataları regresyon vakalarına dönüştürün. Kümeleri haftalık inceleyin: tanıma hataları prompt ya da ses değişikliği isteyebilir, eski veri ise entegrasyon işi isteyebilir. DRING'in agent'ları kurduğu, test ettiği ve geliştirdiği sistem olan Agent Factory içinde bulguları iş akışına, değerlendirme setine ve yayın sürecine besleyin; böylece iyileştirmeler de aynı zor çağrılarla sınanır.

Kalite çıtası pratiktir: agent arayanı harekete geçecek kadar iyi anlamalı, yalnızca yetkili olduğu işi yapmalı, belirsizliği görünür kılmalı ve işi bitiremediğinde insanın sonraki adımını kolaylaştırmalıdır.