Sesli yapay zeka almadan önce sorulacak 30 soru
Her demo kulağa iyi gelir. Tedarikçilerin hepsini kendi hattınızdan alınmış aynı çağrılarla sınayın, cevapları aynı ağırlıklarla puanlayın; gerçek farklar o zaman görünür.
Kısa cevap: her tedarikçiyi aynı testten geçirin
Sesli yapay zeka demoları birbiriyle karşılaştırılamaz. Her tedarikçi kendi konuşma metnini, kendi temiz test verisini ve sorun çıkarmayan bir arayanı seçer. Sizin çağrılarınıza uymasa bile çoğu zaman en parlak demo kazanır.
Çözüm üç parçalı. Her tedarikçiye aynı soruları yazılı gönderin, hepsini kendi hattınızdan çıkardığınız aynı test senaryosundan geçirin ve cevapları ilk demodan önce üzerinde anlaştığınız ağırlıklarla puanlayın. Bu şablon üçünü de içeriyor. Satın almaya karar verdiğinizi varsayıyor; henüz karar vermediyseniz önce geliştirmek mi, satın almak mı karar çerçevemize bakın.
Her cevap nasıl puanlanır
30 soruyu ikinci toplantıdan önce gönderin ve her cevapla birlikte kanıt isteyin: doküman, örnek kayıt, sözleşme maddesi ya da canlı deneme. İki kişi ayrı ayrı puanlasın: biri operasyondan, diğeri satın almadan ya da BT'den. Puanları arasında iki ya da daha fazla fark olan her soruyu birlikte konuşun.
| Puan | Tedarikçiden ne aldınız |
|---|---|
| 0 | Cevap yok ya da arkası boş bir "bunu yaparız" |
| 1 | Net bir sözlü cevap, ama henüz kanıt yok |
| 2 | Yazılı cevap, doküman ya da kısmi bir gösterim |
| 3 | Ortak test senaryonuzda gösterildi ya da teklife veya sözleşmeye yazıldı |
1. Kapsam ve fiyatın içeriği
İki teklif ancak aynı işi kapsıyorsa karşılaştırılabilir. Bu sorular fiyatı somut bir kapsama çevirir.
| # | Soru | 3 puan için ne gerekir |
|---|---|---|
| 1 | Teklif hangi çağrıları, talep türlerini, dilleri ve kanalları kapsıyor, hangileri hariç? | Teklifte, gerçek çağrı karmanıza uyan yazılı bir kapsam içi ve kapsam dışı listesi. |
| 2 | Faturalama birimi nedir, nasıl ölçülüyor ve nasıl yuvarlanıyor? | Adı açıkça konmuş tek bir birim, yuvarlama kuralı ve tipik bir çağrı için örnek fatura satırı. |
| 3 | Hangi maliyetler teklifin dışında kalıyor? | Telefon altyapısı, numaralar, model kullanımı, entegrasyonlar ve canlıya çıktıktan sonraki değişiklikler; her biri fiyatı ya da birim ücretiyle tek tek yazılmış. |
| 4 | Hacim plandan yüksek ya da düşük giderse ne oluyor? | Yazılı aşım ve kullanılmayan bakiye kuralları; beklenen hacminizin %50'si ve %150'si için hesaplanmış örnek faturalarla. |
| 5 | Agent'ı kim kuruyor, bakımını kim yapıyor ve canlıya çıktıktan sonraki hangi değişiklikler fiyata dahil? | Prompt'lar, testler ve entegrasyonlar için adı belli bir sorumlu; fiyata dahil ve ayrıca fiyatlanan değişiklikler için yazılı bir kural. |
2. Veri sahipliği, gizlilik ve çıkış
Her görüşme müşterileriniz hakkında ses kaydı, transkript ve veri alanı üretir. Bunların kontrolünün kimde olduğunu sözleşme yenilenirken değil, pilottan önce netleştirin. Yalnızca beyan edilmiş değil, test edilmiş kontroller isteyin. DRING'in güvenlik standartları sayfası bunları sunmanın bir yolunu gösteriyor.
| # | Soru | 3 puan için ne gerekir |
|---|---|---|
| 6 | Ses kayıtları, transkriptler, özetler ve çıkarılan veri alanları kime ait? | Sözleşmede verinin size ait olduğu yazıyor ve tedarikçinin kullanımı yalnızca size hizmet vermekle sınırlı. |
| 7 | Verilerimiz başka müşterilere hizmet veren modelleri eğitmek için kullanılıyor mu? | Yazılı bir "hayır" ya da sözleşmede bu kullanımı kapatma hakkı; tedarikçinin çalıştığı model sağlayıcılarını da kapsıyor. |
| 8 | Veri nerede işleniyor ve saklanıyor, hangi alt işleyenler veriye erişiyor? | Adı belli bir bölge ve her birinin rolünü belirten güncel bir alt işleyen listesi. |
| 9 | Saklama süresini veri türüne göre ayarlayabilir ve bir çağrı kaydına kimin eriştiğini görebilir miyiz? | Ses kayıtları, transkriptler ve alanlar için ayrı saklama ayarları ve talep edebileceğiniz bir erişim kaydı. |
| 10 | Ayrılırsak yanımızda ne götürürüz, hangi formatta ve ne kadar sürede? | Yazılı bir çıkış listesi: size teslim edilecek veri, formatı, teslim tarihi ve tedarikçide nelerin kalacağı. |
3. Sistem bağlantıları ve geri yazma
Entegrasyon sayfasındaki bir logo bağlantının mümkün olduğunu söyler; agent'ın sizin kullandığınız sürümde hangi alanları okuyup değiştirebileceğini söylemez. Alan düzeyinde bir eşleme isteyin, sonra senaryoda kontrol edin.
| # | Soru | 3 puan için ne gerekir |
|---|---|---|
| 11 | Agent hangi sistemlerimizden okuyacak, hangilerine yazacak? | Her sistem için alan düzeyinde bir eşleme (nesneler, alanlar, okuma ya da yazma); sizin sürümünüze ve yetkilerinize göre kontrol edilmiş. |
| 12 | Bir çağrıdan sonra CRM'imize ya da destek sistemimize tam olarak ne düşüyor, kendi alanlarımızı ekleyebilir miyiz? | Senaryonuzdan çıkmış örnek bir kayıt: sonuç, özet, sonraki adım ve sizin özel alanlarınız. |
| 13 | Çağrı sırasında bir yazma işlemi başarısız olursa ya da bir sistem çalışmıyorsa ne oluyor? | Arayan dürüst bir sonraki adım duyar, yazma işlemi mükerrer kayıt oluşmadan yeniden denenir ve bir kişiye uyarı gider. |
| 14 | Kendi sistemlerimiz bir çağrıyı nasıl başlatır ve sonucunu nasıl okur? | Çağrıyı başlatmak, durumunu kontrol etmek ve sonucunu almak için dokümante edilmiş servisler; ayrıca webhook'lar ve bir test ortamı. |
| 15 | Agent hangi işlemleri bir kişinin onayı olmadan yapabilir? | Her işlem için yazılı bir yetki listesi; her yazma işlemi ancak sizin onayınızdan sonra açılır. |
4. İnsana devir ve kontrol
Devir bir başarısızlık değil, tasarımın parçasıdır. Ekip arkadaşınızın, arayan derdini baştan anlatmak zorunda kalmadan devam edebildiğini ve ekibinizin agent'ı durdurabildiğini kontrol edin.
| # | Soru | 3 puan için ne gerekir |
|---|---|---|
| 16 | Agent ne zaman devrediyor ve kuralları kim belirliyor? | Sizin değiştirebileceğiniz yazılı tetikleyiciler; arayanın bir insan istemesi, kimlik doğrulamanın başarısız olması ve politika dışı talepler dahil. |
| 17 | Aktarım anında ekip arkadaşımız ne görüyor? | Arayanın kimliği, arama nedeni, tamamlanan adımlar ve açık kalan soru; ekip arkadaşınız konuşmaya başlamadan ekranında. |
| 18 | Ekibimizden kimse çağrıyı alamazsa ne oluyor? | Sorumlusu ve saati belli bir geri arama görevi ya da destek kaydı; otomatik oluşturulmuş ve senaryoda gösterilmiş. |
| 19 | Agent'ı kendimiz durdurabilir miyiz? | Otomasyonu durdurup çağrıları ekibinize yönlendiren, test edilmiş tek bir adım; yetkilendirdiğiniz kişilerin kullanımına açık. |
| 20 | Devirler sonradan nasıl raporlanıyor? | Her talep türü için devir oranı ve nedeni; devralan ekip arkadaşının vakayı çözüp çözmediğiyle birlikte. |
5. Kalite testi ve yayın
İyi bir ilk demo, yüzüncü değişiklik hakkında pek bir şey söylemez. Tedarikçiye, bir agent'ın hazır olduğunu ve bir değişikliğin hiçbir şeyi bozmadığını nasıl kanıtladığını sorun. DRING test sürecini adım adım anlatıyor; her tedarikçiden kendi sürecini size baştan sona göstermesini isteyin.
| # | Soru | 3 puan için ne gerekir |
|---|---|---|
| 21 | İlk gerçek çağrıdan önce ne test ediliyor, hangi malzemeyle? | Sizin çağrılarınızdan, dokümanlarınızdan ve politikalarınızdan kurulmuş bir test seti; büyüklüğü, geçme kuralı ve sonuçları sizinle paylaşılmış. |
| 22 | Test görüşmelerini kim puanlıyor, puanlayanlar anlaşamazsa ne oluyor? | Yazılı ölçütler, birden fazla değerlendirici ve her anlaşmazlığı inceleyen bir kişi. |
| 23 | Bir değişiklik nasıl test edilip yayına alınıyor, geri alınabiliyor mu? | Her değişiklikte test setinin tamamı yeniden çalışır, değişiklik yalnızca sizin onayınızla yayına çıkar ve önceki sürüme dönülebilir. |
| 24 | Canlıya çıktıktan sonra kalite nasıl izleniyor? | Canlı çağrıların, oranı belirtilmiş bir kısmı sonuç ve politikaya uyum açısından puanlanıyor ve sabit bir takvimle sizinle birlikte gözden geçiriliyor. |
| 25 | Tedarikçi, agent'ın üzerinde çalıştığı modeli ya da ses teknolojisi sağlayıcısını değiştirirse ne oluyor? | Size önceden haber verilir ve agent canlı bir çağrı almadan önce test setiniz yeni kurulumda yeniden çalıştırılır. |
6. Telefon altyapısı, hizmet seviyeleri ve arızalar
Tarayıcıdaki bir demoda operatör, telefon hattındaki ses ve zaten kullandığınız santral devreye girmez. Telefon altyapısını karşılaştırmanın ayrı bir parçası olarak ele alın.
| # | Soru | 3 puan için ne gerekir |
|---|---|---|
| 26 | Numaralarımızı ve mevcut santralimizi koruyabilir miyiz? | Adı konmuş bir bağlantı yolu (çağrı yönlendirme, SIP ya da numara taşıma); kendi operatörünüzde test edilmiş, mevcut akışınız yedekte duruyor. |
| 27 | Aynı anda kaç çağrı yürüyebilir ve sıradaki arayan ne duyar? | Belirtilmiş bir eş zamanlı çağrı sınırı ve gösterilmiş bir taşma yolu: kuyruk, geri arama ya da ekibinize aktarım. |
| 28 | Agent telefon hattında ne kadar hızlı cevap veriyor ve bu nasıl ölçüldü? | Sizin dilinizde, gerçek telefon çağrılarında uçtan uca ölçülmüş bir değer; ölçüm yöntemiyle birlikte. |
| 29 | Çağrı sırasında bir bileşen arızalanırsa ne oluyor? | Çağrıyı kontrollü biçimde kapatan ya da aktaran, test edilmiş bir yedeğe geçiş yolu; arayanı hiçbir zaman sessizlikte bırakmaz. |
| 30 | Sözleşmede hangi hizmet seviyeleri (SLA) var, karşılanmazlarsa ne oluyor? | Uptime, destek yanıt süresi ve arıza bildirim süreleri yazılı; karşılanmadığında uygulanacak telafi ve adı belli bir muhatapla. |
Kendi çağrılarınızdan tek bir test senaryosu kurun
Sorular tedarikçinin ne söylediğini, senaryo agent'ın ne yaptığını gösterir. Son çağrılardan, örneğin son 50 çağrıdan bir örneklemle başlayın; en sık gelen talebi ve sorun çıkaran anları seçin. CRM'inizin ya da destek sisteminizin test ortamında (sandbox), canlıdakiyle aynı alanlara sahip test kayıtları oluşturun.
Senaryonun ana hatlarını bütün tedarikçilerle aynı anda paylaşın: talep türleri, sistemler ve test kayıtları. Arayanın birebir cümlelerini kendinize saklayın; böylece hiçbir tedarikçi agent'ı ezber bir metne göre ayarlayamaz.
| Durum | Nasıl kurgulanır | Geçme koşulu |
|---|---|---|
| Rutin çağrı | En sık gelen talebiniz, var olan bir test kaydı üzerinde | Cevap kayıtla örtüşüyor ve sonuç test sisteminde görünüyor |
| Söz kesme | Arayan, agent'ın sözünü yarıda kesip talebini değiştiriyor | Agent susuyor, yeni talebi alıyor ve metnine baştan başlamıyor |
| Bulunmayan kayıt | Arayan var olmayan bir sipariş ya da hesap numarası veriyor | Agent kaydı bulamadığını söylüyor, bir kez daha soruyor, sonra bir sonraki adımı öneriyor; hiçbir zaman durum bilgisi uydurmuyor |
| Sinirli ya da kafası karışık arayan | Arayan aynı şeyi tekrarlıyor, sesini yükseltiyor ya da iki sorunu birbirine karıştırıyor | Agent sorunu anladığını gösteriyor, konuları tek tek ele alıyor ve kuralınız öyle diyorsa bir insana aktarmayı öneriyor |
| Devir | Arayan bir insan istiyor; bunu bir kez test kuyruğunuzda biri varken, bir kez de kimse yokken deneyin | Ekip arkadaşınız nedeni tekrar sormadan görüyor; kimse yoksa sorumlusu belli bir geri arama görevi oluşuyor |
| Geri yazma kontrolü | Bütün çağrılar bittikten sonra test sistemini açın | Her çağrıda doğru sonuç, özet ve sonraki adım var, mükerrer kayıt yok; başarısız sorgu başarısız olarak işaretlenmiş |
Gerçek bir telefon hattında deneyin
- Tarayıcı sekmesinden değil, cep telefonundan gerçek bir numarayı arayın; arayan ekibinizden biri olsun.
- Oturumu izin alarak kaydedin ve hafızadan değil, kayıttan puanlayın.
- Arayanın bir şeyi kaç kez tekrarlamak zorunda kaldığını sayın, agent'ın her cevabından önceki bekleme süresini ölçün.
- İlk denemeden sonra yeni bir politika kuralı gibi tek bir değişiklik isteyin ve senaryoyu yeniden çalıştırın.
Tedarikçinin bu tek değişikliği nasıl test edip yayına aldığı, 23. soruya her sunumdan daha iyi cevap verir. Senaryo, 12, 17, 18 ve 28. sorularda 3 puan için gereken kanıtı da sağlar.
Puanları aynı ağırlıklarla toplayın
Ağırlıklarda ilk demodan önce anlaşın; böylece kimse onları gözdesi olan tedarikçiye göre ayarlayamaz. Aşağıdaki dağılım bir örnektir. Puanları, bir aksaklığın operasyonunuza en çok zarar vereceği alanlara kaydırın.
| Alan | Örnek ağırlık |
|---|---|
| 1. Kapsam ve fiyatın içeriği | 15 |
| 2. Veri sahipliği, gizlilik ve çıkış | 15 |
| 3. Sistem bağlantıları ve geri yazma | 20 |
| 4. İnsana devir ve kontrol | 15 |
| 5. Kalite testi ve yayın | 20 |
| 6. Telefon altyapısı, hizmet seviyeleri ve arızalar | 15 |
| Toplam | 100 |
Alan puanı = (alandaki ham puan / 15) × alan ağırlığı. On beş, bir alanda alınabilecek en yüksek ham puandır: her biri 3 puanlık beş soru. Altı alanın puanları toplandığında 100 üzerinden bir sonuç çıkar.
Puanlamaya başlamadan önce üç ila beş olmazsa olmaz soruyu işaretleyin, örneğin 6., 13. ve 17. soruları. Olmazsa olmaz sorulardan herhangi birinde 0 ya da 1 alan tedarikçi, toplamı ne olursa olsun elenir.
Örnek hesap
Aşağıdaki puanlar yalnızca hesabı göstermek için kurgulandı. Tedarikçi A en akıcı demoyu yaptı. Tedarikçi B kulağa daha sade geliyordu ama senaryoda geri yazmayı ve test sürecini gösterdi.
| Alan (ağırlık) | Tedarikçi A ham puan | Tedarikçi A ağırlıklı puan | Tedarikçi B ham puan | Tedarikçi B ağırlıklı puan |
|---|---|---|---|---|
| Kapsam ve fiyat (15) | 12 | 12,0 | 10 | 10,0 |
| Veri ve çıkış (15) | 9 | 9,0 | 12 | 12,0 |
| Bağlantılar (20) | 6 | 8,0 | 12 | 16,0 |
| Devir (15) | 8 | 8,0 | 11 | 11,0 |
| Kalite (20) | 7 | 9,3 | 12 | 16,0 |
| Telefon altyapısı (15) | 12 | 12,0 | 10 | 10,0 |
| Toplam | 54 | 58,3 | 67 | 75,0 |
Tedarikçi A ayrıca olmazsa olmaz sorulardan 13. soruda 1 aldı; bu yüzden toplamı ne olursa olsun elenir. Demosu konuşmada güçlüydü, konuşmadan sonra gelenlerde zayıf kaldı: kayıt, hata anında izlenen yol ve bir sonraki sürüm.
Cevaplardaki uyarı işaretleri
- "Her şeyle entegreyiz" deniyor, ama sistemleriniz için alan düzeyinde bir eşleme yok.
- "Sisteminiz çöktüğünde arayan ne duyuyor?" sorusuna cevap yok.
- Devir, çağrıyı ekip arkadaşınıza hiçbir bağlam aktarmadan bir numaraya yönlendirmek demek.
- Test sonuçları, yöntemi ya da örneklem büyüklüğü belirtilmeden tek bir genel yüzdeyle raporlanıyor.
- Değişiklikler ya da model güncellemeleri sizin onayınız ya da haberiniz olmadan canlıya çıkıyor.
- Çıkış şartlarında verinin "sağlanabileceği" yazıyor, ama format ya da süre belirtilmemiş.
Tek bir uyarı işareti, soruyu yazılı olarak yeniden sormak için yeterli sebeptir. Aynı alanda birkaç tane varsa, asıl işin ekibinizin sırtına nerede bineceğini gösterir.
DRING bu sorulara nasıl cevap veriyor
Aynı şablonu DRING'e de uygulayın. Bazı cevapları şimdiden yazılı verebiliyoruz:
- 21. soru: her DRING agent'ı, ilk gerçek çağrıdan önce şirketinize özel hazırlanan 1.000 ila 10.000 simüle konuşmadan geçer. Bu konuşmalar genel bir kıyas setinden değil, sizin iş akışınızdan, dokümanlarınızdan ve çağrı kayıtlarınızdan üretilir.
- 11. ve 12. sorular: kimin aranacağını seçmek, aramayı yürütmek ve sonucu geri yazmak için dokümante edilmiş referans uygulama HubSpot'tur. Connect, Salesforce, Freshdesk ve diğer yaygın CRM ve destek sistemlerini aynı koşullarla bağlar; nesneler, yetkiler, özel alanlar ve işlemler devreye alma sırasında netleştirilir. Ek analiz alanları tanımlanabilir ve API, CRM, dashboard ve raporlar üzerinden aynı şekilde geri gelir.
- 14. soru: çağrıyı başlatma, durumunu kontrol etme ve sonucunu sorgulama servisleri, yaşam döngüsü ve sonuç webhook'larıyla birlikte, kapsamı belirlenmiş iş akışı için standarttır.
- 1. ve 27. sorular: DRING paketi beklenen kullanıma, eş zamanlı çağrı kapasitesine, agent türü sayısına, kanallara, canlı aktarım ihtiyacına, destek seviyesine ve entegrasyon derinliğine göre önerilir. Dillerde durum şu: 62 dil destekleniyor, bugün 10 dil canlı; diliniz canlıya çıkmadan doğrulanır.
DRING'in başta daha düşük puan alabileceği yerler de var: niş ya da çok özelleştirilmiş bir CRM, standart dışı bir geliştirme fiyatlanmadan önce ayrıca değerlendirilir. Bu inceleme bitene kadar 11. soru 2'de kalabilir. Canlıdaki diller dışında kalan bir dil, senaryonuz o dilde çalıştırılana kadar sizin hattınız için kanıtlanmamış sayılmalı.
İmzadan sonra da puan tablosunu elinizde tutun
3 puan getiren cevaplar pilotun kabul ölçütlerine dönüşür. Altı durumu kapsayan senaryo ilk regresyon testi olur; böylece sonraki her değişiklik, satın alma kararını belirleyen çağrılarla sınanır.
DRING'i kendi testinizden geçirin
Numaranızı bırakın, DRING sizi iki dakikada arar. İş akışınızı ve test edeceğiniz zor çağrıları anlatın; bunları tek bir ortak değerlendirme senaryosuna dönüştürmenize yardımcı olalım.