Yapay zeka yanlış fiyat verirse ne yapmalı?

Kısa cevap

Yapay zeka çağrısında verilen yanlış bir cevabın nereden geldiği nadiren belirsizdir. Yanlış cevap beş kapıdan birinden girer: Eskimiş kaynak, Kaynak boşluğu, Yanlış duyulan soru, Sorgu hatası ya da Yetki aşımı. Bunların dördü modelin dışında başlar: Eskimiş kaynak ve Kaynak boşluğu kaynağın kendisinde, Yanlış duyulan soru konuşma tanımada, Sorgu hatası bir sistem sorgusunda. Yalnızca Yetki aşımı agent'ın kendisinde başlar: agent, kendisine izin verilenden fazlasını teklif eder.

Bu yüzden önleme büyük ölçüde kaynak ve yetki işidir. Her cevap aynı süzgeçten geçer: cevap onaylı bir kaynaktan gelir, kaynak günceldir, cevap yetki sınırının içindedir ve agent her sayıyı, tarihi ve tutarı tekrar edip arayandan teyit alır. Kontrollerden birini geçemeyen cevap güvenli çıkışa gider: agent ya görüşmeyi bir insana devreder ya da geri arama planlar.

Yine de bazı yanlış cevaplar süzgeçten geçecektir. Müdahale ise sabit bir protokoldür: Durdur, Bul, Düzelt, Kaydet, Yeniden test et. Bir olayın büyüklüğünü risk penceresi belirler: yanlış cevabın mümkün hale geldiği andan düzeltildiği ana kadar geçen süre. Bu pencerenin uzunluğu modele değil, kaynağınızın iş tarafındaki bir değişikliğe ne kadar hızlı uyduğuna, bir sorunu ne kadar hızlı fark ettiğinize ve onu ne kadar hızlı durdurduğunuza bağlıdır.

Bu rehberdeki bütün örnek rakamlar bu yazı için hazırlanmıştır, DRING verisi ya da sektör verisi değildir.

Yanlış cevabın girdiği beş kapı

Her kapıyı kendi kontrolü kapatır.

Yetki sınırı yalnızca Yetki aşımı kapısını kapatır. Diğer dört kapıyı kaynak, teyit ve sorgu üzerinde yapılan çalışma kapatır. Kaynak boşluğu hatası agent'ın tahminiyle biter ama kaynaktaki bir boşlukla başlar ve bu tahmini cevap süzgecinin ilk kontrolü durdurur. Zaman aşımı gibi sorgu hataları için araç çağrısının neden otomasyon olmadığını anlatan yazımıza bakın.

Önleme: cevap süzgeci

Cevap süzgeci, her cevabın aynı sırayla geçtiği sabit adımlardan oluşur. Arayan cevabı duymadan önce üç kontrol yapılır: Cevap onaylı bir kaynakta var mı? Kaynak güncel mi? Cevap yetki sınırının içinde mi? Ardından agent, bir şey taahhüt edilmeden ya da sisteme işlenmeden önce her sayıyı, tarihi ve tutarı tekrar eder ve arayandan teyit alır. Üç kontrolden birinin cevabı hayırsa çağrı güvenli çıkışa gider.

Onaylı kaynaklar: her birinin bir sorumlusu ve yürürlük tarihi var

Agent'ın cevap verirken dayanabileceği bütün kaynakları listeleyin: fiyat listesi, iade politikası, bilgi dokümanı, sipariş sorgusu. Bunların her biri onaylı bir kaynaktır. Her birine bir kaynak sorumlusu atayın: iş tarafında bir şey değiştiğinde kaynağı güncelleyen kişi. Her sürüme bir yürürlük tarihi verin: o sürümün geçerli olmaya başladığı tarih ve saat.

Her konu için tek bir onaylı kaynak tutun. Aşağıdaki örnek olayda sitedeki fiyat listesi ile agent'ın kaynağı ayrı dokümanlardı ve yalnızca biri zamanında değişti.

1. kontrol: cevap onaylı bir kaynakta var mı?

Cevap onaylı bir kaynakta yoksa agent güvenli çıkışa gider. Yardımcı olmak için yapılan bir tahmin de Kaynak boşluğu hatasıdır.

2. kontrol: kaynak güncel mi?

Her yeni sürümü, değişiklik gerçekleşmeden önce yürürlük tarihiyle birlikte girin. Böylece kaynak, birinin düzenlemeyi hatırladığı anda değil, fiyatın değiştiği anda güncel olur. Bir değişiklik yaklaşıyor ve yeni sürüm hazır değilse, o konuyu sürüm hazır olana kadar güvenli çıkışa yönlendirin.

3. kontrol: cevap yetki sınırının içinde mi?

Yetki sınırı, agent'ın bir insana gerek kalmadan neyi söyleyebileceğini ya da yapabileceğini belirler. Bunu her konu için üç seviyede yazın:

İnsana devretmeli seviyesi güvenli çıkış demektir: bir insan ya çağrıyı hemen devralır ya da daha sonra geri arayıp cevabı netleştirir. Devralan kişiye çağrıyla birlikte nelerin ulaşması gerektiğini insana devri tasarlama rehberimiz anlatıyor.

Ardından teyit: her sayı, tarih ve tutar

Kötü bir hatta sayılar kolayca karışır: "on dört" derken hat bir an kesilirse arayan yalnızca "dört" duyabilir. Bu yüzden agent söylediği ya da üzerinde işlem yaptığı her sayıyı, tarihi ve tutarı tekrar eder, arayan da bir şey taahhüt edilmeden ya da sisteme işlenmeden önce bunu onaylar. Teyit, Yanlış duyulan soru hatasını da yakalar, çünkü arayan agent'ın hangi paketi kastettiğini duyar. Aşağıdaki örnek olayda yapılan düzeltmeden sonraki bir görüşme:

• Arayan: "Koruma paketi şu an ne kadar?"
• Agent: "Koruma paketi aylık 14 €. Tekrar ediyorum, ayda on dört euro. Sorduğunuz paket bu mu?"
• Arayan: "Evet, on dört. Onu soruyorum."

Aynı agent, yetki sınırına geldiğinde:

• Arayan: "Geçen hafta sitenizde on iki yazıyordu. Bana on ikiden yapabilir misiniz?"
• Agent: "Fiyatı bu görüşmede değiştiremiyorum ama bir arkadaşımız bakabilir. Sizi hemen aktarayım mı, yoksa daha sonra geri arayalım mı?"

Süzgeci yayından önce test edin

Yayından önce her kapı için en az bir vaka test edin:

• Eskimiş kaynak: yürürlük tarihi olan yeni bir fiyat. O tarihten önceki çağrılarda eski fiyat, sonrakilerde güncel fiyat söylenir.
• Kaynak boşluğu: hiçbir onaylı kaynağın karşılamadığı sorular. Agent güvenli çıkışa gider.
• Yanlış duyulan soru: arka planda gürültü varken birbirine benzeyen ürün adları. Teyit yanlış olanı yakalar.
• Sorgu hatası: başarısız olan, boş dönen ya da başka bir siparişi getiren bir sorgu. Agent sonuç uydurmaz, güvenli çıkışa gider.
• Yetki aşımı: indirim ya da iade talebi. Agent devreder.

Tam test setinin nasıl kurulacağını sesli agent'ı canlıya çıkmadan test etme rehberimiz gösteriyor.

Örnek bir olay: agent'ın kaçırdığı fiyat değişikliği

Örnek, gerçek veri değil. Bir perakendeci, koruma paketinin aylık fiyatını artırdı: pazartesi 09:00'dan itibaren 12 € yerine 14 €. Sitedeki fiyat listesi zamanında değişti. Agent'ın onaylı kaynağı ise ayrı bir dokümandı ve fiyat değiştiğinde onu kimse güncellemedi. Çarşamba 10:30'da ilk şikayet geldi: kendisine 12 € söylenen bir arayandan 14 € tahsil edilmişti. Doküman çarşamba 14:00'te güncellendi, Durdur adımı da bu oldu. Risk penceresi pazartesi 09:00'dan çarşamba 14:00'e kadar sürdü: 53 saat.

Durdur adımı ilk şikayetten 3 saat 30 dakika sonra atıldı ve bu süre boyunca arayanlar hâlâ 12 € duyabiliyordu. Şikayetten sonraki dakikalar içinde paketin fiyatıyla ilgili soruları insana devretmeye başlamak, doküman düzeltilirken bunu önlerdi.

Saat 14:00'ten sonra ekip Bul adımına geçti. Risk penceresindeki transkriptleri paket adıyla taradı, ardından paketten söz eden her çağrıyı tek tek okudu:

Son üç satırın toplamı, paketten söz eden 120 çağrıdır: 46 artı 61 artı 13. Yani etkilenen arayan sayısı 900 değil, 46. 900 arayanın hepsine ulaşmak, hiç 12 € duymamış 854 arayanın kafasını karıştırırdı. Yalnızca şikayet eden arayana dönmek ise etkilenen 45 arayanı yanlış fiyatla baş başa bırakırdı. Perşembe günü ekip, etkilenen 46 arayana güncel fiyatla ulaştı.

İki değişiklik pencereyi küçültürdü. Yeni fiyat ve yürürlük tarihi pazartesiden önce onaylı kaynağa girilmiş olsaydı pencere 0 saat olurdu. Her çağrıda söylenen fiyatı güncel fiyat listesiyle karşılaştıran günlük bir kontrol olsaydı, salı 08:00'deki ilk kontrol 12 € söylenen çağrıları yakalardı. Kaynak o anda düzeltilseydi pencere 53 yerine 23 saat olurdu.

Müdahale protokolü: beş adım

Yanlış bir cevap arayanlara ulaştığında aynı beş adımı aynı sırayla uygulayın. Durdur adımı Bul adımından önce gelir: siz çağrıları tararken yeni arayanlar hâlâ yanlış cevabı duyabilir.

Bul adımı, arayan herkesi değil, etkilenen arayanları bulmaktır. Risk penceresinden başlayın, konuya göre daraltın, sonra çağrıları okuyun. Ekibiniz de aynı kaynaktan cevap veriyorsa onların çağrılarını da kontrol edin.

Düzelt adımı, ilk olaydan önce belirlenmiş bir politika ister. Yanlış söylenen fiyatı uygulayacak mısınız, yoksa güncel fiyatı mı açıklayacaksınız? Bu bir iş politikası kararıdır. Kararı önceden verin, yazıya geçirin ve düzeltme aramalarını yapacak kişilere iletin. Söylenen bir fiyatın sizi bağlayıp bağlamadığı hukuk danışmanlarınızın cevaplayacağı bir sorudur. Bu rehber o soruyu cevaplamaz.

Kaydet adımında olay defterinin hep aynı alanları kullanılır, böylece olaylar karşılaştırılabilir. Örnek olayın kaydı:

Ne ölçülmeli

Süzgecin ve protokolün işe yarayıp yaramadığını üç sayı gösterir:

• İncelenen çağrılarda yanlış cevap oranı: incelenen çağrılar içinde yanlış bilgi içerenlerin oranı. Bu oran, sesli yapay zeka pilotunda başarı ölçütleri yazımızdaki yanlış işlem oranının yanlış bilgi kısmıdır, böylece ikisi karşılaştırılabilir kalır. Her yanlış cevabı geldiği kapıya yazın. Kapılara göre sayım, sırada neye çalışmanız gerektiğini gösterir.
• Risk penceresinin uzunluğu: her olay için saat olarak. Örnekte 53 saat: ilk şikayete kadar 49 saat 30 dakika, ardından düzeltmeye kadar 3 saat 30 dakika.
• İlk sinyalden Durdur adımına kadar geçen süre: ilk şikayetten, inceleme bulgusundan ya da kontrol uyarısından Durdur adımına kadar. Örnekte 3 saat 30 dakika.

Hiçbir süzgeç sıfır yanlış cevap oranını garanti edemez ve sakin geçen bir ay süzgecin çalıştığını kanıtlamaz. Pilot yazısında anlatıldığı gibi, incelenen 300 çağrıda hiç yanlış işlem çıkmaması, gerçek oranın yaklaşık %1'e kadar çıkabileceği ihtimalini dışarıda bırakmaz.

Rastgele inceleme dar bir konuyu kaçırabilir ya da geç bulabilir. Örnekte penceredeki 900 çağrının 46'sı, yani yaklaşık 100'de 5'i etkilenmişti ve hepsi tek bir paketle ilgiliydi. Her çağrıda söylenen fiyatı güncel fiyat listesiyle karşılaştıran günlük bir kontrol ise bir örnekleme değil, o konudaki her çağrıya bakar.

DRING nerede devreye girer

Güvenlik bariyerleri, insana devir, çağrı sonrası analiz, test ve izleme, her DRING paketinin ortak operasyon altyapısının parçasıdır. Bu rehberdeki yetki sınırı bir güvenlik bariyeridir. Güvenli çıkış insana devre, günlük kontrol de çağrı sonrası analize dayanır.

Çağrı sonrası analiz, tanımladığınız ek alanları API, CRM'iniz, dashboard ve raporlar üzerinden iletebilir. Bu alanlardan biri her çağrıda söylenen fiyat olabilir. Böylece güncel fiyat listesiyle günlük kontrol yapılabilir. Dashboard'u ve raporları çağrı analitiği sayfamızda görebilirsiniz.

Her DRING agent'ı, ilk gerçek çağrıdan önce şirketinize özel üretilmiş 1.000 ila 10.000 simüle görüşmeden geçer. Simülasyonlar süzgeci canlıya çıkmadan önce test eder. Canlı çağrılardaki müdahale protokolünün yerini tutmaz.

Hattınızda bir fiyat ya da politika değişikliği yaklaşıyorsa geri arama isteyin. Fiyat listenizi ve agent'ınızın cevap verirken dayandığı dokümanı hazır tutun. Ekibimiz bunları beş kapıya göre sizinle birlikte kontrol edebilir.