Müşteriyi hangi model doğru duyar?

Kendi aramalarınızda sınayın

Bu yaz bir salı akşamı, online mağazaların kargolarını teslim eden [şirket]'in AI agent'ına bir arayan şunu söyledi: “Merhaba, PX 4827 3315 numaralı kargom için arıyorum. Yan komşuya bırakmayın lütfen. Perşembeye kadar yokum, kargoyu kendim alırım.” Transkriptte yanlış olan tek şey, “bırakmayın” yerine yazılan “bırakın” kelimesiydi. “-ma” eki kaybolunca cümle tersine döndü, kargo da komşuya bırakıldı. Perşembe günü aynı arayan yine telefondaydı, bu kez öfkeliydi.

[şirket]'in müşteri hizmetleri hattını yöneten Sibel, transkripti ertesi sabah okudu. Düşen şey bir ekti ama aramanın bütün meselesi oydu. Agent yaz boyunca akşam aramalarını bir pilot uygulamada karşılıyordu. Konuşmayı metne çeviren model sağlayıcının kurulumuyla birlikte gelmişti, bu yazıda ona Model A diyeceğiz. Sağlayıcının sayfasında Model A'nın genel doğruluk puanı yüksekti. [şirket], Sibel, pilot uygulama, aramalar, iki model ve bu yazıdaki bütün sayılar örnektir, gerçek veri değildir.

Böyle bir puan Sibel'i uyarmazdı. Her kelimeyi aynı sayar, oysa bir telefon görüşmesinin sonucunu birkaç kelime belirler: takip numarası, soyadı, gün, adres ve talebi tersine çeviren olumsuzluk. Arayanlarınızı doğru duyan model, bu kelimeleri doğru yazan modeldir. Telefon aramaları için konuşmayı metne çeviren bir model seçerken (buna konuşma tanıma ya da speech-to-text de deniyor) adayları kendi kayıtlı aramalarınızda sınayın. Her kayıtta aramayı belirleyen kelimeleri işaretleyin, her modelin bunlardan kaçını tam doğru yazdığını sayın, her hatanın sonunda ne olduğuna bakın. Seçimi kelime listesinin sonradan düzeltemeyeceği noktalara göre yapın ve agent'ın bir şeyi değiştiren her talebi teyit etmesini sağlayın.

Sağlayıcının puanına güvenebilir misiniz?

Sağlayıcının sayfası bir modeli tek bir rakamla anlatır, o da 100 kelimenin kaçını doğru yazdığıdır. Bazı sayfalar hataları sayıp kelime hata oranını verir. Hangisi olursa olsun bu, modelin sınandığı bütün kelimelerin ortalamasıdır. Bir “ee” de takip numarasının üçüncü hanesi de aynı ağırlıkta sayılır.

Bu ölçüye göre salı günkü transkript kusursuz görünür. Model takip numarasını, komşuyu, günü ve arayanın söylediği her şeyi yazmış, yalnızca “bırakmayın” sözündeki “-ma” ekini, yani talebi tersine çeviren olumsuzluğu düşürmüş.

Üstelik bu puan başkasının kayıtlarında ölçüldü. Arayanlarınız arabada, hoparlörde ya da sokakta konuşuyor, sesleri modele telefon hattından geçerek ulaşıyor ve takip numarasını telefonlarındaki bir mesajdan hızlı hızlı okuyorlar. Sağlayıcının rakamına güvenmeden önce, kayıtlarının bu tür aramalara ne kadar benzediğini sorun.

• Kimlerin sesi kaydedildi, hangi dilde ve hangi yöre ağzıyla?
• Konuşanlar metin mi okudu, serbest mi konuştu?
• Ses telefon hattından mı geldi, stüdyo mikrofonundan mı?
• Çevrede gürültü var mıydı, yoksa ortam sessiz miydi?

Aramayı hangi kelimeler belirler?

Sibel, pilot uygulamanın sıradan bir haftasından, yani salı günkü aramanın da içinde olduğu haftadan, kayıtlı 50 arama seçti. Aramalar akşam hattını olduğu gibi yansıtıyor. Arayanlar arabada, hoparlörde ya da sokakta, aralarında yaşlılar ve aksanlı konuşanlar var, bazıları da bir sokak adını başka bir dilde söylüyor. Bunun için ekibinizin kullanma izni olan kayıtları seçin, transkriptleri de kayıtlar kadar özenle saklayın.

Model A'nın bu aramalardaki transkriptleri pilot uygulamadan zaten eldeydi. Sibel, sağlayıcıdan ikinci aday olan Model B'yi aynı kayıtlarda çalıştırmasını ve iki modelin bu aramalardaki genel doğruluk puanını da vermesini istedi. Ardından bu tür aramaları her gün karşılayan iki temsilci her kaydı bir kez dinledi, aramayı belirleyen kelimeleri arayanın söylediği gibi not etti ve iki transkripti yalnızca bu kelimeler üzerinden kontrol etti.

Kontrol katıydı. Bir takip numarası ancak her harfi ve her rakamı doğruysa doğru sayıldı, çünkü neredeyse doğru bir numara ya hiçbir kargoyu bulmaz ya da başkasının kargosunu bulur. Bir soyadı kargodaki isimle eşleşiyorsa doğru sayıldı, olumsuzluk da transkript onu koruduysa doğru sayıldı.

Bir aramada takip numarası, soyadı ve gün birlikte geçebilir. Bu yüzden temsilcilerin 150'lik toplamı aramaları değil, kelimeleri sayar.

Hangi model bunları doğru yazdı?

Sağlayıcının bu 50 aramadaki puanına göre Model A öndeydi. 100 kelimenin 94'ünü doğru yazdı, Model B 92'sini. Temsilcilerin kontrolünde ise öne Model B geçti.

Aramayı belirleyen 150 kelimenin 131'ini Model B, 112'sini Model A doğru yazdı. En büyük fark takip numaralarında çıktı, Model B 44 numaranın 40'ını, Model A ise 30'unu doğru yazdı. Arayanlar numarayı hızlı okuyunca Model A bir rakamı düşürdü ya da iki rakamın yerini değiştirdi.

Model A ayrıca 18 olumsuzluğun 3'ünü kaybetti, bunlardan biri salı günkü aramadaki olumsuzluktu. Model B bu 50 aramada 18'inin tamamını korudu. Soyadları iki model için de zordu. Model A 36 soyadın 20'sini, Model B 23'ünü doğru yazdı. Yani soyadında hiçbir transkripte tek başına güvenmemek gerekir.

Model B'yi genel doğrulukta geride bırakan kelimelerin çoğu “ee”, “yani”, “bir” gibi küçük ve dolgu kelimeleriydi. Kimse bunlara bakıp bir işlem yapmaz. Sibel müşteri hizmetleri hattı için Model B'yi seçti. Kendi testinizde iki model aramayı belirleyen kelimelerde birbirine yakın çıkarsa, karar vermeden önce daha çok arama ekleyin.

Yanlış duyarsa ne olur?

Bir hatanın sonu üç türlü olabilir. Kayıtlarınızla yapılan bir kontrol onu yakalar, agent talebi teyit ederken yakalar ya da hata hiçbir şeye takılmadan geçer.

Model A, aramayı belirleyen 150 kelimenin 38'ini yanlış yazdı. 14 yanlış takip numarası hiçbir kargoyla eşleşmedi ve agent numarayı yeniden sordu, 16 yanlış soyadı da kargodaki isimle tutmadığı için agent arayandan soyadını harf harf söylemesini istedi. Kalan 8 hatayı yakalayacak bir şey yoktu. Bunlar 4 adres, 1 gün ve 3 olumsuzluktu. Pilot uygulamada agent talepleri teyit etmediği için bu 8 hata, model nasıl duyduysa öyle geçti.

Model B 150 kelimenin 19'unu yanlış yazdı. Transkriptlerinde kayıtlarla yapılan kontrol 4 yanlış takip numarasını ve 13 yanlış soyadını yakalardı. Yanlış yazdığı 2 adres ise teyit olmadan hiçbir şeye takılmadan geçerdi.

Model takip numarasını doğru duyduğunda agent kargoyu ilk denemede buldu. Bu aramalarda yanlış duyulan hiçbir numara başkasının kargosuyla eşleşmedi ama eşleşebilirdi, agent soyadını da bu yüzden kontrol eder.

Kayıtlarınız yeni bir adresi, yeni bir günü ya da arayanın kargonun nereye bırakılmasını istediğini kontrol edemez. Bu yüzden agent, bir şeyi değiştiren her talebi teyit eder. Önce yapacağı işi kendi cümleleriyle söyler, sonra bunun doğru olup olmadığını sorar. Böylece arayan, kontrol etmesi gereken şeyi, yani yapılacak işi duyar. Olumsuzluk için tek kontrol bu teyittir, çünkü hiçbir kayıt arayanın “bırakmayın” deyip demediğini söyleyemez.

Agent talebi teyit etseydi, aynı Model A transkriptiyle salı günkü arama şöyle geçerdi.

Arayan: “Yan komşuya bırakmayın lütfen. Perşembeye kadar yokum, kargoyu kendim alırım.”

Agent: “Yani kargonuzu yan komşunuza bırakıyoruz. Doğru mu?”

Arayan: “Hayır, lütfen bırakmayın. Perşembe günü dönünce kendim alırım.”

Agent: “Kusura bakmayın. Yani kargonuzu perşembe günü siz alana kadar şubemizde tutuyoruz. Doğru mu?”

Arayan: “Evet, teşekkürler.”

Model A'nın düşürdüğü olumsuzluk, perşembe günü gelen ikinci ve öfkeli bir arama yerine aynı aramada bir düzeltmeye dönüşür. Agent bir kez özür diler, sonra doğrudan düzeltilmiş işi söyler, böylece arayan yeni planı da kontrol etmiş olur. Teyit her hatayı yakalamaz. Bu hatayı yakalardı ve salı günkü kargo şubede kalırdı.

Kelime listesi neyi düzeltir?

Modeli seçtikten sonra da ona bir kelime listesi verebilirsiniz. [şirket] için bu, teslimat yaptığı sokak ve ilçe adları, iki harf ve sekiz rakamdan oluşan takip numarası biçimi ve hizmetlerinin adları demek. Sağlayıcılar bu listeye “custom vocabulary” ya da “keywords” diyor. Liste, hangi model olursa olsun, onun daha önce karşılaşmadığı kelimeleri tanımasına yardımcı olur.

Sibel, [şirket]'in hizmet verdiği bölgenin sokak ve ilçe adlarını ekledi ve aynı 50 aramayı Model B'de yeniden çalıştırdı. İkinci denemede model 22 adresin hepsini doğru yazdı.

Bu yüzden modelleri, kelime listesinin sonradan düzeltemeyeceği şeylere göre karşılaştırın. Hiçbir liste bir modele olumsuzluğu korumayı öğretemez. Arayanlarınızı, yöre ağzı, aksan ve yaşlı sesler dahil, kendi konuştukları gibi duymayı da öğretemez. Arabadan, hoparlörden ya da sokaktan telefon hattına karışan gürültü de listeyle azalmaz. Modeli seçmek, arayan hâlâ konuşurken mi yoksa sustuktan sonra mı yazmaya başlayacağını da belirler. Bekleyen bir model her yanıtı yavaşlatır, bu bekleyişi de AI agent'ınız arayanları neden bekletiyor yazımızda ele aldık.

Soyadları da hâlâ zor. Hiçbir liste her arayanın soyadını içeremez, bu yüzden agent kargodaki ismi kontrol etmeye devam eder.

Transkript modelden çıktıktan sonra sayılar ve tarihler nasıl düzeltiliyor, arayanın ne istediği nasıl anlaşılıyor, bunu sesli yapay zeka yanlış duyduğunu nasıl düzeltir yazımızda anlattık.

Müşteri hizmetleri hattınız birden fazla dilde arama alıyorsa, testi her dil için yeniden yapın. Almanca arayanlarınızı en iyi duyan model, Türkçe arayanlarınızı en iyi duyan model olmayabilir.

DRING nerede devreye giriyor?

DRING, agent'ı konuşmayı metne çeviren tek bir modele bağlamaz. DRING'in konuşma çekirdeğinde konuşma, dil ve ses modelleri agent ve dil bazında seçilir, bir iş akışı da platformu yeniden kurmadan başka bir modele yönlendirilebilir. Almanca arayanları bir model, Türkçe arayanları başka bir model duyabilir. Arama gerçek zamanlı yazıya dökülür, agent değerlendirmeye geçmeden önce düzeltilir ve normalize edilir.

DRING'in agent'ları kurduğu, test ettiği ve geliştirdiği Agent Factory içinde aramalarınız ve iş akışlarınız çalışan bir agent'a, zor görüşmeler de teste dönüşür. Salı günkü gibi bir arama bunlardan biri olabilir. Konuşmayı metne çeviren daha güçlü bir model de sistemin geri kalanıyla aynı regresyon testlerini geçmeden canlıya alınmaz.