Araç çağrısı otomasyon değildir: sesli yapay zeka için iş akışı tasarım testi

“Agent CRM'imizi çağırabiliyor” bir kilometre taşı gibi gelir. Değildir. Bir araç bağlantısı sisteme yalnızca bir API'nin var olduğunu söyler. İş kararını, yetki sınırını, gereken parametreleri, teyit cümlesini ya da API geciktiğinde veya yanlış döndüğünde izlenecek kurtarma yolunu tanımlamaz. Sesli yapay zekada etkileyici bir demo bu boşluğu gizleyebilir, çünkü sorunsuz senaryo operasyonel sonuçlar başlamadan biter.

DRING'in platformu ve agent'ları kurduğu, test ettiği ve geliştirdiği sistem olan Agent Factory daha büyük bir sorunun etrafında kuruludur: arayan konuştuktan sonra ne olmalı? Araç çağrısı kontrollü bir iş akışındaki adımlardan yalnızca biridir. Sonuç görünür, incelenebilir ve işin sahibi olan ekip için işe yarar olmalıdır.

İş sonucuyla başlayın

Bir entegrasyon listesiyle başlamayın. Müşterinin ve ekibin tanıyabileceği bir sonuçla başlayın: iade talebi alındı, randevu ayarlandı, teklif özeti oluşturuldu, kargo istisnası atandı, ödeme durumu açıklandı ya da insan incelemesi açıldı. Ardından gereken bilgileri, işleme izin veren politikayı, sorumluyu ve işin tamamlandığını kanıtlayan delili tanımlayın.

Bu, yaygın bir hatayı önler: net bir gerekçe olmadan birçok alana yazabilen genel amaçlı bir araç kurmak. Dar kapsamlı bir “onaylı geri aramayı planla” işlemini güvenceye almak ve test etmek, geniş kapsamlı bir “müşteriyi güncelle” işleminden daha kolaydır. Aracın adı, açıklaması ve parametreleri, amaçlanan işi hem modele hem de inceleyene açıkça göstermelidir.

Veri araçlarını işlem araçlarından ayırın

Veri araçları okur. İşlem araçları durumu değiştirir. CRM sorgusu, sipariş durumu sorgusu ya da bilgi bankasından bilgi çekme salt okunur olabilir. İade oluşturmanın, randevu iptal etmenin, ödeme yöntemini değiştirmenin ya da bir vakayı atamanın ise sonuçları vardır. Bunları mimaride, yetkilerde ve karnede ayrı tutun.

OpenAI'ın agent geliştirme üzerine pratik rehberi bu ayrımı anlatır, çünkü ayrım belirsizliği azaltır. Agent çoğu zaman bir durum sorusunu otomatik olarak cevaplayabilir, durumu değiştiren bir işlem için ise teyit ya da bir insan gerektirebilir. Arayanın araç modelini anlaması gerekmez, ama işletmenin anlaması gerekir.

Ön koşulları ve parametre doğrulamayı tanımlayın

Her işlemin ön koşulları vardır. Toplantı ayarlamak için agent'ın doğrulanmış bir iletişim bilgisine, üzerinde anlaşılmış bir saat dilimine, seçilmiş bir saate ve planlama iznine ihtiyacı olabilir. Teslimat istisnası oluşturmak için gönderi numarası ve desteklenen bir kategori gerekebilir. Güvenli link göndermek için doğru kanal ve kimlik durumu gerekebilir.

Aracı çağırmadan önce değerleri doğrulayın. Hatanın önemli olduğu yerlerde tarihler, telefon numaraları, para birimi, lokasyon ve tanımlayıcılar standart biçime getirilmeli ve teyit edilmelidir. Zorunlu bir alan eksikse odaklı bir soru sorun. Arayan emin değilse değer uydurmak yerine belirsizliği kayıtta tutun.

İşlemi doğru anda teyit edin

Teyit, işlemin geri alınabilirliğine ve müşterinin beklentisine uygun olmalıdır. Düşük riskli bir mesaj gönderimi için kısa bir bilgi yeterli olabilir. Randevu ya da iptal, politikaya göre işlemden önce veya sonra açıkça teyit edilmelidir. Ödeme ya da hesap değişikliği güvenli ve kimliği doğrulanmış bir adım gerektirebilir. Agent'ı kullanılmaz hale getirecek kadar sık teyit istemeyin, ama sonuç doğuran bir işlemi de uzun bir cümlenin içine gizlemeyin.

İki parçalı bir dil kalıbı kullanın: ne olacak ve ne oldu. Önce “Salı günü saat 15:00 için geri aramanızı ayarlayabilirim. Ayarlayayım mı?”, ardından “Geri aramanız salı saat 15:00'e, destek ekibimizle ayarlandı.” Bu ikili, müşteriye işlemi düzeltme şansı ve net bir sonuç verir.

Araç hatasını olağan bir durum olarak tasarlayın

API'ler zaman aşımına uğrar, takvimler değişir, kayıtlar çelişir, sağlayıcılar eksik sonuç döndürür. Sağlam bir agent, araç teyit etmediğinde işin tamamlandığını söylemeyi bırakmalıdır. Sınırlamayı açıklamalı, talebi korumalı ve bir sorumluya görev yönlendirmelidir. Yeniden deneme güvenli ve mükerrer işleme karşı korumalı olmalıdır. Aksi halde tekrarlanan bir araç çağrısı mükerrer randevu, iade ya da mesaj oluşturabilir.

Araç adını, saklanması güvenli parametreleri, sonucu, zaman damgasını, hata türünü ve sonraki adımı kaydedin. Müşteriye söylenen cümle basit olmalı, iç kayıt ise operasyon ve yazılım ekiplerinin inceleme yapabileceği kadar kesin olmalıdır.

İnsan sorumluyu döngüde tutun

Otomasyon sahipliği ortadan kaldırmaz. Bir istisnanın, başarısız bir işlemin, belirsiz bir kaydın ve bir insanla görüşmek isteyen müşterinin mutlaka bir sahibi olmalıdır. İnsana devir modeli hedeflenen sonucu, toplanan bilgileri, denenen işlemi, sonucu ve müşterinin beklentisini aktarmalıdır.

Sahipliği CRM'de görünür kılın. “Araç hata verdi” bir sorumlu değildir. “Fatura destek ekibi iade durumunu saat 16:00'ya kadar inceleyecek” bir sorumludur. Sahibi olmayan bir iş akışı, başka bir ekrana taşınmış cevapsız bir sorudur.

Çağrı sayısını değil, tamamlanmayı ölçün

Araç çağrısı sayısı gösteriş ölçüsüdür. Başarılı sonucu, doğru işlem oranını, mükerrer işlem oranını, insanın yeniden yaptığı işleri, istisnaların bekleme süresini, tekrar aramaları ve müşteri teyidini izleyin. Aracın başarılı döndüğü ama müşterinin yine de desteği aradığı vakaları inceleyin. Bu vakalar bir politika, veri ya da iletişim boşluğunu ortaya çıkarabilir.

Sonuçları iş akışına, araç sürümüne, dile ve agent'a göre karşılaştırmak için analitiği ve aylık sektör analizini kullanın. Bir dildeki yüksek hata oranı parametre çıkarımından ya da terminolojiden kaynaklanıyor olabilir. Bir işlemden sonra tekrar arama oranı yüksekse, işlem iç durumu düzeltmiş ama müşterinin asıl sorusunu çözmemiş olabilir.

İşlem zincirinin tamamını test edin

Her araç için eksik parametre, belirsiz değer, arayanın düzeltmesi, mükerrer talep, zaman aşımı, eksik yanıt, yetki reddi, güncelliğini yitirmiş veri ve insan talebi testleri oluşturun. Arka plan gürültüsü, söz kesme ve dil değişikliği ekleyin. Görüşmeyi ve sistem durumunu birlikte puanlayın. Akıcı bir cevap yanlış bir CRM güncellemesiyle birlikte geliyorsa bu bir başarısızlıktır.

Agent Factory, şirketinize özel hazırlanan 1.000 ila 10.000 simüle konuşmayı çalıştırabilir ve sürüm adaylarını aynı araç ve politika setiyle karşılaştırabilir. Canlı görüşme geri bildirimi yeni test vakaları üretmeli, canlıdaki değişiklikler ise aşamalı ve müşteri ekibinin görebileceği şekilde yapılmalıdır.

Araç çağrısı tasarımı kontrol listesi

• Ölçülebilir bir müşteri ve iş sonucuyla başlayın.
• Salt okunur veri araçlarını durumu değiştiren işlemlerden ayırın.
• Ön koşulları, yetkileri, zorunlu alanları ve doğrulamayı tanımlayın.
• Sonuç doğuran işlemleri açık bir dille teyit edin.
• Zaman aşımı, çakışma, yeniden deneme ve eksik sonuç yollarını açıkça tanımlayın.
• Her istisnaya bir insan sorumlu atayın.
• Tamamlanan sonuçları, mükerrer işlemleri ve yeniden yapılan işleri ölçün.

Araç çağrısı ürünün kendisi değil, tesisatıdır. Ürün; talebi anlayan, izin verilen adımı atan, ne olduğunu dürüstçe söyleyen ve sonraki ekibe işe yarar bir kayıt bırakan güvenilir bir iş akışıdır. Bu standart uygulandığında entegrasyon seçmek de agent'lara güvenmek de kolaylaşır.

Ek okumalar

• OpenAI: veri araçları, işlem araçları ve güvenlik sınırları
• OpenAI: agent'lar için orkestrasyon, görünürlük ve değerlendirmeler
• NIST: yapay zeka riskinin sürekli ölçülmesi ve yönetimi