Agent Factory mi, tek seferlik prompt ayarı mı?

Prompt ayarı işe yarar. Net bir talimat tonu değiştirebilir, bir sınırı netleştirebilir ya da agent'ın soru sorma sırasını iyileştirebilir. Sorun, prompt düzenlemek iyileştirme sisteminin tamamı haline geldiğinde başlar. Ekip bir transkript okur, bir cümleyi değiştirir, değişikliği her yere yayar ve sonraki çağrıların daha iyi geçmesini umar. Bu süreç başta hızlıdır, ölçek büyüdükçe kırılganlaşır.

Prompt ile işletim sürümü arasındaki fark kanıttır. Bir sürüm sorunu tanımlamalı, amaçlanan davranışı açıklamalı, bir test senaryosu eklemeli, adayı mevcut sürümle karşılaştırmalı ve değişikliği kimin onayladığını kaydetmeli. DRING'in agent'ları kurduğu, test ettiği ve geliştirdiği sistem olan Agent Factory bu yaşam döngüsü üzerine kurulu: işi anlamak, agent'ı kurmak, zor çağrıları simüle etmek, aşama aşama yayına almak ve canlı geri bildirimle geliştirmek.

Neden tek bir transkript yetmez

Tek bir görüşme önemli bir hatayı ortaya çıkarabilir, ama bu hatanın ne sıklıkla yaşandığını ya da bir değişikliğin başka neleri etkileyeceğini söyleyemez. Sabırsız tek bir arayan için karşılamayı değiştirmek, her müşteri için açılışı uzatabilir. Tek bir politika hatasını önlemek için geniş bir talimat eklemek, agent'ın geçerli talepleri de reddetmesine yol açabilir. Bir dili iyileştirmek, başka bir dilde yapay duran bir ifadeye neden olabilir.

İşe kanıtı gruplayarak başlayın. Çağrıları niyete, dile, müşteri tipine, hata nedenine ve sonraki süreçteki sonuca göre ayırın. Tekrarlayan yanlış anlamaları, politika karışıklıklarını, kaçırılan devirleri, araç hatalarını ve telaffuz sorunlarını arayın. Ardından doğru müdahalenin bir prompt değişikliği mi, terim listesi güncellemesi mi, sistem entegrasyonu düzeltmesi mi, yönlendirme kuralı mı, yoksa bir insan sınırı mı olduğuna karar verin.

Factory yaklaşımı katmanları birbirinden ayırır

Bir agent'ın gelişigüzel birbirine karıştırılmaması gereken birkaç katmanı vardır: konuşma stratejisi, bilgi, politika, konuşma tanıma, telaffuz, araçlar, kimlik, yönlendirme ve çağrı sonrası kayıt. Arayan bir ürün adını yanlış söylüyorsa çözüm, sistem prompt'una yeni bir paragraf değil, terim listesi ya da konuşma tanıma uyarlaması olabilir. CRM'e yazma başarısız oluyorsa, “CRM'i her zaman güncelle” diye eklemek bir yetki ya da zaman aşımı sorununu çözmez.

DRING'in agent yapılandırması, kalite kontrolleri ve entegrasyonları bu katmanları yansıtır. Amaç, bir sonraki değişikliği okunabilir kılmak. Bir süpervizör neyin değiştiğini, neden değiştiğini, neye karşı test edildiğini ve canlıdaki sonucun nasıl inceleneceğini söyleyebilmeli.

Sürüm adayını tanımlayın

Anlamlı her değişikliğe bir sürüm kimliği ve kısa bir özet verin. Özet etkilenen iş akışını, hedef metriği, bilinen riskleri, yeni test senaryolarını, geri dönüş koşulunu ve sorumluyu içermeli. Sürüm adayı yalnızca yeni bir prompt değildir. Bir bilgi revizyonunu, bir araç yetkisini, dile özgü bir telaffuz setini ya da yeniden ayarlanmış bir devir eşiğini de içerebilir.

Adayı sabit bir regresyon setinde ve yeni, gerçekçi bir konuşma setinde çalıştırın. Sıradan çağrıları, zorlu çağrıları ve politika tuzaklarını dahil edin. Mümkün olduğunda bağımsız puanlama kullanın ki değişikliği yazan kişi tek yargıç olmasın. Kalite sayfası hem puanı hem de arkasındaki gerekçeyi göstermeli.

Canlı çağrıları otomatik eğitim olarak değil, sinyal olarak kullanın

Canlı görüşmeler değerli operasyonel kanıt içerir, ama söylenen her cümle yeni bir talimata dönüşmemeli. İnceleyenler sinyali sınıflandırmalı, ilgisiz gürültüyü ayıklamalı ve kalıcı bir sorunu yansıtıp yansıtmadığına karar vermeli. Bir müşterinin bir kereye mahsus kurduğu cümle, evrensel bir kural olmaya uygun olmasa da bir test senaryosu için faydalı olabilir.

Veri yönetişimi konusunda net olun. Müşteri görüşmeleri kişisel ya da hassas bilgi içerebilir. Erişimi, saklamayı, inceleme rollerini ve anonimleştirilmiş ya da özetlenmiş sinyallerin onaylı kullanımını müşteri ve hukuk ekibiyle birlikte tanımlayın. DRING'in güvenlik kontrolleri ve gizlilik bilgileri bu konuşma için bir başlangıç noktasıdır; bu yazı hukuki tavsiye değildir.

İyileşmeyi ödünleşimlerle birlikte ölçün

Bir aday çözümü iyileştirirken devir kalitesini kötüleştirebilir. Ortalama görüşme süresini kısaltırken tekrar temasları artırabilir. Kulağa daha doğal gelirken politika konusunda daha az kesin hale gelebilir. Hedeflenen KPI'ı koruma kurallarıyla birlikte izleyin: politikaya uyum, araç doğruluğu, aktarım nedeni, duygu durumu, tekrar eden iş ve kritik hata sayısı.

Sonuçları yalnızca tek bir küresel ortalama olarak değil, iş akışına ve dile göre inceleyin. Bir değişiklik destek kuyruğunda gözle görülür bir iyileşme sağlarken satış kuyruğuna zarar veriyorsa kapsamları ayrı tutun. Factory, agent'ları ve iş akışlarını tek dev bir prompt yerine ayrı ayrı yayınlanabilen birimler olarak ele aldığı için bu ayrımı mümkün kılar.

İyileştirmeyi müşterilere ve operatörlere görünür kılın

Bir agent değiştiğinde operatörler ne bekleyeceklerini bilmeli. Kısa bir sürüm notu güncellenen niyeti, yeni sınırı, test kapsamını ve izleme süresini anlatabilir. İnsan ekip arkadaşları devrin nasıl geleceğini ve hangi alanların değiştiğini önceden duymalı. Müşteriler, incelenmemiş bir deneyin habersiz test katılımcıları olarak kullanılmamalı.

Kademeli yayın, kontrolü kurumda tutar. Küçük bir trafik yüzdesiyle ya da tek bir kuyrukla başlayın, kanıtı izleyin ve ancak karne istikrarlı olduğunda genişletin. Müşteri kayıtlarını ya da açık görevleri kaybetmeden en son sorunsuz çalışan sürüme dönmeyi sağlayan bir geri dönüş yolu tutun.

Prompt ayarının hâlâ bir yeri var

Model doğru bilgiye sahip olduğu halde onu konuşmada yanlış sırayla kullanıyorsa, doğru müdahale çoğu zaman bir prompt değişikliğidir. Prompt değişiklikleri empatiyi artırabilir, bir soruyu netleştirebilir, bir sınırlamayı dile getirebilir ya da daha iyi bir devir cümlesi seçebilir. Factory prompt'ları önemsizleştirmez. Prompt değişikliklerine daha güvenilir bir sürecin içinde bir yer açar.

• Açıkça tarif edilebilen ve test edilebilen davranışlar için prompt değişikliği kullanın.
• İsimler, markalar ve sektör terimleri için terim listesi ve telaffuz değişikliği kullanın.
• Yanıtın kendisi eskimiş ya da eksikse bilgi değişikliği kullanın.
• Bir araç ya da sistem sonucu yanlışsa veya erişilemiyorsa entegrasyon değişikliği kullanın.
• Muhakeme ya da risk agent'ın kapsamını aşıyorsa yönlendirme ve insan sınırı kullanın.

Tek seferlik ayar, “Hangi cümleyi değiştirelim?” diye sorar. Agent Factory yaklaşımı ise “Operasyon ne öğrendi, hataya hangi müdahale uyuyor ve bir sonraki sürümün daha iyi olduğunu nereden bileceğiz?” diye sorar. Bir AI ekip üyesinin öngörülemez hale gelmeden gelişmesini sağlayan, ikinci sorudur.

İşe yarayan en küçük müdahaleyi seçin

Bir sürümü değiştirmeden önce hatanın gerçekte hangi katmanda olduğunu adlandırın. Bir ürün adını yanlış anlayan arayan, terim listesi ya da telaffuz çalışması gerektirebilir. Doğru bir yanıtın yanlış tonla verilmesi, konuşma stratejisinde bir değişiklik gerektirebilir. Eksik bir CRM notu, prompt'a değil bir alan tanımına, yetkiye ya da zaman aşımına işaret edebilir. Bu teşhis düzeltmeyi dar tutar ve sonucun neye bağlı olduğunu anlamayı kolaylaştırır.

Adayı aynı senaryolarda mevcut sürümle karşılaştırın, sonra canlı dilimi üzerinde anlaşılan inceleme süresi boyunca izleyin. Hem iyileşmeyi hem de yan etkileri kaydedin: arayanın kendini daha az tekrar etmesi, ancak politika doğruluğu ve devir kalitesi sabit kalıyorsa işe yarar. Kanıt karışıksa sürümü küçük tutun, ödünleşimi açıklayın ve belirsizliği daha büyük bir prompt'un içine saklamak yerine bir sonraki testi oluşturun.

İleri okuma

• OpenAI: canlıdaki agent'lar için orkestrasyon, görünürlük ve değerlendirme
• NIST AI RMF Core: Govern, Map, Measure ve Manage işlevleri
• NIST AI RMF Playbook: yaşam döngüsü için pratik adımlar