لا تكتبون أي prompt
يشرح فريقكم العمل ويراجع ما يقوله الوكيل. أما كتابة prompt وصيانته فمسؤوليتنا نحن.
الجودة
مختبر قبل أن يتلقى أي مكالمة
لا تكتبون أي prompt بأنفسكم. نحن نجمع المواد، ونبني منها الاختبارات، ولا نطلق إلا ما يجتازها.
مجموعة اختبارات DRING
الاختبارات مبنية من موادكم أنتم
كتابة prompts ليست مهمتكم، ولا تخيّل المكالمات الصعبة التي سيتلقاها وكيلكم.
اختبارات مبنية مما نجمعه
المستندات والتسجيلات والسياسات والملاحظات التي تتركونها أثناء المراجعة تصبح مجموعة الاختبارات لذلك الوكيل.
معتمد من DRING، ثم يعمل فعلياً
لا ينتقل الوكيل إلى بيئة التشغيل إلا بعد أن يجتاز تلك المجموعة. وحتى ذلك الحين يبقى على خط خاص.
من 1,000 إلى 10,000 محادثة محاكاة، مبنية لشركتكم، قبل أول مكالمة حقيقية. يعتمد عدد محادثات المحاكاة على الوكيل، وكل واحدة منها مولَّدة من سير العمل والمستندات وتسجيلات المكالمات الخاصة بكم، لا من مجموعة اختبار عامة.
والانضباط نفسه ينطبق على أي تغيير. كل قاعدة تعطوننا إياها تنضم إلى مجموعة الاختبارات الواحدة لذلك الوكيل، ولا تُطلق قاعدة جديدة إلا إذا ظلت كل القواعد الحالية ناجحة إلى جانبها. اطلعوا على كيفية بناء الوكيل
قبل الإطلاق
ما الذي يحدث قبل إطلاق الوكيل
المسار نفسه يعمل مع كل وكيل، مهما بدت حالة الاستخدام بسيطة من الخارج.
شخصيات من واقعكم
متصلون غاضبون، وطلبات خاطئة، وفخاخ في السياسات، وصمت، ومقاطعات، مستمدة من سير العمل لديكم.
محادثات المحاكاة
تخوض كل شخصية محادثة كاملة مع الوكيل، لا سؤالاً واحداً مكتوباً مسبقاً.
تقييم مستقل
تقيّم أدوات تقييم آلية كل محادثة. وحيثما تختلف، يدقق موظف في المكالمة.
فحص الانحدار
تُقارن النتائج بالإصدار السابق قبل إطلاق أي شيء، فلا يمكن لإصلاح أن يكسر شيئاً آخر دون أن يلاحظ أحد.
فحص مسارات التحويل
نتحقق صراحة من التصعيد إلى موظف بدلاً من افتراض أنه يعمل.
إطلاق تدريجي
تزداد المكالمات الفعلية على مراحل مضبوطة، مع مراقبة التقييمات في كل خطوة، والإصدار السابق جاهز.
قد ينحرف التقييم الآلي أو يغفل عن فارق دقيق. والفحوص المستقلة، مع المراجعة البشرية لكل خلاف، تجعل المؤشر أنفع من أي تقييم منفرد.
بعد الإطلاق
مراقبة الجودة مستمرة
لا يتوقف الاختبار عند الإطلاق. يخضع الوكلاء العاملون لمراقبة جودة منتظمة طوال فترة عملهم.
تقييم كل مكالمة
نقيّم نسبة الحل والالتزام بالسياسات وزمن الاستجابة، ونوسم انطباع المتصل، لحظة انتهاء المكالمة.
فحوص دورية
يُعاد تشغيل كل وكيل عامل مقارنة بالإصدار السابق وفق جدول زمني، لاكتشاف أي تراجع خفي قبل أن يكتشفه العميل.
تنبيهات الانحراف
عندما يخرج تقييم عن نطاقه المتوقع، يصدر تنبيه تلقائياً، دون انتظار الفحص التالي.
تتبع أخطاء التعرف على الكلام
نتتبع أخطاء تحويل الكلام إلى نص حسب الاسم والمكان ومصطلح المنتج، ثم نصححها في قاموس الوكيل.
| المقياس | التعريف | لماذا يهم |
|---|---|---|
| نسبة الحل | هل عولج فعلاً سبب اتصال العميل. | المقياس الأساسي لمعرفة ما إذا أدى الوكيل مهمته. |
| انطباع المتصل | كيف تغيرت نبرة العميل من بداية المكالمة إلى نهايتها. | يكشف المكالمات التي حُلّت على الورق لكنها أزعجت العميل. |
| الالتزام بالسياسات | هل بقيت إجراءات الوكيل ضمن القواعد المضبوطة له. | يبقي الوكيل داخل الحدود التي وضعتها الشركة. |
| زمن الاستجابة | الفاصل بين انتهاء العميل من الكلام ورد الوكيل. | الرد البطيء يبدو كاتصال ضعيف، حتى عندما تكون الإجابة صحيحة. |
| دقة التحويل | هل صعّد الوكيل المكالمة إلى موظف عندما كان ينبغي ذلك. | التصعيد الفائت أسوأ من التصعيد غير الضروري. |
| فارق الانحدار | تغير التقييم مقارنة بالإصدار السابق على مجموعة الاختبارات نفسها. | يكشف الإصدار الذي يجعل الوكيل أسوأ دون أن يلاحظ أحد. |
اختبار A/B للاتصال الصادر
الافتتاحية الأفضل تفوز بالنتائج، لا بالآراء
أي جملة افتتاحية أو نبرة أو صوت ينجح، يُحسم في مكالمات صادرة فعلية، لا في اجتماع.
اختبار توضيحي · صيغ الافتتاحيةالمرحلة 1 · توزيع متساوٍ
0 مكالمة
0 مكالمة
0 مكالمة
لم نبلغ الحد الأدنى للعينة بعد. يستمر توزيع المكالمات بالتساوي.
ما الذي يُختبر
الجملة الافتتاحية، والنبرة، والصوت، والإيقاع، وترتيب الأسئلة، وطريقة التعامل مع الاعتراض. متغير واحد لكل صيغة، حتى تُنسب النتيجة إلى سببها.
كيف يُختار الفائز
بناءً على نتيجة الحملة نفسها، مع حد أدنى متفق عليه للعينة لكل صيغة. ويعمل انطباع المتصل ونسبة التحويل إلى موظف كضوابط حماية: الصيغة التي تفوز بالنتائج لكنها تخسر في تقبّل المتصلين لا تُطلق.
كيف يُطلق
تُرقّى الصيغة الفائزة على مراحل مضبوطة، وتتوقف الصيغ الأخرى، ويُسجَّل التغيير لتبدأ المقارنة التالية من خط أساس معروف.
وتمر الصيغة المرقّاة بمجموعة اختبارات الانحدار قبل أن تصل إلى الحملة كاملة.
ضوابط الحماية
ما لن يفعله الوكيل أبداً
- يرفض ما يخرج عن نطاقهالطلب الذي يتجاوز ما بُني الوكيل للتعامل معه يُعتذر عنه، ولا يُرتجل حوله.
- لا يخترع سياسة أبداًإذا لم تُعطَ له قاعدة، فلا يخمّنها ولا يعد نيابة عنكم.
- يصعّد المواضيع الحساسةتذهب الطلبات الحساسة إلى موظف بدلاً من أن يتعامل معها الوكيل بتقديره الخاص.
- يعرض دائماً التحدث إلى موظفيبقى مسار التحويل إلى موظف متاحاً للمتصل، مهما كان ما يستطيع الوكيل فعله بنفسه.
الأسئلة الشائعة
أسئلة حول الاختبار
هل علينا كتابة prompt أو صيانته؟+
لا. تشرحون العمل، وتشاركون المستندات والتسجيلات، وتراجعون ما يقوله الوكيل. أما كتابة prompt وصيانته فمهمتنا، والاختبارات مبنية من المواد التي قدمتموها، لا من قالب عام.
هل يجري الاختبار قبل كل إصدار، لا عند الإطلاق فقط؟+
نعم. تجري فحوص الانحدار مقارنة بالإصدار السابق وفق جدول منتظم، ويمر كل تغيير بالإطلاق التدريجي نفسه الذي مر به الإطلاق الأول.
ماذا يحدث عندما يختلف تقييمان؟+
تُحال المحادثة إلى مراجع بشري ويُدقق فيها قبل اعتماد النتيجة. وتكرار الخلافات مؤشر على ضرورة تحسين مجموعة التقييم نفسها.
هل يمكننا الاطلاع على سيناريوهات الاختبار لوكيلنا؟+
نعم. تُبنى الشخصيات والسيناريوهات حول سياساتكم وحالاتكم الاستثنائية، وتكون متاحة لكم للاطلاع خلال التهيئة.
ماذا يحدث عندما تنحرف تقييمات وكيل عامل؟+
يصدر تنبيه انحراف تلقائياً، وتُراجع المكالمات وراءه، ويعود الإصلاح عبر مجموعة الاختبارات قبل أن يعود ذلك النوع من المكالمات إلى الوكيل.
شاهدوا مجموعة الاختبارات على حالة الاستخدام الخاصة بكم
تعرفوا على شكل الإطلاق المقاس، من أول وصف لسير العمل إلى دورة المراجعة بعد التشغيل.