عرض توضيحي ناجح ومكالمات متعثرة: أين الخلل؟

الإجابة المختصرة

الوكيل الصوتي الذي ينجح في العرض التوضيحي ثم يتعثر في المكالمات الفعلية لم يتراجع أداؤه فجأة. فالمكالمات الفعلية تعبر الطبقات السبع نفسها التي عبرها العرض، من صوت الخط والتعرف على الكلام إلى الأدوات والتحويل إلى موظف والقياس. لكن العرض لم يختبر قط الطبقة التي تتعطل الآن في الظروف الحقيقية.

لذلك لا تبدأوا بإعادة كتابة prompt الوكيل. خذوا المكالمات الفاشلة الحقيقية، ومرّروا كل مكالمة عبر الطبقات بالترتيب، وانسبوها إلى أول طبقة تعطلت. الطبقة التي تجمع أكبر عدد من المكالمات هي الطبقة المتعثرة، وهي أول ما تصلحونه. نفّذوا هذا الإصلاح وحده، ثم أعيدوا تشغيل المكالمات نفسها وقارنوا.

يتناول هذا المقال خطاً يعمل فعلياً. وإن لم تطلقوا وكيلكم بعد، فابدأوا بدليلنا عن اختبار وكيل الذكاء الاصطناعي الصوتي قبل التشغيل الفعلي.

لماذا نجح العرض التوضيحي

العرض التوضيحي اختبار ودّي. يعرف المتصل النص، ويتكلم بوضوح في غرفة هادئة، وينتظر حتى ينهي الوكيل كلامه. وسجل الاختبار نظيف: الطلب موجود، والموعد متاح.

أما المتصلون الحقيقيون فيقاطعون. يتصلون من السيارة أو من المستودع، ويستخدمون كلمات محلية واختصارات، ويسألون عن مواضيع قريبة لم يُصمَّم لها مسار المكالمة. وأحياناً لا يكون الطرف الآخر هو الشخص الذي يتوقعه المسار: يرد المحاسب بدلاً من صاحب الشركة، أو يرد أحد الأقارب، أو تصل المكالمة إلى قسم آخر.

وكل ظرف من هذه الظروف يختبر طبقة مختلفة. العرض الجيد يثبت أن الطبقات تصمد أمام مدخلات نظيفة، لكنه لا يكشف أي طبقة تتعطل أولاً أمام المكالمات الحقيقية.

الطبقات السبع التي تعبرها كل مكالمة

تعبر كل مكالمة الطبقات نفسها بالترتيب نفسه. والخلل في طبقة مبكرة يُظهر أعراضاً في الطبقات التي تليها، لذلك كثيراً ما تشير الأعراض وحدها إلى المكان الخطأ.

• صوت الخط والاتصال الهاتفي: تبدأ المكالمة دون مشكلة، ويصل الصوت في الاتجاهين دون تأخير أو صدى، وتنتهي المكالمة بشكل سليم.
• التعرف على الكلام: يتحول ما قاله المتصل إلى نص.
• المعرفة: المعلومات التي يستطيع الوكيل استخدامها، مثل السياسات وتفاصيل المنتجات وإجابات الأسئلة الشائعة.
• القرار: منطق المحادثة، أي ما يقوله الوكيل أو يسأل عنه بعد ذلك، ومتى يطلب التأكيد، ومتى يحوّل المكالمة إلى موظف، وكيف ينهيها.
• الأدوات وإجراءات الأنظمة: البحث والتسجيل في نظام CRM أو نظام الحجز أو نظام التذاكر.
• التحويل إلى موظف: تحويل المكالمة أو معاودة الاتصال، والسياق الذي يصل إلى زميلكم.
• القياس: النتيجة المسجلة تطابق ما حدث فعلاً.

وهناك محطة أخرى تمر بها المكالمة وليست من طبقات الذكاء الاصطناعي: جانب الأعمال. فبعض المكالمات تفشل لأن المخزون نفد، أو لا يوجد موعد متاح، أو البيانات قديمة في نظامكم أنتم. أدى الوكيل عمله، لكن الشركة لم تستطع التنفيذ. احسبوا هذه المكالمات على حدة، وأحيلوها إلى المسؤول عن تلك العملية.

ابدأوا بالمتصلين الحقيقيين، لا بورقة الاختبار

خذوا كل المكالمات الحقيقية من فترة قريبة، لا السيناريوهات المكتوبة في ورقة الاختبار. ثم استبعدوا مكالمات الاختبار الداخلية: الرقم نفسه والعبارات المحفوظة نفسها، تتكرر بفارق دقائق قليلة. فمن يختبر الوكيل لا يتكلم كما يتكلم المتصل الحقيقي.

بعد ذلك، راجعوا تصنيفات النتائج على عينة. فإذا احتُسب البريد الصوتي محادثةً، أو احتُسبت الحجوزات المكتملة إخفاقاً، فقائمة المكالمات الفاشلة نفسها خاطئة. القياس هو الطبقة الأخيرة، لكنه أول ما تتحققون منه.

وأخيراً، استمعوا إلى التسجيل. فالنص المفرّغ يُظهر ما سمعه نظام التعرف على الكلام، والتسجيل وحده يُظهر ما قاله المتصل.

جدول التشخيص: من العَرَض إلى الطبقة

طبّقوا الجدول على مكالمة فاشلة واحدة في كل مرة، وابحثوا عن الدليل قبل أن تنسبوها إلى طبقة.

احسبوا كل مكالمة فاشلة مرة واحدة، عند أول خلل فيها

هكذا نقرأ المكالمات الفاشلة في DRING. تمر كل مكالمة فاشلة عبر الطبقات بالترتيب، وتحصل على تصنيف واحد: أول طبقة تعطلت. فالجملة التي أُسيء سماعها، وأدت إلى رد خاطئ ثم إلى حجز فاشل، هي خلل واحد في التعرف على الكلام، لا ثلاث مشكلات.

وحين تحمل كل مكالمة قيمة واحدة، يساوي مجموع الأعداد إجمالي المكالمات الفاشلة، ويُظهر العدد الأكبر أين يستعيد إصلاح واحد أكبر عدد من المكالمات.

والطريقة الشائعة الأخرى أن تضعوا وسماً لكل عَرَض أينما ظهر. وبهذه الطريقة، حصلت المكالمات الفاشلة في المثال أدناه، وعددها 200، على 355 وسماً. ونالت طبقة القرار العدد الأكبر من الوسوم، وهو 104، لأن الجملة التي يُساء سماعها تجعل الرد التالي خاطئاً هو الآخر في العادة. ومع ذلك، لم تكن طبقة القرار أول خلل إلا في 40 مكالمة. وسوم الأعراض متداخلة، ومجموعها لا يطابق عدد المكالمات الفاشلة، وتجعل كل طبقة تبدو عاجلة. اعرضوها على حدة إن كانت مفيدة، لكن رتّبوا الإصلاحات حسب أول خلل.

الأرقام في هذا القسم مثال وضعناه لهذا المقال، وليست بيانات من تشغيل حقيقي.

في هذا المثال، التعرف على الكلام هو أول طبقة تعملون عليها، فهو أول خلل في 62 من أصل 200 مكالمة. أما مكالمات جانب الأعمال، وعددها 22، فليست خللاً في الذكاء الاصطناعي. فلا تعديل في الوكيل يوفر موعداً متاحاً، أو يصحح قائمة أسعار قديمة في نظامكم أنتم.

أخطاء التعرف على الكلام تُصلَح غالباً في طبقة القرار

يُظهر أول خلل أين انحرفت المكالمة عن مسارها، لكنه لا يُظهر دائماً أين يقع الإصلاح. فعلى الخط الهاتفي، لا يمكن إصلاح كثير من أخطاء التعرف على الكلام في طبقة التعرف نفسها: الصوت مضغوط، وقد يعلو صوت رافعة شوكية على صوت المتصل. يجب أن تبقى المحادثة صحيحة حين يكون النص خاطئاً، وهذا العمل يجري في طبقة القرار:

• لا رد على جملة لا تناسب السؤال. حين لا يتطابق النص الذي سمعه النظام مع السؤال الذي طرحه الوكيل للتو، لا يتصرف الوكيل بناءً عليه، ولا يفتح موضوعاً جديداً، بل يقول إنه لم يسمع جيداً ويسأل من جديد.
• احتفظوا بقائمة للكلمات التي يُساء سماعها. تُضاف الكلمات التي يخطئ فيها نظام التعرف على الكلام في المكالمات الحقيقية إلى قائمة، ويتأكد منها الوكيل بسؤال بدلاً من التخمين.
• استفيدوا من بيانات النظام. حين يكون الطلب أو السجل معروفاً مسبقاً، يقرأه الوكيل على المتصل ويسأل: «هل هو هذا؟»
• أضيفوا قائمة الكلمات المفتاحية في النهاية. قائمة الأسماء ومصطلحات المنتجات إعداد قليل الكلفة في التعرف على الكلام، لكنها تأتي بعد الخطوات الثلاث السابقة.

مثال كتبناه لهذا المقال، وليس مكالمة حقيقية: جملة واحدة أُسيء سماعها، ومعالجتان مختلفتان.

يحوّل الرد الأول خطأً في التعرف على الكلام إلى طلب ملغى. أما الثاني فيحتفظ بالجزء الذي يناسب السؤال، ويسأل من جديد عن الباقي. ولمعرفة المزيد عن هذه الطبقة، اقرأوا كيف يصحح الذكاء الاصطناعي الصوتي ما يسيء سماعه.

الأدوات والتحويل إلى موظف: ثقوا بالسجل لا بالجملة

الوكيل الذي يقول «تم حجز موعدكم» أنتج جملة، لا حجزاً. افحصوا سجل الأدوات لكل إجراء: هل أُرسل الطلب، وماذا عاد، وهل ظهر معرّف سجل؟ ولا ينبغي أن يؤكد الوكيل أي إجراء إلا بعد استجابة ناجحة. ويشرح دليلنا عن تحديث CRM تلقائياً بالنتيجة ما ينبغي أن تتركه المكالمة في أنظمتكم.

ويتعطل التحويل إلى موظف بصمت أيضاً. تُحوَّل المكالمة، لكن الملخص يصل متأخراً أو لا يصل أبداً. استمعوا إلى الثواني الأولى بعد كل تحويل. فإذا سأل زميلكم المتصل عن سبب اتصاله، فقد فشل التحويل. ويشرح دليل تصميم التحويل إلى موظف ما ينبغي أن يتضمنه السياق.

نهاية المكالمة: هل ودّع المتصل؟

تنهي مسارات كثيرة المكالمة بعد مهلة زمنية محددة، أو بمجرد إنجاز المهمة. وفي المكالمات الفعلية، يقطع هذا كلام الناس في منتصف سؤال أو كلمة شكر. فلا ينبغي أن يغلق الوكيل الخط قبل أن يسمع وداع المتصل.

في كل مكالمة أنهاها الوكيل، اقرأوا آخر جملة قالها المتصل قبل إغلاق الخط. هل كان فيها وداع؟ نسبة المكالمات التي تخلو منه هي نسبة قطع المكالمات لديكم، وهي من مسؤولية طبقة القرار.

أصلحوا طبقة واحدة في كل مرة

جدول أول خلل يحدد ترتيب العمل:

1. اختاروا طبقة الذكاء الاصطناعي صاحبة العدد الأكبر. أما ما يقع في جانب الأعمال فيذهب إلى المسؤول عنه.
2. أجروا تعديلاً واحداً يستهدف تلك المكالمات. وحين يكون أول خلل في التعرف على الكلام، يقع هذا التعديل غالباً في طبقة القرار، كما شرحنا أعلاه. فمع تعديلين في وقت واحد، لن تعرفوا أيهما أفاد.
3. أعيدوا تشغيل المكالمات الفاشلة نفسها. فهي الآن مجموعة اختبار الانحدار لديكم: عبارات المتصلين نفسها، وظروف الصوت نفسها حيثما أمكن.
4. قارنوا أعداد أول خلل قبل التعديل وبعده على النوع نفسه من المكالمات: الحملة نفسها، أو نوع القائمة نفسه، أو ساعات المكالمات الواردة نفسها. فالقائمة الأسهل تجعل أي تعديل يبدو ناجحاً.

توقعوا أن تنتقل بعض المكالمات إلى طبقة أخرى بدلاً من أن تختفي. فالمكالمة التي تجتاز الآن التعرف على الكلام قد تتعطل لاحقاً، عند الأدوات. وهذا تقدم، لأن الإصلاح التالي صار واضحاً. ويتبع Agent Factory، وهو الطريقة التي يبني بها DRING الوكلاء ويختبرها ويحسّنها، القاعدة نفسها: تعديل واحد في كل مرة، يُختبر قبل إصداره.

أين يأتي دور DRING

إذا كان أداء مسار يعمل فعلياً دون المتوقع، فاطلبوا معاودة الاتصال واعرضوه علينا. جهّزوا عينة من المكالمات الفاشلة، مع تسجيلاتها حيث تسمح سياستكم، والنتيجة التي كان ينبغي أن تصل إليها كل مكالمة. ويستطيع فريقنا مراجعتها معكم كما يصف هذا المقال، والنظر في أول موضع تعطلت فيه كل مكالمة.

التعديلات التي تمس أنظمتكم يُحدَّد نطاقها على حدة. فالإجراءات التي يستطيع الوكيل تنفيذها في CRM تعتمد على إصدار النظام والصلاحيات والوصول إلى API. وفي DRING، يمكن تعريف حقول تحليل إضافية تعود عبر API و CRM ولوحة المؤشرات والتقارير. ويمكن أن تكون «أول طبقة تعطلت» أحد هذه الحقول.

يجري كل وكيل يبنيه DRING من 1,000 إلى 10,000 محادثة محاكاة، مبنية لشركتكم، قبل أول مكالمة حقيقية. ومع ذلك تكشف المكالمات الفعلية ما فات المحاكاة، لذلك يبدأ التحسين بعد الإطلاق من المتصلين الحقيقيين.