كيف تقيّمون تجربة وكيل صوتي مدتها 30 يوماً

الإجابة المختصرة

تنجح التجربة الأولية للذكاء الاصطناعي الصوتي حين يحقق كل مقياس هدفه في اليوم 30 دون تجاوز أي حد إيقاف. وتُكتب الأهداف وحدود الإيقاف على بطاقة التجربة، وتُوقَّع البطاقة قبل أول مكالمة فعلية. فإذا حددتم المعايير بعد المكالمات، صار اليوم 30 جدالاً حول المكالمات التي تُحتسب وتلك التي لا تُحتسب. وإذا حددتموها قبلها، كان اليوم 30 اجتماعاً قصيراً.

قيسوا خط الأساس لنوع المكالمة نفسه في فترة مماثلة. وضعوا خمسة مقاييس على بطاقة تجربة واحدة: نسبة الحل، ونسبة تكرار التواصل، ونسبة الإجراءات الخاطئة، وجودة التحويل، وجهد الموظفين. وأعطوا كل مقياس تعريفاً دقيقاً وهدفاً وحد إيقاف، واقرأوا البطاقة نفسها في كل مراجعة أسبوعية.

في اليوم 30، طبّقوا القاعدة التي اتفقتم عليها مسبقاً. القرار هو التوسيع حين تتحقق كل الأهداف. وهو التمديد، مرة واحدة ولمدة أسبوعين، حين يبقى مقياس أو مقياسان دون الهدف ويفسرهما سبب واحد معروف. وهو الإيقاف عند تجاوز أي حد إيقاف، أو حين يبقى أكثر من مقياسين دون الهدف، أو حين لا يفسر النقص سبب واحد معروف. وبعض حدود الإيقاف تكفيها مكالمة واحدة، مثل إجراء خاطئ له تبعات مالية أو قانونية.

ولخطوات البناء التي تسبق التجربة، اطلعوا على خطة تنفيذ الذكاء الاصطناعي الصوتي في 90 يوماً.

لماذا لا تصلح الانطباعات حكماً

بعد 30 يوماً، يتذكر المدير تلك المكالمة الوحيدة التي أساء فيها الوكيل فهم عميل غاضب. ويتذكر فريق المشروع المكالمات التي سارت على ما يرام وعرضها في الاجتماعات. ولا يكشف أيٌّ منهما شيئاً يُذكر عن مئات المكالمات التي لم يسمعها أحد.

والأرقام التي تُختار بعد انتهاء التجربة تعاني المشكلة نفسها: من السهل انتقاء المقياس الذي يبدو أفضل، أو تحميل عبارة «تم الحل» أكثر مما تحتمل. لذلك يوقّع مسؤول العمليات ومراجع الجودة ومسؤول الأنظمة وراعي المشروع بطاقة التجربة قبل اليوم 1. وطوال التجربة، لا تتغير الأهداف ولا حدود الإيقاف.

الخطوة 1: قيسوا خط الأساس

خط الأساس هو أداء نوع المكالمة نفسه اليوم، مقيساً بتعريفات التجربة. ومن دونه، لا تعني نسبة حل تبلغ 70% أن الأداء جيد ولا أنه سيئ. ونوع المكالمة هو سير عمل واحد له نتيجة متوقعة واحدة. وفي المثال الذي نستخدمه هنا، يتصل العملاء لتغيير موعد زيارة فني محجوزة، وينبغي أن تنتهي المكالمة بموعد جديد وافق عليه العميل.

خذوا خط الأساس من فترة مماثلة:

• أيام الأسبوع والساعات نفسها: أربعة أسابيع كاملة، تغطي الساعات التي سيرد فيها الوكيل.
• الموسم أو الحملة نفسها: لا تقارنوا أسبوع تخفيضات بأسبوع هادئ، ولا أسبوع عطلة العيد بأسبوع عادي.
• مزيج المكالمات نفسه: نوع المكالمة نفسه، واللغات نفسها، وفئات العملاء نفسها. فإذا كانت التجربة لا تتلقى إلا مكالمات المساء، فخط الأساس هو ما كان يحدث لمكالمات المساء من قبل، حتى لو كانت تنتهي في البريد الصوتي.

لا تعتمدوا على رموز الإغلاق القديمة التي يختارها الموظفون في نهاية المكالمة: فالنقر على «تم الحل» قد يعني شيئاً غير موعد جديد في نظام الحجز. أعيدوا تصنيف عينة عشوائية من مكالمات خط الأساس وفق قواعد التجربة، واستخدموها أيضاً لقياس الإجراءات الخاطئة لدى فريقكم. ويشرح مقالنا عن نسبة الاحتواء ونسبة الحل لماذا لا تُعد المكالمة التي لم تُحوَّل إلى موظف مكالمةً محلولة بعد.

وإذا لم يُقَس مقياس من قبل، فاكتبوا «غير مقيس» على البطاقة، وحددوا هدفه وفق ما تحتاجه دراسة الجدوى، ولا تدّعوا لاحقاً أنه تحسّن.

الخطوة 2: اكتبوا بطاقة التجربة

تضم بطاقة التجربة خمسة مقاييس، يجيب كل منها عن سؤال مختلف، فلا يستطيع رقم جيد في أحدها أن يخفي رقماً سيئاً في آخر. اكتبوا لكل مقياس البسط والمقام وما يُستبعد من الحساب. ثم حددوا مستويين. الهدف هو المستوى الذي يبقى عنده المشروع مجدياً. وحد الإيقاف هو المستوى الذي تتوقفون عنده، مهما أظهرت المقاييس الأخرى. والمقياس الذي يقع بينهما يكون دون الهدف.

كل القيم في البطاقة مثال وضعناه لهذا المقال، وليست بيانات من شركة حقيقية.

هدف نسبة الحل أقل من خط الأساس عن قصد. اكتبوا السبب على البطاقة: يبقى المشروع مجدياً عند 70% إذا انخفض جهد الموظفين من 640 إلى 250 دقيقة أو أقل لكل 100 مكالمة. ولا يُحتسب جهد الموظفين إلا في الأسبوعين 3 و4، لأن المراجعين يقرؤون كل مكالمة في الأسبوع 1، ويُجرى أول إصلاح في الأسبوع 2.

حدود الإيقاف التي تكفيها مكالمة واحدة

بعض الأخطاء أكلف من أن تنتظروا ظهورها في نسبة:

• إجراء خاطئ له تبعات مالية أو قانونية، مثل خصم مبلغ، أو استرداد مبلغ، أو إلغاء زيارة مدفوعة.
• إعطاء بيانات شخصية لمتصل لم يجتز التحقق من الهوية.
• متصل يبلغ عن خطر، مثل رائحة غاز، ولا يُحوَّل إلى موظف على الفور.

وأيٌّ من هذه الأخطاء يُنهي التجربة مبكراً، وتعود المكالمات إلى المسار السابق في اليوم نفسه. واستئناف العمل بعد الإصلاح تجربة جديدة تبدأ من اليوم 1. أما حد الإيقاف الخاص بمقياس فيعمل ببطء أكبر: تنتهي التجربة مبكراً إذا تجاوزت القيمة المقيسة للمقياس حد إيقافه في مراجعتين أسبوعيتين متتاليتين. ولا تُحتسب إلا المراجعات التي يُقيَّم فيها ذلك المقياس: جهد الموظفين بدءاً من الأسبوع 3، وتكرار التواصل بعد انقضاء الأيام السبعة.

والعينة العشوائية من 100 مكالمة أسبوعياً ستفوتها معظم الأخطاء المذكورة أعلاه، لذلك ابحثوا عنها مباشرة. في كل أسبوع، اقرأوا كل مكالمة تنتهي بخصم مبلغ أو استرداد مبلغ أو إلغاء، وكل مكالمة أعطى فيها الوكيل بيانات شخصية، وكل مكالمة يبلّغ عنها عميل أو أحد زملائكم بوصفها مشكلة. وتأتي هذه القراءات إضافةً إلى العينة العشوائية.

الخطوة 3: أجروا المراجعة الأسبوعية

تقرأ المراجعة الأسبوعية البطاقة نفسها في اليوم نفسه من كل أسبوع، وتتحقق من صحة العدّ، وتختار تعديلاً واحداً على الأكثر في الوكيل.

ثلاث قواعد تُبقي الأسابيع قابلة للمقارنة:

• تعديل واحد في الأسبوع، يُسجَّل مع تاريخه. فمع تعديلين، لن تعرفوا أيهما حرّك الرقم.
• تعريفات ثابتة. إذا ثبت أن أحد التعريفات خاطئ، فغيّروه مرة واحدة، ودوّنوا السبب، وأعيدوا حساب كل الأسابيع السابقة.
• الأعداد إلى جانب النسب. اكتبوا «64% (256 من أصل 400 مكالمة)»، لا «64%» وحدها.

ويشرح دليلنا عن أخذ عينات الجودة في مركز الاتصال أي المكالمات ينبغي أن يقرأها المراجعون.

ما تقوله الأرقام وما لا تقوله

كل نسبة في التجربة تقدير. فلنسبة p مقيسة على n مكالمة، يكون هامش الخطأ التقريبي بمستوى ثقة 95% هو: 1.96 × √(p(1 - p) / n). وعند نسبة 70%، يعطي ذلك:

• 100 مكالمة: نحو ±9.0 نقطة مئوية
• 400 مكالمة: نحو ±4.5 نقطة مئوية
• 1,000 مكالمة: نحو ±2.8 نقطة مئوية

أي إن الرقم الأسبوعي المقيس على 400 مكالمة يقع عادةً في حدود 4.5 نقطة مئوية تقريباً من النسبة الحقيقية، وقد يكون تغيّر بضع نقاط من أسبوع إلى آخر مجرد صدفة. وتفترض المعادلة أن المكالمات مستقلة بعضها عن بعض، وأن النسبة ليست قريبة من 0% أو 100%. أما المقارنة بخط الأساس فهامشها أوسع: فلنسبتين في حدود 70%، كل منهما على 1,600 مكالمة، يحمل الفرق بينهما هامشاً يقارب ±3.2 نقطة مئوية.

في الأسبوع 1 من المثال، تبلغ نسبة الحل 64% على 400 مكالمة، بهامش يقارب ±4.7 نقطة مئوية. فقد تقع النسبة الحقيقية في أي موضع بين 59.3% و68.7% تقريباً: يمتد النطاق إلى ما دون حد الإيقاف، ويبقى كله دون الهدف. وبحلول اليوم 30، يضم المثال 1,600 مكالمة بنسبة 68%، بهامش يقارب ±2.3 نقطة مئوية. والنطاق، من 65.7% إلى 70.3% تقريباً، أعلى بوضوح من حد الإيقاف، ويقع الهدف داخله بفارق ضئيل.

وهناك ثلاثة قيود أخرى:

• الأحداث النادرة. غياب أي إجراء خاطئ في 300 مكالمة مراجَعة يظل متوافقاً مع نسبة حقيقية تصل إلى نحو 1%. هذه هي «قاعدة الثلاثة»: إذا لم يقع أي حدث في n مكالمة، فالحد الأعلى بمستوى ثقة 95% يقارب 3 / n. اقرأوا كل إجراء خاطئ وصنّفوه.
• الشرائح الصغيرة. شريحة من 60 مكالمة، كلغة واحدة أو يوم واحد من أيام الأسبوع، تحمل هامشاً يقارب ±11.6 نقطة مئوية عند نسبة 70%. استمعوا إلى هذه المكالمات بدلاً من مقارنة نسبتها.
• تكرار التواصل في المكالمات الأخيرة. في اليوم 30، لا تغطي نسبة تكرار التواصل إلا المكالمات حتى اليوم 23. فالمكالمات اللاحقة لم تكمل أيامها السبعة بعد.

قرار اليوم 30: التوسيع أو التمديد أو الإيقاف

في اليوم 30، احسبوا بطاقة التجربة على كل المكالمات منذ اليوم 1. ثم طبّقوا القاعدة بهذا الترتيب:

• الإيقاف عند تجاوز أي حد إيقاف، أو إذا بقي أكثر من مقياسين دون الهدف، أو إذا لم يفسر النقص سبب واحد معروف. تعود المكالمات إلى المسار السابق، ويُدوَّن السبب للتجربة التالية.
• التوسيع إذا تحققت كل الأهداف دون تجاوز أي حد إيقاف. انقلوا إلى الوكيل، على مراحل، مزيداً من مكالمات النوع نفسه، بالبطاقة نفسها. أما نوع المكالمة الجديد فله بطاقة تجربة خاصة به.
• التمديد إذا بقي مقياس أو مقياسان دون الهدف لسبب واحد معروف. مدّدوا التجربة مرة واحدة، لأسبوعين، مع إصلاح واحد لذلك السبب وبالبطاقة نفسها، واحكموا على فترة التمديد بمكالماتها هي. فإذا تحققت عندها كل الأهداف، فالقرار التوسيع. وإلا فالقرار الإيقاف.

كيف تقرؤون النتائج المتباينة

كثيراً ما تأتي نتيجة اليوم 30 متباينة: أربعة مقاييس تحقق أهدافها، وواحد لا يحقق هدفه.

• لا تحسبوا المتوسط. نسبة الحل المرتفعة لا تعوّض حجزاً خاطئاً.
• احموا العميل أولاً. لا تُقايَض نسبة الإجراءات الخاطئة وحدود الإيقاف التي تكفيها مكالمة واحدة بنسبة الحل أو بجهد الموظفين أبداً. وإذا كانت نسبة الإجراءات الخاطئة دون الهدف، فلا تختاروا التمديد إلا إذا كان لكل الإجراءات الخاطئة السبب المعروف نفسه، وكان الإصلاح يزيله.
• اقرأوا الفارق في ضوء هامش الخطأ. نسبة 68% لا تحقق هدف 70%. لكن الفارق الأصغر من هامش الخطأ، حين يكون سببه معروفاً، حالة نموذجية للتمديد.
• حددوا موضع السبب. إذا فشلت المكالمات لعدم وجود موعد متاح، فلن يحل ذلك وكيل أفضل. وإذا لم يحقق جهد الموظفين هدفه، فتحققوا مما إذا كان لا يزال ينخفض من الأسبوع 3 إلى الأسبوع 4.

مثال: بطاقة التجربة في اليوم 30

قيم افتراضية للمثال، وليست بيانات حقيقية.

مقياس واحد دون الهدف، ولم يُتجاوز أي حد إيقاف. وفي أكبر مجموعة من المكالمات غير المحلولة، يطلب العميل موعداً مسائياً، ولا يُظهر نظام الحجز المواعيد المسائية إلا للموظفين. السبب معروف ويعالجه إصلاح واحد، لذلك فالقرار هو التمديد: أسبوعان، والبطاقة نفسها، وفتح المواعيد المسائية أمام الوكيل. وبمعدل 400 مكالمة أسبوعياً تقريباً، تعطي فترة التمديد نحو 800 مكالمة جديدة للحكم عليها، بهامش يقارب ±3.2 نقطة مئوية عند نسبة 70%.

أين يأتي دور DRING

مع DRING، يصبح الوكيل جاهزاً للعمل خلال أسبوع. استثمروا هذا الأسبوع في إعادة تصنيف عينة خط الأساس من المكالمات السابقة، وفي توقيع بطاقة التجربة قبل أول مكالمة فعلية. ويجري كل وكيل في DRING من 1,000 إلى 10,000 محادثة محاكاة، مبنية لشركتكم، قبل أول مكالمة حقيقية. وهذا اختبار قبل الإطلاق، وليس التجربة الأولية. فالمحاكاة قد تكشف الثغرات مبكراً، لكنها لا تعطي خط أساس ولا نسبة حل مع عملاء حقيقيين. ويشرح مقالنا عن المحادثات المحاكاة ما تغطيه هذه المحادثات.

وخلال التجربة، يمكن أن يعيد تحليل ما بعد المكالمة حقولاً إضافية تحددونها، مثل نتيجة كل مكالمة، عبر API، ونظام CRM لديكم، ولوحة المؤشرات، والتقارير. ويظل المراجعون يقرؤون المكالمات، لكن الحقول تمنح كل مراجعة أسبوعية التصنيفات نفسها. وتعرض صفحة تحليلات المكالمات لوحة المؤشرات والتقارير.