حين يذكر الذكاء الاصطناعي سعراً خاطئاً

الإجابة المختصرة

نادراً ما تكون الإجابة الخاطئة في مكالمة ذكاء اصطناعي لغزاً. فهي تدخل من أحد خمسة أبواب: المصدر القديم، أو المصدر الغائب، أو خطأ السماع، أو خطأ الاستعلام، أو تجاوز الصلاحيات. وأربعة منها تبدأ خارج النموذج: المصدر القديم والمصدر الغائب يبدآن في المصدر نفسه، وخطأ السماع في التعرف على الكلام، وخطأ الاستعلام في النظام الذي يستعلم منه الوكيل. ولا يبدأ من الوكيل نفسه إلا تجاوز الصلاحيات، حين يعرض أكثر مما يُسمح له به.

لذلك فالوقاية في معظمها عمل على المصادر والصلاحيات. تمر كل إجابة عبر البوابة نفسها: أن تأتي من مصدر معتمد، وأن يكون المصدر محدّثاً، وأن تقع الإجابة ضمن حدود الصلاحيات، وأن يُكرَّر كل رقم وتاريخ ومبلغ للتأكيد. والإجابة التي تخفق في أي فحص تنتقل إلى البديل الآمن: يحوّل الوكيل المكالمة إلى موظف، أو يسجّل طلباً لمعاودة الاتصال.

ومع ذلك ستفلت بعض الإجابات الخاطئة. والاستجابة لها خطة ثابتة: الاحتواء، ثم الحصر، ثم التصحيح، ثم التوثيق، ثم إعادة الاختبار. وما يحدد حجم الحادثة هو فترة التعرض: من اللحظة التي أصبحت فيها الإجابة الخاطئة ممكنة إلى اللحظة التي صُحّحت فيها. وطول هذه الفترة يتوقف على سرعة مواكبة مصدركم لأي تغيير في العمل، وسرعة اكتشافكم للمشكلة، وسرعة احتوائكم لها، لا على النموذج.

وكل رقم في أمثلة هذا الدليل كتبناه خصيصاً له، وليس من بيانات DRING ولا من بيانات القطاع.

الأبواب الخمسة التي تدخل منها الإجابة الخاطئة

لكل باب ضابط يغلقه.

وحدود الصلاحيات لا تغلق إلا باب تجاوز الصلاحيات. أما الأبواب الأربعة الأخرى فيغلقها العمل على المصادر والتكرار للتأكيد والاستعلامات. والخطأ الذي يدخل من باب المصدر الغائب ينتهي بتخمين من الوكيل، لكنه يبدأ بثغرة في المصدر، والفحص الأول في بوابة الإجابة يوقف هذا التخمين. وعن أعطال الاستعلام، مثل انتهاء المهلة، اقرأوا مقالنا لماذا لا يُعد استدعاء الأدوات أتمتة.

الوقاية: بوابة الإجابة

بوابة الإجابة ترتيب ثابت من الخطوات تمر به كل إجابة. فقبل أن يسمع المتصل الإجابة، تأتي ثلاثة فحوص: هل الإجابة موجودة في مصدر معتمد؟ هل المصدر محدّث؟ هل الإجابة ضمن حدود الصلاحيات؟ ثم يكرر الوكيل كل رقم وتاريخ ومبلغ للتأكيد قبل أي وعد أو حجز. وإذا جاء الجواب «لا» في أي من الفحوص الثلاثة، انتقلت المكالمة إلى البديل الآمن.

مصادر معتمدة، لكل منها مسؤول وتاريخ سريان

ضعوا قائمة بكل مصدر يجوز للوكيل أن يجيب منه: قائمة الأسعار، وسياسة الإرجاع، ومستند قاعدة المعرفة، والاستعلام عن الطلبات. كل واحد منها مصدر معتمد. وعيّنوا لكل مصدر مسؤولاً نسميه مسؤول المصدر، وهو الشخص الذي يعدّله حين يتغير شيء في العمل. وحددوا لكل نسخة تاريخ السريان، أي التاريخ والوقت اللذين تسري منهما.

واعتمدوا مصدراً واحداً لكل موضوع. ففي الحادثة الافتراضية أدناه، كانت قائمة الأسعار على الموقع ومصدر الوكيل مستندين منفصلين، ولم يُحدَّث في موعده إلا أحدهما.

الفحص 1: هل الإجابة موجودة في مصدر معتمد؟

إذا لم تكن الإجابة في مصدر معتمد، ينتقل الوكيل إلى البديل الآمن. فالتخمين، مهما بدا مفيداً، يظل خطأً من باب المصدر الغائب.

الفحص 2: هل المصدر محدّث؟

أدخلوا كل نسخة جديدة مع تاريخ سريانها قبل أن يقع التغيير. عندها يكون المصدر محدّثاً لحظة تغيّر السعر، لا حين يتذكر أحدهم أن يعدّله. وإذا اقترب موعد تغيير ولم تجهز النسخة الجديدة بعد، فانقلوا الموضوع إلى البديل الآمن حتى تجهز.

الفحص 3: هل الإجابة ضمن حدود الصلاحيات؟

تحدد حدود الصلاحيات ما يجوز للوكيل أن يقوله أو يفعله دون موظف. اكتبوها لكل موضوع، على ثلاثة مستويات:

ويعني «يجب التحويل إلى موظف» الانتقال إلى البديل الآمن: يتولى موظف المكالمة الآن، أو يؤكد لاحقاً عبر معاودة الاتصال. ويشرح دليلنا عن تصميم التحويل إلى موظف ما ينبغي أن يصل إلى الموظف مع المكالمة.

ثم التكرار للتأكيد: كل رقم وتاريخ ومبلغ

حين يكون الخط رديئاً، تتشابه «سبعة» و«تسعة» في السمع. لذلك يكرر الوكيل كل رقم وتاريخ ومبلغ يذكره أو يبني عليه إجراءً، ويؤكده المتصل قبل أي وعد أو حجز. ويكشف التكرار للتأكيد أيضاً خطأ السماع، لأن المتصل يسمع أي باقة يقصدها الوكيل. وهذا مثال، بعد الإصلاح في الحادثة أدناه:

• المتصل: «كم سعر باقة الحماية الحين؟»
• الوكيل: «سعر باقة الحماية 14 يورو شهرياً، أي أربعة عشر يورو في الشهر. هل هذه الباقة التي تقصدونها؟»
• المتصل: «إيه، أربعة عشر. هي هذي.»

والوكيل نفسه عند حدود صلاحياته:

• المتصل: «الأسبوع الماضي كان موقعكم كاتب اثنعش. ما تقدرون تعطوني إياها باثنعش؟»
• الوكيل: «لا أستطيع تغيير السعر في هذه المكالمة، لكن يستطيع أحد زملائي النظر في طلبكم. هل أحوّلكم إليه الآن، أم تفضلون أن نعاود الاتصال بكم؟»

اختبروا البوابة قبل الإصدار

قبل الإصدار، اختبروا حالة واحدة على الأقل لكل باب:

• المصدر القديم: سعر جديد بتاريخ سريان. المكالمات التي تسبقه تحصل على السعر القديم، والتي تليه على السعر الحالي.
• المصدر الغائب: أسئلة لا يغطيها أي مصدر معتمد. ويصل الوكيل إلى البديل الآمن.
• خطأ السماع: أسماء منتجات متشابهة في النطق، مع ضجيج في الخلفية. ويكشف التكرار للتأكيد الاسم الخاطئ.
• خطأ الاستعلام: استعلام يفشل، أو لا يعيد شيئاً، أو يعيد طلباً آخر. فلا يختلق الوكيل نتيجة، ويصل إلى البديل الآمن.
• تجاوز الصلاحيات: طلب خصم أو استرداد مبلغ. فيحوّل الوكيل المكالمة إلى موظف.

ويشرح دليلنا عن اختبار الذكاء الاصطناعي الصوتي قبل التشغيل الفعلي كيف تبنون مجموعة الاختبارات كاملة.

حادثة افتراضية: تغيّر سعر فات الوكيل

مثال، وليس بيانات حقيقية. رفع متجر تجزئة سعر باقة الحماية لديه من 12 إلى 14 يورو شهرياً، اعتباراً من يوم الاثنين الساعة 09:00. وتغيّرت قائمة الأسعار على الموقع في موعدها. لكن المصدر المعتمد للوكيل كان مستنداً منفصلاً، ولم يحدّثه أحد حين تغيّر السعر. ويوم الأربعاء الساعة 10:30، وصلت أول شكوى: متصل قيل له إن السعر 12 يورو، ثم خُصم منه 14 يورو. وصُحّح المستند يوم الأربعاء الساعة 14:00، وكانت تلك خطوة الاحتواء. وامتدت فترة التعرض من الاثنين الساعة 09:00 إلى الأربعاء الساعة 14:00: 53 ساعة.

جاء الاحتواء بعد 3 ساعات و30 دقيقة من أول شكوى، وخلال تلك الساعات كان المتصلون لا يزالون عرضة لسماع سعر 12 يورو. ولو حُوّلت أسئلة سعر الباقة إلى موظف خلال دقائق من الشكوى، لتوقف ذلك ريثما يُصحَّح المستند.

بعد الساعة 14:00، بدأ الفريق خطوة الحصر. فبحث في النصوص المفرّغة لمكالمات فترة التعرض عن الباقة، ثم قرأ كل مكالمة ذُكرت فيها:

الصفوف الثلاثة الأخيرة مجموعها 120 مكالمة ذُكرت فيها الباقة: 46 و61 و13. أي إن المتصلين المتأثرين 46، لا 900. ولو تواصل الفريق مع المتصلين في كل المكالمات، وعددها 900، لأربك 854 متصلاً لم يسمعوا سعر 12 يورو قط. ولو اكتفى بالتواصل مع المتصل الذي اشتكى، لظل 45 متصلاً متأثراً على معلومة خاطئة عن السعر. ويوم الخميس، تواصل الفريق مع المتصلين المتأثرين، وعددهم 46، وأبلغهم بالسعر الحالي.

وكان بالإمكان تقليص فترة التعرض بتغييرين. لو أُدخل السعر الجديد مع تاريخ سريانه في المصدر المعتمد قبل يوم الاثنين، لكانت فترة التعرض 0 ساعة. ولو وُجد فحص يومي يقارن السعر المذكور في كل مكالمة بقائمة الأسعار الحالية، لنبّه أول فحص، يوم الثلاثاء الساعة 08:00، إلى المكالمات التي ذُكر فيها سعر 12 يورو. ولو صُحّح المصدر حينها، لكانت فترة التعرض 23 ساعة بدلاً من 53.

خطة الاستجابة: خمس خطوات

حين تصل إجابة خاطئة إلى المتصلين، طبّقوا الخطوات الخمس نفسها بالترتيب نفسه. ويأتي الاحتواء قبل الحصر: فبينما تبحثون في المكالمات، يظل متصلون جدد عرضة لسماع الإجابة الخاطئة.

الحصر يعني المتصلين المتأثرين، لا كل من اتصل. ابدأوا من فترة التعرض، ثم ضيّقوا البحث إلى الموضوع، ثم اقرأوا المكالمات. وإذا كان فريقكم يجيب من المصدر نفسه، فافحصوا مكالماته أيضاً.

التصحيح يحتاج إلى سياسة تُحدَّد قبل الحادثة الأولى. هل تلتزمون بالسعر الخاطئ الذي سمعه المتصل، أم تشرحون له السعر الحالي؟ هذا قرار يخص سياسة العمل. اتخذوه مسبقاً، واكتبوه، وسلّموه لمن يجرون مكالمات التصحيح. أما هل يُلزمكم السعر الذي ذُكر للمتصل، فسؤال لمستشاريكم القانونيين، ولا يجيب عنه هذا الدليل.

التوثيق يستخدم حقول سجل الحوادث نفسها في كل مرة، لتبقى الحوادث قابلة للمقارنة. وهذا قيد الحادثة الافتراضية:

ما الذي تقيسونه

ثلاثة أرقام تُظهر ما إذا كانت البوابة وخطة الاستجابة تعملان:

• نسبة الإجابات الخاطئة في المكالمات المراجَعة: المكالمات المراجَعة التي فيها معلومة خاطئة، مقسومة على المكالمات المراجَعة. وهي الجزء الخاص بالمعلومات الخاطئة من نسبة الإجراءات الخاطئة الواردة في مقالنا عن معايير نجاح تجربة الذكاء الاصطناعي الصوتي، فتبقى النسبتان قابلتين للمقارنة. وانسبوا كل إجابة خاطئة إلى بابها، فيُظهر توزيعها على الأبواب أين تركزون جهدكم بعد ذلك.
• طول فترة التعرض: لكل حادثة، بالساعات. في المثال، 53 ساعة: 49 ساعة و30 دقيقة حتى أول شكوى، ثم 3 ساعات و30 دقيقة حتى الإصلاح.
• الوقت من أول إشارة حتى الاحتواء: من أول شكوى، أو ملاحظة في المراجعة، أو تنبيه من الفحص، حتى الاحتواء. في المثال، 3 ساعات و30 دقيقة.

لا تضمن أي بوابة أن تبقى نسبة الإجابات الخاطئة صفراً، والشهر الهادئ لا يثبت أن البوابة تعمل. فكما يشرح مقال التجربة الأولية، غياب أي إجراء خاطئ في 300 مكالمة مراجَعة يظل متوافقاً مع نسبة حقيقية تصل إلى نحو 1%.

وقد تفوّت المراجعة العشوائية أيضاً موضوعاً ضيقاً، أو تكتشفه متأخرة. ففي المثال، تأثرت 46 مكالمة من أصل 900 في الفترة، أي نحو 5 من كل 100، وكلها عن باقة واحدة. أما الفحص اليومي الذي يقارن السعر المذكور في كل مكالمة بقائمة الأسعار الحالية فيشمل كل مكالمة في هذا الموضوع، لا عينة منها.

أين يأتي دور DRING

ضوابط الحماية، والتحويل إلى موظف، وتحليل ما بعد المكالمة، والاختبار والمراقبة، كلها جزء من الأساس التشغيلي المشترك الذي تقوم عليه كل باقات DRING. وفي هذا الدليل، حدود الصلاحيات ضابط من ضوابط الحماية، والبديل الآمن يعتمد على التحويل إلى موظف، والفحص اليومي يعتمد على تحليل ما بعد المكالمة.

ويمكن أن يعيد تحليل ما بعد المكالمة حقولاً إضافية تحددونها، عبر API، ونظام CRM لديكم، ولوحة المؤشرات، والتقارير. ويمكن أن يكون أحدها السعر المذكور في كل مكالمة، فيصبح ممكناً إجراء فحص يومي يقارنه بقائمة الأسعار الحالية. وتعرض صفحة تحليلات المكالمات لوحة المؤشرات والتقارير.

ويجري كل وكيل في DRING من 1,000 إلى 10,000 محادثة محاكاة، مبنية خصيصاً لشركتكم، قبل أول مكالمة حقيقية. والمحاكاة تختبر البوابة قبل الإطلاق، لكنها لا تغني عن خطة الاستجابة في المكالمات الفعلية.

إذا كان خطكم مقبلاً على تغيير في سعر أو سياسة، فاطلبوا معاودة الاتصال. جهّزوا قائمة أسعاركم والمستند الذي يجيب منه وكيلكم. ويستطيع فريقنا مراجعتهما معكم في ضوء الأبواب الخمسة.