أي نموذج يسمع المتصلين بكم جيداً؟
منحت صفحة المورّد نموذج تحويل الكلام إلى نص درجة عالية، وبدا التفريغ النصي للمكالمة سليماً. ومع ذلك تُركت الشحنة عند الجار، وهو الأمر الوحيد الذي طلب المتصل من الوكيل ألا يفعله.
اختبروا النماذج على مكالماتكم أنتم
ذات مساء ثلاثاء من هذا الصيف، اتصل عميل بخدمة العملاء الهاتفية في [الشركة]، وهي شركة توصّل شحنات المتاجر الإلكترونية، وقال لوكيل الذكاء الاصطناعي لديها: «السلام عليكم، بخصوص الشحنة PX 4827 3315. لو سمحتم، لا تتركوها عند الجار المجاور. أنا مسافر حتى الخميس وسأستلمها بنفسي.» كانت كل كلمة في التفريغ النصي صحيحة إلا «لا»، فقد سقطت من «لا تتركوها»، وبقيت «تتركوها». ومن دون هذه الكلمة طلبت الجملة عكس ما أراده المتصل، فتُركت الشحنة عند الجار. وفي يوم الخميس كان المتصل نفسه على الخط من جديد، وهو غاضب.
عائشة، التي تدير خدمة العملاء الهاتفية في [الشركة]، قرأت التفريغ النصي صباح اليوم التالي. كانت كلمة واحدة ناقصة، وهي الكلمة التي تدور حولها المكالمة. وكان الوكيل يرد على مكالمات المساء طوال الصيف في تجربة تشغيلية، بنموذج تحويل الكلام إلى نص الذي جاء مع إعداد المورّد، ويسميه هذا المقال النموذج A. وقد منحت صفحة المورّد النموذج A درجة عالية في الكلمات الصحيحة إجمالاً. [الشركة] وعائشة والتجربة والمكالمات والنموذجان وكل عدد في هذا المقال أمثلة توضيحية، وليست بيانات حقيقية.
لم تكن درجة كهذه لتنبّه عائشة. فهي تحسب الكلمات كلها بوزن واحد، بينما تعتمد المكالمة الهاتفية على قلة منها، هي رقم التتبع واسم العائلة واليوم والعنوان وأي «لا» تقلب الطلب إلى عكسه. والنموذج الذي يسمع المتصلين بكم جيداً هو الذي يصيب هذه الكلمات. وحين تختارون تحويل الكلام إلى نص لمكالماتكم، أو التعرف على الكلام كما يسميه بعضهم، فاختبروا النماذج المرشحة على مكالماتكم المسجلة. حددوا في كل تسجيل الكلمات الحاسمة في المكالمة، وعدّوا كم منها أصابه كل نموذج دون أي خطأ، وانظروا كيف ينتهي كل خطأ. ثم ابنوا اختياركم على ما لا تصلحه قائمة الكلمات لاحقاً، واطلبوا من الوكيل أن يعيد قراءة كل طلب يغيّر شيئاً.
هل تثقون بدرجة المورّد؟
تلخّص صفحة المورّد النموذج في رقم واحد، هو عدد الكلمات التي أصابها من كل 100. وبعض الصفحات تعدّ الأخطاء بدلاً من ذلك وتذكر معدل الخطأ في الكلمات. وهو في الحالتين متوسط يشمل كل الكلمات التي اختُبر عليها النموذج، فتُحسب كلمة حشو مثل «يعني» تماماً كما تُحسب الخانة الثالثة من رقم التتبع.
بهذا الحساب يبدو التفريغ النصي لمكالمة الثلاثاء ممتازاً. فقد كتب النموذج رقم التتبع والجار والخميس وكل ما قاله المتصل، وأسقط «لا»، وهي الكلمة التي تقلب الطلب إلى عكسه.
ثم إن الدرجة قيست على تسجيلات تعود لغيركم. فالمتصلون بكم يتكلمون من السيارة أو على مكبّر الصوت أو من الشارع، وتصل أصواتهم إلى النموذج عبر خط الهاتف، ويقرؤون رقم التتبع بسرعة من رسالة على هواتفهم. وقبل أن تعتمدوا على رقم المورّد، اسألوا إلى أي حد تشبه تسجيلاته مكالمات كهذه.
- لمن تعود الأصوات المسجلة، وبأي لغة وبأي لهجة؟
- هل قرأ المتحدثون من نص مكتوب أم تكلموا بحرية؟
- هل وصل الصوت عبر خط هاتف أم عبر ميكروفون استوديو؟
- هل كانت حولهم ضوضاء، أم كانوا في غرفة هادئة؟
ما الكلمات الحاسمة في المكالمة؟
أخذت عائشة 50 مكالمة مسجلة من أسبوع عادي واحد في التجربة، هو أسبوع مكالمة الثلاثاء، فهذه المكالمة من بينها. وهي تشبه أمسياتها، ففيها متصلون في السيارة وعلى مكبّر الصوت وفي الشارع، ومتصلون من كبار السن، وآخرون بلكنات مختلفة، وبعضهم ذكر اسم شارع بلغة أخرى. اختاروا تسجيلات يحق لفريقكم استخدامها لهذا الغرض، واحفظوا التفريغات النصية بالعناية نفسها التي تحفظون بها التسجيلات.
كانت التفريغات النصية للنموذج A لهذه المكالمات جاهزة من التجربة. وطلبت عائشة من المورّد تشغيل النموذج B، المرشح الثاني، على التسجيلات نفسها، وحساب درجة الكلمات الصحيحة إجمالاً للنموذجين على هذه المكالمات. ثم استمع موظفان يردّان على مكالمات كهذه كل يوم إلى كل تسجيل مرة واحدة، وكتبا الكلمات الحاسمة في المكالمة كما نطقها المتصل، وراجعا التفريغ النصي لكل من النموذجين على هذه الكلمات وحدها.
كان الفحص صارماً. فلم يُحتسب رقم التتبع صحيحاً إلا إذا صح كل حرف فيه وكل رقم، لأن الرقم الذي يقارب الصواب لا يجد شحنة، أو يجد شحنة شخص آخر. أما اسم العائلة فيكفي أن يطابق الاسم المكتوب على الشحنة، وأما «لا» فيكفي أن تبقى في التفريغ النصي.
قد تضم المكالمة الواحدة رقم تتبع واسم عائلة ويوماً في آن واحد، ولذلك فالرقم 150 الذي سجّله الموظفان هو عدد كلمات، لا عدد مكالمات.
| ما يقوله المتصل | عدد مرات الظهور في 50 مكالمة | إذا أخطأ النموذج |
|---|---|---|
| رقم التتبع | 44 | لا يجد الوكيل الشحنة |
| اسم العائلة | 36 | لا يستطيع الوكيل التحقق ممن يتصل |
| اليوم | 30 | تصل الشحنة في يوم خاطئ |
| العنوان | 22 | تذهب الشحنة إلى باب خاطئ |
| كلمة «لا» | 18 | ينفذ الوكيل العكس |
| الكلمات الحاسمة في المكالمة | 150 |
أي نموذج أصاب الكلمات الحاسمة في المكالمة؟
بحسب درجة المورّد لهذه المكالمات، وعددها 50، تقدّم النموذج A، إذ أصاب 94 كلمة من كل 100 مقابل 92 للنموذج B. أما فحص الموظفين فأعطى الصدارة للنموذج B.
| النموذج A | النموذج B | |
|---|---|---|
| الكلمات الصحيحة إجمالاً | 94 من 100 | 92 من 100 |
| أرقام التتبع الصحيحة (من 44) | 30 | 40 |
| أسماء العائلة الصحيحة (من 36) | 20 | 23 |
| الأيام الصحيحة (من 30) | 29 | 30 |
| العناوين الصحيحة (من 22) | 18 | 20 |
| «لا» التي بقيت (من 18) | 15 | 18 |
| الكلمات الحاسمة في المكالمة، الصحيح منها (من 150) | 112 | 131 |
من الكلمات الحاسمة في المكالمة، وعددها 150، أصاب النموذج B 131 وأصاب النموذج A 112. وكان أكبر فرق في أرقام التتبع، 40 من 44 مقابل 30. وحين يقرأ المتصلون الرقم بسرعة، كان النموذج A يُسقط رقماً أو يبدّل موضع رقمين.
كما أسقط النموذج A كلمة «لا» في 3 مواضع من أصل 18، وكانت إحداها «لا» متصل الثلاثاء. أما النموذج B فأبقاها كلها، وعددها 18، في هذه المكالمات الخمسين. وكان اسم العائلة صعباً على النموذجين، فأصاب النموذج A منه 20 من 36 وأصاب النموذج B 23، ولذلك لا ينبغي الاعتماد على أي من التفريغين النصيين وحده في اسم العائلة.
أغلب الكلمات التي جعلت النموذج B متأخراً في الدرجة الإجمالية كانت كلمات صغيرة وكلمات حشو مثل «يعني» و«طيب» و«في»، ولا يتصرف أحد بناءً عليها. واختارت عائشة النموذج B لخدمة العملاء الهاتفية. وإذا جاءت نتيجة النموذجين متقاربة في الكلمات الحاسمة في المكالمة خلال اختباركم، فأضيفوا مكالمات أخرى قبل أن تقرروا.
ماذا لو أساء النموذج السمع؟
قد ينتهي كل خطأ بإحدى ثلاث نهايات. فإما أن يلتقطه فحص مقابل سجلاتكم، أو يلتقطه الوكيل حين يعيد قراءة الطلب، أو يمرّ دون أن يلتقطه أحد.
أخطأ النموذج A في 38 من الكلمات الحاسمة في المكالمة، وعددها 150. فأرقام التتبع الخاطئة، وعددها 14، لم تطابق أي شحنة، فسأل الوكيل من جديد. وأسماء العائلة الخاطئة، وعددها 16، لم تطابق الاسم المكتوب على الشحنة، فطلب الوكيل من المتصل تهجئة الاسم. أما الأخطاء الأخرى، وعددها 8، فلم يكن هناك ما يلتقطها، وهي 4 عناوين ويوم واحد و3 مواضع سقطت فيها «لا». وفي التجربة لم يكن الوكيل يعيد قراءة الطلبات، فمرّت كما سمعها النموذج.
وأخطأ النموذج B في 19 كلمة من 150. وفي تفريغاته النصية كان الفحص مقابل السجلات سيلتقط 4 أرقام تتبع خاطئة و13 اسم عائلة خاطئاً. وهناك عنوانان خاطئان فيه لم يكن ليلتقطهما شيء دون إعادة القراءة.
حين سمع النموذج رقم التتبع صحيحاً، وجد الوكيل الشحنة من المحاولة الأولى. ولم يحدث في هذه المكالمات أن طابق رقم سُمع خطأً شحنة شخص آخر، لكن ذلك ممكن، ولهذا يتحقق الوكيل من اسم العائلة أيضاً.
لا تستطيع سجلاتكم التحقق من عنوان جديد، ولا من يوم جديد، ولا من المكان الذي يريد المتصل أن تُترك فيه الشحنة. لذلك يعيد الوكيل قراءة كل طلب يغيّر شيئاً، فيقول بكلماته هو ما ينوي فعله، ثم يسأل إن كان ذلك صحيحاً. وبهذا يسمع المتصل الإجراء نفسه، وهو ما يحتاج إلى مراجعته. أما كلمة «لا» فليس لها فحص غير إعادة القراءة، إذ لا يوجد سجل يقول إن كان المتصل قد قالها.
لو كان الوكيل قد أعاد قراءة الطلب، لجرت مكالمة الثلاثاء هكذا، مع التفريغ النصي نفسه من النموذج A.
المتصل: «لو سمحتم، لا تتركوها عند الجار المجاور. أنا مسافر حتى الخميس وسأستلمها بنفسي.»
الوكيل: «إذن سنترك شحنتكم عند جاركم. هل هذا صحيح؟»
المتصل: «لا، لو سمحتم، لا تتركوها. سأستلمها بنفسي حين أعود يوم الخميس.»
الوكيل: «أعتذر عن هذا الخطأ. إذن سنبقي شحنتكم في المستودع إلى أن تستلموها يوم الخميس. هل هذا صحيح؟»
المتصل: «إيه، تمام، مشكور.»
وهكذا يصبح سقوط «لا» عند النموذج A تصحيحاً في المكالمة نفسها، بدل مكالمة ثانية غاضبة يوم الخميس. يعتذر الوكيل مرة واحدة ويمضي مباشرة إلى الإجراء الصحيح، فيراجع المتصل الخطة الجديدة هو أيضاً. وإعادة القراءة لا تلتقط كل خطأ، لكنها كانت ستُبقي شحنة الثلاثاء في المستودع.
ما الذي تصلحه قائمة الكلمات؟
بعد أن تختاروا النموذج، يبقى بإمكانكم أن تزوّدوه بقائمة كلمات. وفي حالة [الشركة] تضم القائمة أسماء الشوارع والمدن التي توصّل إليها، وصيغة رقم التتبع المؤلفة من حرفين ثم ثمانية أرقام، وأسماء خدماتها. ويسمي المورّدون هذه القائمة «custom vocabulary» أو «keywords»، وهي تفيد أي نموذج في الكلمات التي لم يصادفها من قبل.
أضافت عائشة شوارع منطقة [الشركة] ومدنها، وأعادت تشغيل المكالمات نفسها، وعددها 50، على النموذج B. وفي التشغيل الثاني أصاب كل العناوين، وعددها 22.
لذلك قارنوا بين النماذج فيما لا تستطيع قائمة الكلمات إصلاحه. فما من قائمة تعلّم النموذج أن يحتفظ بكلمة «لا»، ولا أن يسمع لغة المتصلين بكم كما ينطقونها هم، بلهجاتهم ولكناتهم وأصوات كبار السن بينهم. أما ضجيج خط الهاتف القادم من سيارة أو مكبّر صوت أو شارع فيبقى كما هو مع القائمة. واختيار النموذج يحسم أيضاً هل يكتب أثناء كلام المتصل أم بعد أن يتوقف. والنموذج الذي ينتظر يبطئ كل رد، ويتناول مقالنا عن لماذا ينتظر المتصلون رد وكيلكم هذا الصمت.
ويبقى اسم العائلة صعباً أيضاً. فلا توجد قائمة تضم أسماء عائلات كل المتصلين، ولهذا يواصل الوكيل مطابقة الاسم المكتوب على الشحنة.
أما ما يحدث للتفريغ النصي بعد النموذج، من تنظيف الأرقام والتواريخ إلى فهم ما يريده المتصل، فنتناوله في مقالنا عن كيفية تصحيح الذكاء الاصطناعي الصوتي لما يسمعه خطأً.
وإذا كانت خدمة العملاء الهاتفية لديكم تستقبل مكالمات بأكثر من لغة، فأعيدوا الاختبار لكل لغة منها. فالنموذج الأفضل في سماع المتصلين بالألمانية قد لا يكون الأفضل في سماع المتصلين بالتركية.
أين يأتي دور DRING؟
لا يربط DRING الوكيل بنموذج واحد لتحويل الكلام إلى نص. ففي نواة الكلام لدى DRING تُختار نماذج الكلام واللغة والصوت لكل وكيل ولكل لغة، ويمكن توجيه سير العمل إلى نموذج مختلف دون تغيير المنصة. فقد يسمع نموذج المتصلين بالألمانية، ويسمع نموذج آخر المتصلين بالتركية. وتُفرَّغ المكالمة نصياً لحظياً، ثم تُصحَّح وتُسوّى قبل أن يستدل الوكيل.
وفي Agent Factory، حيث يبني DRING الوكلاء ويختبرها ويحسّنها، تتحول مكالماتكم وسير العمل لديكم إلى وكيل يعمل، وتتحول المحادثات الصعبة إلى اختبارات. ويمكن لمكالمة مثل مكالمة الثلاثاء أن تصبح واحداً منها. ولا يبدأ نموذج أقوى لتحويل الكلام إلى نص العمل إلا بعد اجتياز مجموعة اختبارات التراجع التي تمر بها المنظومة كلها.
ابدأوا بخمسين مكالمة من مكالماتكم
اتركوا رقمكم، ويتصل بكم DRING خلال دقيقتين. وتحدثوا في المكالمة كما يتحدث المتصلون بكم: على مكبّر الصوت، وفي السيارة، وأنتم تقرؤون رقماً بسرعة.