.png)
حققت شركة NeuralSpace نتائج استثنائية في تجربة قياس الأداء لتصنيف نوايا فهم اللغة الطبيعية (NLU) والتعرف على الكيانات عبر مجموعة من اللغات بما في ذلك العربية والهندية والصينية (الماندرين) وغيرها الكثير. تتفوق تقنية NLU الخاصة بنا على رواد الصناعة مثل Google وIBM وRasa في التحديد الدقيق لنوايا المستخدم وRasa في استخراج الكيانات. تمثل هذه النتائج شهادة على التزامنا بتقديم حلول NLU الموثوقة والأفضل في فئتها لمجتمعنا العالمي.
في منشور المدونة هذا، سوف نستكشف أهمية قياس أداء NLU ونتائجنا، بالإضافة إلى التحديات المرتبطة ببناء نماذج NLU دقيقة للغاية بلغات متعددة.
يشير فهم اللغة الطبيعية (NLU) إلى قدرة الكمبيوتر أو الآلة على فهم وتفسير اللغة البشرية بطريقة مشابهة لكيفية فهم البشر لها. وهو ينطوي على تحليل جوانب مختلفة من اللغة، بما في ذلك بناء الجملة، وعلم الدلالة، والسياق، لاستخلاص المعنى من النص. تعد لغة البرمجة اللغوية العصبية (NLU) مكونًا مهمًا للعديد من التطبيقات مثل برامج الدردشة الآلية والمساعدين الافتراضيين ولوحات معلومات تحليل المشاعر ومحركات البحث (الدلالية)، حيث إنها تمكن هذه الأنظمة من فهم استعلامات المستخدم والرد عليها بشكل مناسب.
تصنيف النوايا والتعرف على الكيان هما السمتان السائدتان في نماذج NLU. يشير تصنيف النوايا إلى قدرة نظام NLU على الفهم الدقيق للغرض أو القصد من وراء إدخال المستخدم أو استعلامه. على سبيل المثال، إذا كتب المستخدم "احجز رحلة إلى دبي في مساحة النادي" (باللغة الإنجليزية، احجز رحلة إلى دبي في مساحة النادي) في المساعد الافتراضي لموقع السفر على الويب، فإن القصد من رسالته هو "حجز رحلة طيران".
من ناحية أخرى، يشير التعرف على الكيان إلى قدرة نظام NLU على تحديد واستخراج المعلومات ذات الصلة من مدخلات المستخدم أو استعلامه. الكيانات هي أجزاء محددة من المعلومات ذات الصلة بقصد المستخدم، مثل أسماء الأشخاص أو الأماكن أو التواريخ أو الأسعار. في المثال أعلاه، يتم التعرف على "دبي" (دبي) على أنها الكيان "مدينة" ويتم التعرف على "مساحة النادي" (مساحة النادي) على أنها كيان مخصص "نوع المقعد". يعد الفهم الدقيق لكل من المقاصد والكيانات أمرًا بالغ الأهمية لنجاح نموذج NLU.
تم إجراء قياس الأداء لدينا باستخدام مجموعة بيانات Amazon MASSIVE متعددة اللغات مفتوحة المصدر. لقد تفوق نموذج NeuralSpace على Google وIBM وRasa في كل اللغات التي اختبرناها! لقد قمنا بتطبيق أساليب مبتكرة لتدريب نموذج NLU، باستخدام واجهة المستخدم أو واجهات برمجة التطبيقات المتاحة على Google Dialogflow، وIBM Watson، وRasa، وNeuralSpace.
لا يقدم كافة موفري الخدمة الذين تم تقييمهم تدريب الكيانات المخصصة. على هذا النحو، يقتصر التعرف على الكيانات المرجعية على Rasa وNeuralSpace.
وقمنا بتقييم أداء كل نموذج باستخدام درجة F1، التي تحسب متوسط درجات الدقة والاستدعاء. تأخذ درجة F1 الصارمة في الاعتبار المطابقة الدقيقة لسلسلة سطح الحدود ونوع الكيان. تأخذ درجة F1 الجزئية في الاعتبار تطابقًا جزئيًا للحدود على السلسلة السطحية، بغض النظر عن النوع.
كل لغة لها مفرداتها الفريدة، وقواعدها، وبنية جملها. يعد التقاط الفروق الدقيقة في كل لغة أمرًا ضروريًا لدقة معالجة اللغات الطبيعية. يمكن أن يكون للتعابير العامية والعبارات الاصطلاحية معاني مختلفة تمامًا عن ترجماتها الحرفية، مما يجعل من الصعب على نماذج البرمجة اللغوية العصبية فهمها.
يتطلب تحقيق دقة عالية في معالجة اللغات الطبيعية (NLU) فهم السياق الذي تُستخدم فيه الكلمات أو العبارات. قد يكون هذا أمرًا صعبًا بشكل خاص عند التعامل مع لغات متعددة وفروقها الثقافية الدقيقة.
بالنسبة للعديد من اللغات، هناك نقص في بيانات التدريب واسعة النطاق وعالية الجودة، مما يعيق تطوير نماذج NLU دقيقة. هذا هو الحال بشكل خاص بالنسبة للغات التي لا تستخدم الأبجدية اللاتينية (أو الإنجليزية)، والتي تم تطوير لوحات المفاتيح الخاصة بها بشكل كبير في وقت متأخر عن تلك المخصصة للأحرف اللاتينية.
في العديد من البلدان، غالبًا ما يقوم المتحدثون بالتبديل بين اللغات في محادثة واحدة. في المملكة العربية السعودية، على سبيل المثال، غالبًا ما يتم خلط اللغة العربية مع الإنجليزية، وفي الهند غالبًا ما يتم خلط اللغة الهندية والإنجليزية. يجب أن تكون نماذج NLU قادرة على اكتشاف المحتوى وفهمه بغض النظر عن مزيج اللغة للحفاظ على الدقة العالية.
نقوم بجمع بيانات الملكية لتدريب النماذج الداخلية لتحقيق أداء أفضل. تأتي هذه البيانات من مجموعة واسعة من المصادر، في محاولة لالتقاط الفروق الدقيقة في العديد من الصناعات والمناطق والفئات العمرية والمعتقدات الدينية والعديد من البيئات الثقافية والسياقية.
نقوم بضبط نماذجنا على مجموعات بيانات مختلطة اللغات، مما يجعلها أكثر فعالية في العديد من الإعدادات العملية حيث يميل المستخدمون إلى استخدام الكلمات الإنجليزية أو الفرنسية أو الإسبانية في لغة أخرى.
يتم ضبط نماذجنا بدقة على البيانات الخاصة بالمجال والمهمة لضمان الأداء العالي في مهام NLU، مثل تحليل المشاعر وتصنيف النص وتحليل المحتوى.
تم تصميم نماذجنا للتعامل مع لغات متعددة بفعالية، مما يتيح الفهم السلس بين اللغات ونقل التعلم عبر اللغات.
يعد فهم اللغة الطبيعية (NLU) الدقيق للغاية أمرًا ضروريًا للخدمات التي تدعم الذكاء الاصطناعي لتفسير مدخلات المستخدم والاستجابة لها بشكل فعال. عندما يكون أداء هذه التكنولوجيا ضعيفًا، فقد يؤدي ذلك إلى تجارب مستخدم محبطة، مما يعيق اعتماد المنتج. منذ إنشائها، ركزت شركة NeuralSpace على تطوير نماذج NLU التي تلتقط الفروق الدقيقة بين اللغات واللهجات المختلفة. ومن خلال هذا النهج، نهدف إلى إطلاق تجارب سلسة مدعومة بالذكاء الاصطناعي للأشخاص في جميع أنحاء العالم، بغض النظر عن لغتهم أو موقعهم. يسعدنا أن نرى هذا الالتزام طويل الأمد يؤدي إلى نماذج دقيقة للغاية تحقق نتائج أفضل لعملائنا.
تواصل معنا لمعرفة المزيد عن NeuralSpace أو قم بزيارة موقعنا على الإنترنت.
