رغم تطور النماذج اللغوية الكبيرة (LLMs)، لا تزال تواجه تحديات كبيرة في فهم اللهجات المحلية بالسعودية 🇸🇦
ففي ورقة سعودية 🇸🇦 بحثية حديثة بعنوان ابشر (Absher)، بالتعاون بين جامعة الملك خالد، وجامعة أم القرى، وجامعة الإمام عبدالرحمن بن فيصل، قدّمت بيانات لتقييم أداء النماذج اللغوية في فهم اللهجات والثقافة السعودية من مختلف مناطق المملكة (شمالية، وسطى، شرقية، جنوبية، وغربية)
تحتوي بيانات التقييم على أكثر من 18 ألف سؤال متعدد الخيارات تغطي ستة أنواع من المهام وهي:
- المعاني
- الصح أو الخطأ
- الأمثال والتعابير الثقافية
- التعرف على المنطقة من العبارة
- إكمال الجملة
(يوجد امثلة مفيدة في الورقة)
النتائج كشفت ضعف أداء معظم النماذج في المهام التي تتطلب فهم عميق للثقافة المحلية، مما يوضح الحاجة إلى تدريب النماذج على بيانات محلية تعكس تنوع لهجات المملكة وثقافتها.
البيانات غير متاحة إلى الآن، لكن سيتم نشرها مستقبلا لأغراض البحث والتطوير
رابط الورقة: https://t.co/gxUg37YKmX