@leetm5n منب أتكلم عن ال irreducible error أو الnoise. أنا أتكلم عن تغريدتك الأولى. أنت تقول إنهم كذبوا في إنهم جابوا x% في بنشمارك معين وإنه غير ممكن مهما سووا overfitting؛ وظاهر كلامك يوحي بإنه overfitting للbenchmark نفسه، لإن موضوع الoverfit ما له معنى ثاني يتسق مع تغريدتك وسياقها=
@Just_FaisalI@AbuJojo يقلل من الأداء بشكل كبير ونتايجه أسوأ من اتجاهات ثانية أوفر وأكثر كفاءة مثل quantization. والصدق إن هالمشكلة (عدم تساوي الحمل بين الexperts) هي مشكلة training مهب serving. وعلى كل حا��، الحل الي ذكرته بالتغريدة ما يؤثر فعليًا، لإنها مهب مشكلة prompt، بل مشكلة load.
@Just_FaisalI@AbuJojo هالمشكلة فعلا حقيقية في نماذج الMoE؛ وأعني عدم توزع الحِمل على الexperts بانتظام وتساوي. قبل فترة DeepSeek طلعوا بحل إنك تكرر الexperts الي عليهم طلب بأكثر من GPU. وبه كم ورقة علمية بعدها اقترحت حلول مختلفة (منها مشابه للي ذكرته أنت). الأغلب إن الي وصفته ما يحصل فعلا لإنه=
@MalekTalk مهب بس التضخم بالعملة، بل حتى السلع والأصول، الطلب على العقار يرتفع -> يرتفع سعره -> الناس تظن إنه بيرتفع زود -> يزيد الطلب. وبه أمثلة كثيييرة اقتصادية يدخل بها ال “positive feedback loop”؛ والصدق إنه من المواضيع الشائكة من جهة تنظيمية.
من أمارات انضباط علم معين وانتظامه ووضوحه: قلة الخلافات والانقسامات ��المذاهب عند أربابه؛ فلا تجد الفيزيائيين يكثرون النزاع ككثرة نزاعات الفلاسفة أو الاقتصاديين أو علماء النفس.
@calculatedplot = حتى وإن كنت غارق بالمسألة لشهور. مثله مثل ما حصل مع تيسلا أو الي اكتشف حلقة البنزين أو نسبية آينشتاين وهلم جرا. هذا النوع مهب مفسر علميا ومهب واضح وهو المقص��د، والأكيد إنه مهب موجود باللغة كوجود القوالب آنفة الذكر الي قد يتعلمها النموذج اللغوي.
من أطال النظر للمعارف -باختلاف مباحثها- لظهر له أثر الحدس (intuition) في تقدم هذه العلوم .. فحتى أضبط العلوم وأكثرها منطقية: الرياضيات، فإنما نظرياتها الثورية تبدأ بتخمين وتنتهي بإثبات. كما أن الأثر ممتد للعلوم التجريبية، فالفرضية سابقة للتجربة والتحليل، وليس الع��س.
@calculatedplot والنوع هذا تجده باللغة وأنماطه كثيرة واضحة، به آلاف الكتب الرياضية وملايين الأسطر البرمجية الشارحة **ضمنيا** لهذي القوالب والي تبين خصائصها ومواضعها ومتى تُستعمل. أنا أتكلم عن نوع آخر من الحدس، الحدس الي يدفعك نحو ابتداع تصور جديد مختلف؛ ومن خصائصه إنه أحيان يجيك فجأة دون مقدمات=
والمدرك لما سبق ذكره يعلم قصور الذكاء الاصطناعي التوليدي المعتمد على النصوص اللغوية وحدها؛ فقد يحاكي الإنسان في تصوراته وأفكاره المنعكسة في هذه النصوص، غير أنه لا يزال عاجزًا عن محاكاة الحدس؛ إذ أن الحدس لا ينقل باللغة أو يتشكل فيها.
كما أن اللغة باعتبارها حاوية للأفكار ناقلة لها عاجزة عن حمل الحدس ونمذجته كقدرتها على نمذجة التفكير المنطقي؛ فاللغة قادرة على إيصال المعنى المتسلسل المنطقي للأفكار وليس الحدس؛ إذ أن الحدس غير منتظم ولا متسق، إنما هو يحصل دون تفكير واع ولا نظر.