@falhazmiai الإشكال يا فهد إنها محرقة للأموال وغير مستدامة. بل حتى الخبرة الي تتبلور ما تكون موازية للاستثمار المبذول؛ خصوصًا إن المجال متغير تغير سريع جدًا.
@leetm5n منب أتكلم عن ال irreducible error أو الnoise. أنا أتكلم عن تغريدتك الأولى. أنت تقول إنهم كذبوا في إنهم جابوا x% في بنشمارك معين وإنه غير ممكن مهما سووا overfitting؛ وظاهر كلامك يوحي بإنه overfitting للbenchmark نفسه، لإن موضوع الoverfit ما له معنى ثاني يتسق مع تغريدتك وسياقها=
@Just_FaisalI@AbuJojo يقلل من الأداء بشكل كبير ونتايجه أسوأ من اتجاهات ثانية أوفر وأكثر كفاءة مثل quantization. والصدق إن هالمشكلة (عدم تساوي الحمل بين الexperts) هي مشكلة training مهب serving. وعلى كل حال، الحل الي ذكرته بالتغريدة ما يؤثر فعليًا، لإنها مهب مشكلة prompt، بل مشكلة load.
@Just_FaisalI@AbuJojo هالمشكلة فعلا حقيقية في نماذج الMoE؛ وأعني عدم توزع الحِمل على الexperts بانتظام وتساوي. قبل فترة DeepSeek طلعوا بحل إنك تكرر الexperts الي عليهم طلب بأكثر من GPU. وبه كم ورقة علمية بعدها اقترحت حلول مختلفة (منها مشابه للي ذكرته أنت). الأغلب إن الي وصفته ما يحصل فعلا لإنه=
@MalekTalk مهب بس التضخم بالعملة، بل حتى السلع والأصول، الطلب على العقار يرتفع -> يرتفع سعره -> الناس تظن إنه بيرتفع زود -> يزيد الطلب. وبه أمثلة كثيييرة اقتصادية يدخل بها ال “positive feedback loop”؛ والصدق إنه من المواضيع الشائكة من جهة تنظيمية.
من أمارات انضباط علم معين وانتظامه ووضوحه: قلة الخلافات والانقسامات والمذاهب عند أربابه؛ فلا تجد الفيزيائيين يكثرون النزاع ككثرة نزاعات الفلاسفة أو الاقتصاديين أو علماء النفس.
@calculatedplot = حتى وإن كنت غارق بالمسألة لشهور. مثله مثل ما حصل مع تيسلا أو الي اكتشف حلقة البنزين أو نسبية آينشتاين وهلم جرا. هذا النوع مهب مفسر علميا ومهب واضح وهو المقصود، والأكيد إنه مهب موجود باللغة كوجود القوالب آنفة الذكر الي قد يتعلمها النموذج اللغوي.
من أطال النظر للمعارف -باختلاف مباحثها- لظهر له أثر الحدس (intuition) في تقدم هذه العلوم .. فحتى أضبط العلوم وأكثرها منطقية: الرياضيات، فإنما نظرياتها الثورية تبدأ بتخمين وتنتهي بإثبات. كما أن الأثر ممتد للعلوم التجريبية، فالفرضية سابقة للتجربة والتحليل، وليس العكس.
@calculatedplot والنوع هذا تجده باللغة وأنماطه كثيرة واضحة، به آلاف الكتب الرياضية وملايين الأسطر البرمجية الشارحة **ضمنيا** لهذي القوالب والي تبين خصائصها ومواضعها ومتى تُستعمل. أنا أتكلم عن نوع آخر من الحدس، الحدس الي يدفعك نحو ابتداع تصور جديد مختلف؛ ومن خصائصه إنه أحيان يجيك فجأة دون مقدمات=