@mohammadsaadj ازعم ان الفكرة نفس فكرة موديلات السيارات، فيه خط انتاج ماشي بكل الاحوال، ف من باب اولى اني اسوي اني اضيف كم ميزة واغير رقم الاصدار وبكذا بتجيني موجة مبيعات مع كل اصدار ومنها تطوير للجهاز بشكل تدريجي سنوي وينافس الباقين.
We’re sharing a solution to the Navier-Stokes Millennium Prize Problem, one of the deepest problems at the frontier of mathematics.
The proof was produced by a group of agents, using an OpenAI next-generation model significantly more capable than GPT-6 Astra.
The problem concerns whether the description of smooth three-dimensional fluid motion modeled by the Navier-Stokes equations can break down. It has remained unresolved for roughly 90 years.
حالياً جميع الLLMs المعروفة تصنف Stateless بمعنى انه في كل مرة يجب ارسال كل الContext. فعلى سبيل المثال عندما تتحاور مع ChatGPT ففي كل مرة تضغط زر ارسال يتم في الخلفية ارسال كامل المحادثة للنموذج ليأتيك اي رد.
( ملاحظة: هنا بعض الاوراق العلمية عن Stateful LLM )
لذا في حالة التعامل مع مودل حجم الContext لديه 16K او 128K او حتى مليون مثل Gemini فيفترض ان نصل للحد الأعلى و يبدأ يفقد بعض معلوماته او يتوقف ( لم اجربه ).
في الجهة المقابلة نرى ان دماغ الانسان يعتبر Stateful فأي معلومة يلتقطها تضاف مباشرة للModel في عملية مشابهة للFine-Tuning لكن مباشرة. لكن عملية الFine-Tuning اذا قمنا بها مع كل استخدام فلن تكون منطقية حيث يلزم ان يكون هناك مودل لكل يوزر او حتى لكل session.
المودل او الانظمة التي تسمح برفع ملفات تسمى هذه العملية اختصارا RAG حيث يتم تحويل النصوص اجزاء او Chunks ثم تحول الى صيغ رقمية Vectors تخزن في قاعدة بيانات مع الجزء النصي ثم يتم عمل بحث دلالي semantic search ليستخرج اجزاء النصوص المشابهة وبعدها ترسل للModel ليفهمها ويضمنها في الContext. أي ان الفهم لم يتم عن طريق الLLM لكامل النصوص الموجودة في قاعد البيانات و انما فقط لما اختاره البحث الدلالي و هنا يظهر الضغف.
هناك حلول للالتفاف على هذه المشكلة و تحسين الRAG كما في مكتبة او اطار عمل DSPy و التي سنتعرضها في وقت اخر لكثيرة المميزات.
https://t.co/Sa8exbR4mP