@Armitikoman سلام، من دارم روی همچین کیسی تحقیق میکنم، یعنی کشش های خاص عاطفی و عللش، میشه بهم پیام بدین لطفا، باید ازتون چندتا سوال به صورت خصوصی بپرسم، واقعا اطلاعات و کمکتون خیلی کمک میکنه 🙏
ی گنجینه تمام عیار آوردم اینبار.
یک کلاس درس Stanford بهعنوان یک نقشه راه فشرده برای فهمیدن LLMها!
بقول کسی ک منتشرش کرده ی قسمت سریالتون رو امشب کنسل کنید بجاش این رو ببینید. 2 ساعت طلا و جواهر از کلاس درس دانشگاه درخصوص اینکه ChatGPT و Claude و کلا LLM ها چی هستند و چطور کار میکنند.
1 ساعتش رو دیدم فعلا و اینقدر مفید بود ک گفتم شما هم ببینید، حتی 1 دقیقه هرزگویی و مطلب غیر مفید توش نبود. چقدر این محتوا تمیزه. بعد منم میرفتم دانشگاه تازه دولتی، 1 ساعت و نیم کلاس 45 دقیقه فقط حضور و غیاب بود. همینه مدرک دانشگاه های مارو قبول ندارند. بگذریم، البته ما استاد و دانشجو خوب و نخبه هم کم نداریم ❤️🔥
از Tokenization شروع میکنه:
متن چطور تبدیل به عدد میشه؟
بعد میرسه به مهمترین ایده:
مدل زبانی در سادهترین تعریف، فقط میخواد Token بعدی رو پیشبینی کنه.
بعد Transformer وارد میشه.
اینکه Attention چطور به Tokenها اجازه میده با هم ارتباط برقرار کنن؟
مدل چطور آموزش میبینه؟
این Loss دقیقا چی رو جریمه میکنه؟
و وقتی از ChatGPT جواب میگیری، چرا مدل پاسخ رو Token به Token میسازه؟
اگر این زنجیره رو بفهمی:
Text
↓
Tokenization
↓
Embeddings
↓
Transformer + Attention
↓
Next Token Prediction
↓
Loss
↓
Training
↓
Generation
یه اتفاق مهم میافته.
دیگه LLM برات یه جعبه سیاه نیست، برای خود من ک توی همین 1 ساعت کلی مطلب مفید و جدید داشت. و احتمالا از ویدیوهایی باشه ک حفظ بشم اینقدر ببینمش.
میفهمی چرا Context مهمه.
چرا Attention اینقدر حیاتی شد.
چرا مدلها Hallucinate میکنن.
چرا افزایش Context Window مهمه.
و حتی چرا Agentها اصلا میتونن روی این مدلها ساخته بشن.
لازم نیست AI Engineer باشی.
ولی اگر قراره چند سال آینده با AI کار کنی، به نظرم فهمیدن این پایهها دیگه آپشن نیست.
۲ ساعت و ۳۴ دقیقه زمان زیادی نیست. و کلی پرتت میکنه جلو و ذهنت رو آماده میکنه. و این زمان برای چیزی که ممکنه دیدت به کل دنیای AI رو عوض کنه اصلا چیزی نیست.
این رو Save کن و بفرست برای کسایی ک میدونی ممکنه بکارشون بیاد و خیلی دوست دارند بدون توی مغز GPT و LLM چی میگذره.
@weston885418882@imtiredofevry@BiggestDeerFan@joelover123__ in what fucking Parallel universe all Europeans are white? as long as history remembers, greeks were brown(among others) and Iranians were neighbours with them, and you always suck greeks dicks for everything including "Philosophy and Foundations of European Principles and laws"
@Milad_Varvaei خود FPGA یه سخت افزار مشخص و یکسان یست، یه فریم ورک و مفهومه، صدها هزار نوع مختلف داره و فقط بدرد اجرای یک نوع داده میخوره که تو اونم از c یا زبان های low level استفاده میشه, مثلا اکثر ماینرها هم یه نوع fpga هستن که فقط میتونن تابع و الگوریتم sha-256 رو پردازش کنن