Stanford just released a new course for this Fall: Transformers & Large Language Models by the Amidi brothers. Three videos are already available for free on YouTube.
SYLLABUS:
> Transformers (tokenization, embeddings, attention, architecture)
> LLM foundations (MoEs, types of decoding)
> LLM training and tuning (SFT, RL , LoRA)
> LLM evaluation (LLM/VLM-as-a-judge and best practices)
> Common tricks (RoPE, attention approximation, quantization)
> Reasoning (train/test-time scaling)
> Agentic workflows (RAG, tool calling)
If you already know this stuff, this is a good chance to refresh your mind about some of these topics, and potentially code some techniques from scratch.
Course syllabus and video links: https://t.co/6Io1nitSx3
AI/ML Engineers don’t skip this!
This Stanford University course is a true gold mine covering everything you need to build and fine-tune LLMs from the ground up
میں خیال ہوں کسی اور کا مجھے سوچتا کوئی اور ہے
سر آئینہ مرا عکس ہے پس آئینہ کوئی اور ہے
میں کسی کے دست طلب میں ہوں تو کسی کے حرف دعا میں ہوں
میں نصیب ہوں کسی اور کا مجھے مانگتا کوئی اور ہے
عجب اعتبار و بے اعتباری کے درمیان ہے زندگی
میں قریب ہوں کسی اور کے مجھے جانتا کوئی اور ہے
مری روشنی ترے خد و خال سے مختلف تو نہیں مگر
تو قریب آ تجھے دیکھ لوں تو وہی ہے یا کوئی اور ہے
تجھے دشمنوں کی خبر نہ تھی مجھے دوستوں کا پتا نہیں
تری داستاں کوئی اور تھی مرا واقعہ کوئی اور ہے
وہی منصفوں کی روایتیں وہی فیصلوں کی عبارتیں
مرا جرم تو کوئی اور تھا پہ مری سزا کوئی اور ہے
کبھی لوٹ آئیں تو پوچھنا نہیں دیکھنا انہیں غور سے
جنہیں راستے میں خبر ہوئی کہ یہ راستہ کوئی اور ہے
جو مری ریاضت نیم شب کو سلیمؔ صبح نہ مل سکی
تو پھر اس کے معنی تو یہ ہوئے کہ یہاں خدا کوئی اور ہے
سلیم کوثر
Just dropped a 4 hour lecture on "Large Language Models": https://t.co/KI5CJ6OksI
0:00 Basics of language models
2:30 Word2vec
16:27 Transfer Learning
19:23 BERT
1:00:39 T5
1:31:14 GPT1-3
1:53:05 ChatGPT
2:20:03 LLMs as Deep RL
2:53:00 Policy Gradient
3:32:50 Train your own LLM
@Stanford CS229: Machine Learning (Spring 2022) Really cool to see a new iteration of this course. It's a classic ML course from Stanford that has helped tons of students get started with machine learning.
YouTue Lectures: https://t.co/IvbDHthwHU
#MachineLearning
You may know Prof. Gil Strang's famous book "Linear Algebra and Its Applications," or you may have watched his Linear Algebra (18.06) lectures at @MIT on YouTube.
Gil's final lecture will be live streamed tomorrow at 11 am EST. Join the celebration at https://t.co/ExPPnsRW3G
Beautiful PhD advisor moment as a student graduates and transitions 🌸✨
Congrats @harvineet_singh, strong work during your PhD and look forward to your leadership in machine learning and health going forward!
Despite what you see here on Twitter and all the hype, GPT-5 is not being trained right now, nor will it be for some time.
GPT-4 took 6 months post training to ensure a safe and aligned model. This is likely to increase for future models.
TLDR; focus on GPT-4!