This playlist is super underrated when it comes to understanding the engineering behind trillions parameter LLM inference from first principles by @thecommitlog
Save it for your weekend watch :
https://t.co/2VNA1WteiU
Wakacyjnie polecam - dajmy mu 🧠 odpocząć. @patrycjuszwyzga - kosmos. Oglądam 5 raz … oglądałem też inne filmy z profesorem Markiem Kaczmarzykiem - TOP, ogrom wiedzy, umiejętność jej przekazywania - wzór. AI wg mnie ma ogrom podobieństw - pamięć epizodyczna, trwała, duża złożoność zwłaszcza top modeli, ciągła przebudowa (tego brakuje w trakcie inferencji). Kiedy słucha się profesora z punktu widzenia AI jest to bardzo wartościowa inspiracja.
I strongly recommend reading the Transformer chapter from Speech and Language Processing by Dan Jurafsky and James H. Martin.
The book is freely available, and is one of the best resources if you want to understand the mathematics behind LLMs.
744B parameters. On a laptop. With 25GB RAM.
Colibri runs GLM-5.2 (744B MoE) in pure C with zero dependencies. The trick: only ~40B params activate per token, so it keeps the dense part resident and streams experts from disk on demand. A single 2,400-line C file. No GPU, no BLAS, no Python at runtime.
This shouldn't work. But it does.
⭐ 2.1K #AI #OpenSource
https://t.co/W8dnCQmNnL
Follow for daily dev finds 🔔