Eric Lin

[Cardyak @Cardyak]

Early Block Diagram for Zen 6

Block Diagrams: https://t.co/yZZfkS3FQi
μarch Cheat Sheet: https://t.co/jMrjm6RfyX

#CPU #AMD #Zen6 #Tech

[Tao Wang @Tao100086]

整理了一份从零自学 AI 的路线，全部用斯坦福、伯克利、MIT 等名校的免费公开课，YouTube 上都能看。

分 6 个阶段，大约一年：
① 数学和 Python 基础
② 机器学习：CS229
③ 深度学习与视觉：Karpathy Zero to Hero → CS231n
④ NLP 与 Transformer：CS224N → CS336（从零训练一个语言模型）
⑤ 强化学习：CS234 + 伯克利 CS285
⑥ Agent：斯坦福今年秋天新开的 CS329Z + 伯克利 Agent 系列公开课

最重要的建议：一定要做作业，光看视频等于没学。

阶段 0：编程与数学基础

Python
- [ ] ⭐ Stanford Code in Place（CS106A 的免费线上版）— 官网 (https://t.co/rfDbWgQusu)
- [ ] ○ Harvard CS50P：讲得非常好的 Python 入门 YouTube (https://t.co/r7aNfql0Ht)

线性代数
- [ ] ⭐ 3Blue1Brown《线性代数的本质》：先建立直觉 — YouTube (https://t.co/SWWYGcWk7o)
- [ ] ⭐ MIT 18.06（Gilbert Strang）：经典中的经典 — · YouTube (https://t.co/nIhgzWSaOs)
- [ ] ○ Stanford ENGR108（Boyd，就是上一版提到的 EE103，现在改了编号），更偏应用 — · YouTube (https://t.co/2ENVXQRwWC)

概率与微积分
- [ ] ⭐ Stanford CS109 — · YouTube 2022 (https://t.co/ArBwnvSyDT)
- [ ] ○ Harvard Stat 110（Joe Blitzstein）：公认最好的概率课之一 — · YouTube (https://t.co/gIwzxwssxZ)
- [ ] ○ 3Blue1Brown《微积分的本质》 — YouTube (https://t.co/lP9b75FrJx)

阶段 1：机器学习

- [ ] ○ Coursera Machine Learning Specialization（吴恩达）：适合零基础，先建立直觉 — 官网 (https://t.co/4Hq2Sa3w9U)
- [ ] ⭐ Stanford CS229 — · YouTube 2018 吴恩达版 (https://t.co/6k5VVeVV78)
- [ ] ○ Cornell CS4780（Kilian Weinberger）：直觉讲得最清楚的机器学习课之一，和 CS229 互补 — · YouTube (https://t.co/ZcZfAABD7G)
- 验收项目：用 NumPy 从零实现线性回归、逻辑回归和 k-means，再用一个 Kaggle 数据集完整走一遍流程

阶段 2：深度学习 + 计算机视觉

- [ ] ○ 3Blue1Brown 神经网络系列：用动画讲清反向传播和 Transformer — YouTube (https://t.co/ZxXBKH4m1z)
- [ ] ⭐ Karpathy《Neural Networks: Zero to Hero》：从手写自动求导一路写到 GPT。这是理解深度学习最好的入门方式，后几集正好衔接阶段 3 — ·YouTube (https://t.co/yIpI32rajP)
- [ ] ⭐ Stanford CS231n — · YouTube 2025 (https://t.co/IjGa2wBClp)（2026 年春季的录像只对选课学生开放）
- [ ] ○ UMich EECS 498/598（Justin Johnson）：相当于 CS231n 的加长版，作业质量很高，可以替代 CS231n — · YouTube (https://t.co/J3SLXqCcwC)
- [ ] ○ https://t.co/ne1V1fwDAS Practical Deep Learning：先跑通，再深入原理 — · YouTube (https://t.co/UKUl9B7C3h)
- [ ] ○ MIT 6.S191：轻量入门课，每年更新 — · YouTube (https://t.co/DUdmzOukOp)
- [ ] ○ Stanford CS230 — · YouTube Autumn 2025 (https://t.co/CY1Wh1tETU)
- [ ] ○ 生成模型：Stanford CS236 — · YouTube 2023 (https://t.co/Dm1MCSdqZs)；MIT 6.S184 讲流匹配和扩散模型 — · YouTube 2026 (https://t.co/SZkP6dLSeR)
- 验收项目：完成 CS231n（或 EECS 498）的作业，再微调一个 ViT 或检测模型

阶段 3：NLP 与 Transformer

- [ ] ⭐ Stanford CS224N — · YouTube Spring 2024 (https://t.co/IyQbYTa1dP)
- [ ] ○ Stanford CME 295：Transformer 和 LLM 概览 —· YouTube Autumn 2025 (https://t.co/nMWBf8eE9C)
- [ ] ⭐ Stanford CS336 — · YouTube Spring 2026 (https://t.co/mtCrV67pxD)
- [ ] ○ Stanford CS25：用来跟进前沿 — · YouTube (https://t.co/IFKewqKN9v)
- [ ] ○ CMU 11-711 Advanced NLP（Graham Neubig）：覆盖面很广，包括 RAG 和 Agent — · YouTube (https://t.co/bJH7VRX87D)
- [ ] ○ Hugging Face LLM Course：工程实战 — 官网 (https://t.co/9YYmd5ygKm)
- 验收项目：完成 CS336 作业 1，从零写一个 BPE tokenizer 和 Transformer 语言模型，并把它训练起来

阶段 4：强化学习

- [ ] ○ Sutton & Barto《Reinforcement Learning》教材 — 免费在线版 (https://t.co/leEFWhiwkJ)
- [ ] ○ David Silver RL 课（UCL × DeepMind 2015）：经典的理论入门 — · YouTube (https://t.co/vPifyJDZW5)
- [ ] ⭐ Stanford CS234：打 RL 基础 — · YouTube Spring 2024 (https://t.co/gmd5Azwx7v)
- [ ] ⭐ Berkeley CS285（Sergey Levine）：深度强化学习最权威的课 — · YouTube 2023 (https://t.co/Ef4bEbRfR3)
- [ ] ○ Stanford CS224R：和 CS285 内容重叠，但用 RL 训练 LLM 的部分讲得更多 — · YouTube (https://t.co/OtN06am6Kk)
- [ ] ○ OpenAI Spinning Up：给算法实现配上代码 — 官网 (https://t.co/nqV2IYC7mF)
- [ ] ○ Hugging Face Deep RL Course — 官网 (https://t.co/3ReGUCs3Wd)
- [ ] ○ Stanford CS329H：RLHF 和偏好学习，Autumn 2026 正在开课 — 官网 (https://t.co/N02m0IIQIs)
- [ ] ○ Stanford CS221：MDP 和博弈部分可以用来打基础 — · YouTube Autumn 2025 (https://t.co/CyQGSq9MC7)
- 验收项目：在 Gymnasium 上实现 DQN 和 PPO。想进一步的话，用 GRPO 给一个小模型做推理能力的 RL 微调

阶段 5：Agent

- [ ] ⭐ Stanford CS329Z Engineering AI Agents — · YouTube 第 1 讲 (https://t.co/J9BneaLn6W)（目前已公开 1–4 讲，后续讲座在官网陆续发布）
- [ ] ⭐ Berkeley 的 Agent 公开课三部曲，按顺序看：
- LLM Agents（2024 秋）— · YouTube (https://t.co/fqbyiEkPQ9)
- Advanced LLM Agents（2025 春）— · YouTube (https://t.co/swvOEtEzBd)
- Agentic AI（2025 秋）— · YouTube (https://t.co/fIsHzFcpoL)
- [ ] ○ Stanford CS329A Self-Improving AI Agents：偏研究 — · YouTube 第 1 讲 (https://t.co/zVOiYhQTCR)
- [ ] ○ Stanford CS222 AI Agents and Simulations：只有阅读材料，没有公开录像 — 官网 (https://t.co/jmM3GNmk7U)
- [ ] ○ Hugging Face Agents Course：动手做 — 官网 (https://t.co/TpnHIbToKg)
- 验收项目：完成 CS329Z 的 HW1（不用框架写一个 agent）和 HW2（评测一个 agent）

[比特喵.AI @bitmeowAI]

三十五岁后，一定要具备政、经、史、军、哲五种思维。

我见过太多聪明的人，智商很高，但最后一辈子一事无成。一个很大的原因就是他只会做事，但就是不会顶层思维，所以最后就脱离不了限制。

如果你到了三十五岁，一定要想办法突破自己的局限性。而政治、经济、历史、军事、哲学这五种思维，你是一定要具备的。当你具备了，你会发现赚钱是极其简单的事情，也没有什么东西能困扰你。

一、政治，教你看透权力分配。

政治的核心是权力与资源的分配，谁来决定规则？谁有资格分配资源？这是政治要回答的基本问题。政治是集体博弈的顶层框架，核心在于秩序与支配。如果一个人只懂专业，不懂政治，就无法处置团队内部复杂的利益关系，也容易在这个过程中做错事。

李广就是典型的不懂政治，他在平定七国叛乱时，作为周亚夫的部将，立了大功。原本这是他封侯的最佳机会，保家卫国，凭借战功封侯，理所当然。然而李广却在班师回朝的时候，接受了梁王刘武的封赏。

刘武当时也许是出于感恩，毕竟自己最后能坚持下来，没有李广这样的将令支持和帮助是做不到的。但是李广忽视了这其中的利害关系，一来刘武只是一个诸侯王，他没有封赏朝廷官员的权利。二来汉武帝和刘武的关系微妙，名义上水乳交融，实际上波涛汹涌，涉及利益之争。李广不懂政治，犯了大忌，因此最后汉武帝忽略他的功劳，只赏不封，也就在情理之中了。

这就像在职场中，很多人不懂组织运行的逻辑，上级的上级给自己布置了工作，自己也没有向直接领导汇报，也没有等到直接领导的指令就直接领导知道了，就会觉得自己的权威受到了挑战。所以一定要有这样的敏感度。另外如果你作为领导，你也是要讲政治的，你如何团结人？如何保证自己的利益？如果不懂政治，是当不好领导的。

政治敏感度不是算计别人，而是理解组织中的全责结构、利益关系和决策流程，知道什么该做，什么不该做，什么时候做，通过什么渠道做。

二、经济，教你看透价值交换。

搞懂经济就能明白资源如何流动，财富如何创造与分配。为什么很多人总是赚不到钱？一个核心的原因就是没有给别人创造价值。为什么在一个公司工作，别人遇到困难了能有一堆人帮忙，却没有人愿意支持你？其实就是他们懂得经济，懂得创造价值，让别人也可以获得好处。

无论你在哪个岗位，不管你是员工、管理者还是老板，你都要具备销售思维，你要问自己，我的内部客户、外部客户是谁？我的客户长什么样？我的客户喜欢什么？你只有先想到客户的需求，为他们去解决问题，才能创造价值。你能帮助客户成交一笔大订单，他就愿意拿出相应的回报来购买你的服务。

人与人交往的本质是价值交换，只有当双方的价值对等时，这段关系才会长期维系下去，别人才愿意成就你。所以利他才是高明的利己。经济思维还告诉我们，不要只盯着眼前的一次性收益，要看长期的复利效应。一个人愿意持续和你合作，是因为每次合作他都能获得价值。

你的口碑、信誉、专业能力都是你在经济系统中的资产，需要长期经营和维护。

三、历史，教你看透时间规律。

历史就是经验，可以帮助我们看到演变与因果。在《历史的教训》一书中，说了一句特别深刻的话：历史本身之所以能大量重复，是由于人性的改变像地质条件的改变那样缓慢。在面对经常发生的状况以及像饥饿、危险和本能欲求一样的刺激时，总是准备用一成不变的方法去应对。

时间会改变，但人性不会变，这就是周期。就像今天我们看了那么多的历史，知道那么多人的故事，但还是会犯错。就像有的人一个人贡献了公司百分之七十的业绩，这时候不低调，反而特别张扬，哪怕他现在混的很好，但有一天一定会给自己带来特别大的危机，没办法，这就是人性。

只有少部分人能压抑住自己的人性。读历史不是为了知道未来，而是为了理解现实，帮助我们应对现实。历史思维还教会我们，要学会从长期趋势中判断方向。一个行业是处于上升期还是衰退期？一个制度是顺应潮流还是逆势而为？这些判断都需要历史感。

那些能够穿越周期的人，而是对历史规律有深刻理解的人，他们知道什么时候该进，什么时候该退，什么时候该守，什么时候该攻。

四、军事思维，教你理解博弈与生存。

军事思维的核心是对博弈、风险与生存底线的理解。当各方资源有限，目标冲突时，如何做出最优决策？如何在竞争中保存自己，达成目标？这是军事思维要解决的核心问题。大到国家层面的战略抉择，小到个人在激烈竞争中的生存策略，这以思维都具有深刻的指导意义。

春秋时期，衡量一个诸侯国的实力，要看他拥有多少乘战车，这是当时评价国力的一种直观方式。一个诸侯国战车数量达到千乘，就具备了足够的防御和威慑能力，可以不被人随意侮辱。达到万乘，则有了更大的话语权和影响力。

这背后的逻辑就是实力决定地位，无论在什么时代，个体或组织对自身能力的建设，对资源储备的重视，都是立足和发展的基础。对我们个人来说，军事思维的落地方式就是你的资源、你的认知、你的人脉。当别人知道欺负你要付出很大的代价，这时候就会想办法团结你。所以任何时候都要武装自己，这种武装是多维度的，包括你的专业能力要足够扎实，你的财务结构要足够稳健，你的人脉网络要足够多元，你的心理素质要足够抗压。

当你在这些维度上都建立了自己的基础，别人就不敢轻易动你，你就有了选择和谈判的空间。

五、哲学，帮你搭建底层思维模型。

任何一种哲学都会让人感觉有点偏激，可是哲学就是用偏激的方法引发我们思考的。就像伟人说的，学习哲学可以使人开窍，学好哲学终身受用。什么叫开窍？就是原来想不通的事，突然能从一个更高的维度看了。原来只会顺着想的问题，现在敢倒着想了。原来觉得无解的矛盾，现在能把它拆开了。

哲学不会直接告诉你答案，但它会让你知道问题还可以这样提。见到一棵树不思考，读到一本书不思考，遇到一个难题不思考，长此以往，你的已有经验越来越狭窄，没有随着年龄而增长，这导致你的已有经验无法解决你的未知难题。所以我们还要读哲学，培养自己深度思考的能力，在这个过程中建立起你的思维框架和思维模型。

当你思考的越深入，你才能解决复杂性的问题。哲学思维还包含了对确定性与不确定性的理解。很多事情并没有标准答案，重要的是你在面对复杂问题时，能否保持清醒的判断力。哲学训练的是你面对模糊和未知时的从容，是你从不同角度审视同一个问题的能力。当你看问题的角度越多，你越不容易被单一观点绑架，越能在复杂局面中找到属于自己的出路。

三十五岁不是下坡路的起点，而是你从被规则支配转向洞察规则、运用规则的分水岭。脑子里装进政治的博弈，历史的兴衰，资本的流动，宏观的视角，思考的深度，才有助于你成为一个真正具备大智慧的人。

这五种思维不是各自孤立的，而是相互支撑、相互贯通的。当你能把这五种思维融会贯通，你就能在复杂的世界里看清方向，在不确定的环境里找到确定，在纷繁的表象下抓住本质。#认知升级

[山景城小路 @Zen_with_AI]

系统设计面试，进硅谷大厂必准备的内容。

28 章《System Design Interview》 笔记中文版：限流器、一致性哈希、聊天系统、YouTube、支付系统、证券交易所…… 全中文讲解配架构图，每个设计的 trade-off 都讲透。
面试前刷好提高胜率。

https://t.co/xBFYPfwqC8

[Eric Lin @dslin1010]

@tinpira_burdock Welcome to 🇹🇼 Taiwan😊🍀

[NoaX @noahatwhere]

今天看到一位在 NVIDIA 做了八年 CUDA 编译器、库和 DSL 的工程师写了一篇长文。

文章最后一句话是：

NVIDIA is dead.

但真正让我印象深刻的，是他对 CUDA 的理解。

我们总说 CUDA 是 NVIDIA 最深的护城河，因为它有庞大的软件生态、开发者社区和迁移成本。但这位工程师说，CUDA 从来不只是一门语言、一个编译器或者一套 API。

CUDA 是 NVIDIA 对开发者的一整套承诺。

当你的代码跑不快，有工程师帮你优化；当单卡不够用，它把计算平台扩展到整个数据中心；当全球算力供不应求，它已经提前几年锁定晶圆和 HBM 产能。

真正的 CUDA，是从底层芯片到上层软件，再到供应链和开发者支持的一整套组织能力。

而这种能力背后，是 Jensen Huang。

2006 年，深度学习尚未爆发，GPU 通用计算的商业前景还极不明朗。NVIDIA 却持续投入了将近十年。这才是最难复制的东西。

不是 CUDA 的代码，而是一家公司能够在市场尚未证明自己正确的时候，坚定地押注一个方向十年。

今天 Jensen 离开了 NVIDIA。我不认为 NVIDIA 会因此立刻衰落。它仍然拥有世界顶级的工程师、产品、客户和供应链。

但我怀疑，失去 Jensen 的 NVIDIA，是否还有能力做出下一个 CUDA。

真正的护城河不是过去积累了多少技术，而是未来还有没有勇气做出同样疯狂的长期决策。

CUDA 是 Jensen 留下的遗产。

下一个 CUDA，才是 NVIDIA 真正的考验

[Eric Lin @dslin1010]

@lexi_labs 我是台灣人🇹🇼，我支持黃仁勳，他對台灣的貢獻太大了，很多台灣人支持他的，台灣人用threads比較多，比較少用twitter

[山景城小路 @Zen_with_AI]

AI 面试求职干货。不废话直接上链接：

Nathan Lambert：AI/ML/RL 博士求职实录 https://t.co/wtn3wNuTRY
Alisa's Book of LLMs https://t.co/6em7xrcmGc
Alisa's Math notes https://t.co/SmCWW8hXCf
斯坦福 CS336：从零开始的语言建模 https://t.co/kzc8Uihb4H
CS336 作业 1 https://t.co/lX04KBe3Pt
LeetCode 75 https://t.co/E2ce5E4snO
Neetcode Blind 75 https://t.co/i5ez3L3nSP
自注意力与 Transformer（CS224n）https://t.co/tRgukKO1PZ
The Illustrated GPT-2 https://t.co/XIw7xWmtyj
反向传播（CS231n）https://t.co/WOz7qjqF8j
面向语言模型的策略梯度入门 https://t.co/FEpHhGY8lz
GRPO 与 RL 原理轻量指南 https://t.co/Y73kpuY2ll
如何扩展你的模型 https://t.co/5XyzeRGUA2

[Eric Lin @dslin1010]

@Zen_with_AI 我看到也覺得這行為很不妥～😮‍💨

[Eric Lin @dslin1010]

@Arnesh_24 Cfbr

[Eric Lin @dslin1010]

@DanKulkov Welcome to Taiwan 🇹🇼 😊

[@abdimoalim.bsky.social @abdimoalim_]

Learn the basics, a complete ML workflow implemented in PyTorch: https://t.co/MyCPq7jOPR

[Rainie @H4mffN8bwG89675]

曾国藩是怎么从严重的内耗型人格，活成了晚清最稳的人。我翻遍他的日记和家书，发现他逆袭的方法，对普通人真的很有用。

第一件事：重视睡觉。

你没看错。曾国藩一生最强调的习惯，就是早睡早起。他要求自己“黎明即起，醒后勿沾恋”。不是因为他养生，是因为他太清楚——半夜做的决定，90%都是错的。

内耗最严重的时刻，通常发生在你该睡却还没睡的时段。把觉睡好，性价比非常高。

第二件事：善于翻篇。

他有个特别狠的习惯——今天的事今天了，绝不过夜。打赢了仗，回家倒头就睡；打输了仗，回家也倒头就睡。

他手下的将领都很惊讶：大帅你怎么睡得着？他说：“明天还有明天的事。”这种不沉溺在过去得失里，是极大的清醒。

第三件事：减少欲望，降低期待。

他对自己有个特别清醒的认知：我就是个普通人，没什么天赋，也没什么捷径。所以他接受自己走得慢，接受自己犯过错，接受下属不理解他，接受皇帝不信任他。

当他接受这一切之后，反而一身轻松。很多痛苦不是来自于事情本身，而是来自于“事情不应该这样”的幻想。

第四件事：事上炼。

这四个字是他送给所有内耗者最好的药方。想再多都不如去干。你坐在那里反刍、纠结、自我怀疑，只会把自己逼进死胡同。

但只要开始做事，哪怕很小的一步，内耗就会停下来。因为行动和焦虑，在同一个时刻只能有一个在场。

第五件事：保持愚蠢。

这可能很反直觉。他说有时候需要“一味浑厚，绝不发露”——有些事看见了当没看见，有些话听见了当没听见，有些人的敌意你假装不知道。不是真糊涂，是装糊涂。很多事情你越敏感，越被牵动；你钝一点，反而没人伤得了你。

第六件事：和光同尘。

这句话出自老子的《道德经》，意思是你不需要总是那么锋利、那么棱角分明。该亮的时候亮，该收的时候收。跟这个世界，不必硬碰硬。

内耗的本质，是你跟自己打架。曾国藩用一辈子告诉我们一个朴素的道理：人生最贵的，不是功成名就，而是内心的太平。

所以如果你今天又是浑浑噩噩过来的，别急着骂自己，别自我否定，先好好吃饭，然后踏实的睡一觉，养足精神，明天再继续前行。

[𝗿𝗮𝗺𝗮𝗸𝗿𝘂𝘀𝗵𝗻𝗮— 𝗲/𝗮𝗰𝗰 @techwith_ram]

𝘃𝗟𝗟𝗠 𝘃𝘀 𝗦𝗚𝗟𝗮𝗻𝗴

If you’re self-hosting an LLM, you will hit this choice sooner or later.

vLLM or SGLang?

Both are open source. Both batch requests on the fly, cache memory, and give you an OpenAI-style API. On paper they look almost the same. The difference is in what each one cares about most.

vLLM started with PagedAttention. It splits the model’s memory into small blocks and places them anywhere on the GPU, so very little space goes to waste. Over time it has grown into the safe, broad choice: lots of models, lots of hardware, many LoRA adapters, and the biggest community.

SGLang started with RadixAttention. It keeps past requests in a tree. When a new request shares the same start, like the same system prompt or the same chat history, it reuses that work and only computes what is new. That makes a real difference for chat apps, agents, and RAG, where many requests begin the same way.

So my simple rule:

Lots of repeated prompts and multi-step flows? Try SGLang. Need wide model and hardware support with less friction? Start with vLLM.

And please don’t pick based on someone else’s benchmark chart. Both take one command to start. Run your own traffic through both and look at your own numbers.

I made this visual to break down the differences side by side.

[山景城小路 @Zen_with_AI]

Alisa 的《Alisa's book of LLMs》。一个人亲手写给自己的复习笔记：从神经网络基础讲起，一个概念配一段手推。
如果您正在准备 ML 面试，这个 Notion 笔记值得收藏。
先讲“多层感知机”（MLP）。一个神经元怎么算，写成矩阵是什么样，一批样本一起算又是什么样，每一步都带着形状推。PyTorch 里 W 为什么存成 n_out × n_in、前向为什么要转置，也写明白了。

然后是“反向传播”。Z = XW + b 的三个梯度一个一个推，还给了通用法则：先对单个样本求雅可比，共享的张量把 batch 维求和，不共享的保留。

最后是“激活函数”。sigmoid、tanh、softmax、ReLU、Leaky ReLU、Swish、GLU、SwiGLU，每个都讲了长处和毛病，比如 ReLU 为什么会“死掉”。

面试问到的 MLP 和反向传播手推，这里都有现成的推导思路，照着走一遍，比背公式管用。

https://t.co/6em7xrcmGc

[段闲云 @interestxy]

请以自我为中心吧。你没有那么多责任，也没有那么多使命。你唯一要做的，就是照顾好自己的身体和心理健康。每天睡足觉，吃得健康营养，好好放松休息，适度的娱乐。把时间、金钱、精力花在自己认为重要的事上。选择自己喜欢的生活方式，真实、自在、从容地活出自己的独一无二人生。

[Yichi Zhang @YichiZ03]

🎉 zero-to-sglang’s written course is complete!
We spent 3+ months to build a solid, and free path into AI infra. Thanks to every co-author and learner!
Start learning—and keep going as an open-source contributor.
View it on GitHub:
https://t.co/MtH1TfUeiN

https://t.co/AJYDhWoETP

[Eric Lin @dslin1010]

@Zen_with_AI 好好照顧自己，身體健康真的滿重要的，我去年burnout 胃發炎一直沒有好，前幾個月離職了，身心慢慢恢復中～

[张晴 @Q9925912]

不管孩子有多大，这五点一定要告诉他们：
1、说话
说话不要唯唯诺诺，轻声细语，可以慢点说，有节奏，不要动不动红脸
2、表情
没事不要傻笑，别人对你笑才笑，平时不笑，可以解决50%的问题
3、走路
抬头挺胸，步伐矫健，不要驼背
双脚落地有声，眼神犀利，走路带风
4、拒绝
千万记住，你有权利拒绝任何人，
凡是让你为难的人，都不是什么好人，拒绝就好
5、不用讨好任何人
大家都是利益相交，这个年代要么你有用，要么你有钱，什么都没有就该散了。

[Xiao Tan @tvytlx]

手搓大模型推理引擎的 CUDA 源码免费送，85 页手写笔记却锁死成“保留所有权利”。

这个哥们叫 Samir，刚在 GitHub 上发了个叫 samir-vllm 的项目。

他干了件挺狠的事：没用任何现成框架，纯用 C++17 和 CUDA，从零写了一个能跑 Llama 3.2 1B 的微型推理引擎，还配了 6 个多小时的视频教程和 85 页笔记。

他在主页专门标了一句，这 80 多页 PDF 笔记和配图全是他自己手敲手画的，零 AI 参与。

平时我们调大模型 API，输入一句话到蹦出第一个字之间到底发生了什么，对大多数人来说是个黑盒。

想看懂工业级的 vLLM 源码又太劝退，工程包袱太重，很难一眼抓住主干。

这玩意最舒服的地方，就是把推理引擎扒到了最底层的第一性原理。

从怎么把 safetensors 权重直接映射到显存，到 RMSNorm、RoPE 这些算子怎么跑，一直写到了最核心的省显存机制。

顺着他的拆解往下看，会发现大模型推理跑到最后，干的其实是操作系统几十年前的老本行：内存管理。

模型读提示词（Prefill）的时候卡在算力，等它一个字一个字往外蹦（Decode）的时候，慢是因为显存带宽和上下文缓存（KV Cache）被撑爆了。

解法说穿了也特别朴素，直接照搬操作系统的虚拟内存分页。

他把显存池切成固定装 16 个词的小页，请求进来先按最大长度扣减准入额度，物理显存页则用到了再按需分配，谁提前跑完谁就把额度和显存页吐出来给排队的用。

就靠这套几千行代码就能看透的逻辑，默认 128MB 的小缓存池就能同时塞进好几个并发请求，还不会死锁。

当然这只是个固定跑 1B 模型的教学引擎，真要上生产扛业务肯定还得用成熟框架，但拿来摸清大模型底层的运行脉络真挺够用了。

更有意思的是他对代码和笔记的态度。

几千行硬核的 C++ 和 CUDA 算子代码，他直接给了最宽松的 MIT 协议，随便拿去用。

偏偏那 85 页“零 AI 参与”的笔记和手绘图，他单独列了个协议，禁止任何未经许可的搬运、改写和分发。

我觉得这事挺真实的：现在连写 CUDA 算子都能让 AI 搭把手，能跑通的代码越来越容易复制；但把一个复杂系统拆碎了、用人脑消化完再装进另一个人脑子里的认知路径，反而成了最稀缺的手艺。

看完我默默翻了翻桌角那本字迹潦草的纸质笔记本，寻思以后写技术方案也改纯手绘算了，搞不好过两年还能靠“纯人工零 AI 制造”收点版权费。

https://t.co/J967wwTD1U