♞Ranger

尘世中一个迷途小码农，喜欢骑车，物理，篮球，电竞，吃东西。习武之人，曾荣获上海市长宁区猜东里猜第一名

[Jason Zhu @GoSailGlobal]

Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板

结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样

讲师的原话
- 2024 年大家都在 cosplay Llama2
- 2025 年的主题是「怎么训得不崩」
- 2026 年的主题是「怎么扛住长上下文」

下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄

【架构层 已经收敛的 7 件事】
1）Layer Norm 挪出残差流（pre-norm）
原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面
原因：keep your residual stream clean 梯度反传更稳

2）RMS Norm 替代 LayerNorm
LayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙
丢掉之后 flops 只省 0.17% 但运行时省到 25%
（瓶颈在数据搬运 计算反而次要）

3）所有 bias 项全删
跟 RMS Norm 一个道理 系统层省内存搬运

4）激活函数用 SwiGLU 或 GeGLU
gated linear unit 几乎所有现代模型都用
Llama 系 / Qwen / Mistral 用 SwiGLU
Google 系（Gemma / T5）用 GeGLU
区别极小 选哪个都行

5）位置编码用 RoPE
2024 年之后基本统一了
原理：把每对维度按位置旋转一个角度 让 inner product 只依赖��对位置

6）Transformer block 串联（不是并联）
GPT-J / Palm 试过并联 现在基本被放弃
串联的实现优化得太好了 并联省的那点系统开销不值得损失表达力

7）Layer norm 可以「撒」
哪儿不稳就在哪儿加 LN
attention 之前能加 之后能加 两边都加（double norm）也可以
现代模型很多这样做

【超参数 已经收敛的 5 个数】
1）feedforward 维度 / hidden 维度
- 非 GLU 模型：4 倍
- GLU 模型：8/3 ≈ 2.67 倍（因为 GLU 多一组矩阵 要保持总参数量）
- Llama 系：3.5 倍
- T5 1.0 试过 64 倍 后来 T5 1.1 改回标准 别学

2）head 数 × head 维度 ≈ hidden 维度
几乎所有模型都遵守 T5 是为数不多的例外

3）模型纵横比（hidden / 层数）≈ 100
太深 pipeline parallel 难做
太宽 表达力受限
100 这个数���是系统约束 + 表达力的平衡点

4）vocab size
单语模型：30K 左右（早期 GPT-2 那种）
多语 / 通用模型：100K-200K（GPT-4 / Llama 3 / Gemma 都在这个范围）
现代基本都是后者

5）weight decay
仍然普遍使用
但研究发现它在 LLM 里干的事其实是优化器干预 让你最终能收敛到更深的最优点
跟你想的「防过拟合」没什么关系
所以别因为「单 epoch 不会过拟合」就把它关掉

【稳定性 三个救命 trick】
训练大模型最怕中途 loss 突然飙升 然后 NaN 全军覆没
现代模型用三个 trick 防这件事

1）Z-loss
output softmax 的 normalizer 容易爆
加一个 (log Z)² 的正则项 让 Z 始终接近 1
DCLM / Olmo 都用

2）QK norm
attention 的 Q 和 K ��矩阵乘之前各加一个 LN
让 softmax 的输入永远是单位尺度
multimodal 圈先用起来 现在所有大模型都加

3）Logit soft cap（仅 Google 系）
attention logit 用 tanh 硬封顶
Gemma 2/3/4 都在用 但会损失一点点性能 慎用

【Attention 两个新趋势】
1）GQA（Grouped Query Attention）几乎统一
原版 multi-head 推理时 KV cache 会让算术强度崩到 1/h
GQA 共享 K 和 V 但保留多个 Q
表达力几乎不损失 推理成本砍掉 80%
现在所有要做生产部署的大模型 没有不用 GQA 的

2）局部 + 全局 attention 交替
处理长上下文的新方式
Cohere Command A 起头 现在 Llama 4 / Gemma 4 / Olmo 3 全在用
比如每 4 层有 1 层 full attention 其他 3 层是 sliding window 只看附近的 token
比纯 SSM 更稳 比纯 full attention 便宜得多
（Qwen 3.5 做了变体 把 sliding window 那 3 层换成 SSM）

收尾一句
如果你正在训自己的 LLM，上面这一套就是 2026 年的「默认配置」 不需要重新发明，直接抄

如果你只是想看懂 GitHub 上那些 modeling_xxx.py
这一份足够你不再被术语吓住

[♞Ranger @ranger_way]

Just For Fun

[Programmer Humor @PR0GRAMMERHUM0R]

howDidHeWriteTheLinuxKernelWithoutChatgptStarbucksAndGithub https://t.co/2DbZfEBdi4

[Dr Singularity @Dr_Singularity]

This seems like a major breakthrough for AI advancement

Tencent and Tsinghua introduced CALM (Continuous Autoregressive Language Models), a new approach that replaces next token prediction with continuous vector prediction, allowing the model to think in ideas instead of words.

Key results:
~4× fewer prediction steps
44% less training compute

[Dr Singularity @Dr_Singularity]

This is insane.

New AI model from Samsung, 10,000x smaller than DeepSeek and Gemini 2.5 Pro just beat them on ARC-AGI 1 and 2

Samsung’s Tiny Recursive Model (TRM) is about 10,000x smaller than typical LLMs yet smarter because it thinks recursively instead of just predicting text. It first drafts an answer, then builds a hidden "scratchpad" for reasoning, repeatedly critiques and refines its logic (up to 16 times), and produces improved answers each cycle.

This approach shows that architecture and reasoning loops (not just size), can drive intelligence. It enables powerful, efficient models that run cheaply, validate neuro symbolic ideas, and open highest quality reasoning to far more applications.

Acceleration is everywhere

[泓君Jane @hongjun60]

除了一大票大咖嘉宾与一如既往的高质量讨论，硅谷101的活动在内容和形式上都拒绝枯燥，会用多媒体的方式给大家做更生动的内容呈现。不仅能看、能听还能玩与体验。

去年票很快卖空了提前关闭了卖票通道，今年感兴趣的朋友欢迎尽早报名。https://t.co/0uV3Zo9tIC

[Paul Graham @paulg]

The founders in recent YC batches seem more serious. There are fewer posers and scenesters. I asked the partners what's happening. They think it's because they've gotten better at picking.

[Former Congresswoman Marjorie Taylor Greene🇺🇸 @FmrRepMTG]

I believe we are defined, in the eyes of God, by how we treat children, who are the most innocent among mankind.

I’ve seen two stories about the secular government of Israel this morning that can not be ignored.

One, is a baby dying after the child’s family’s tent was bombed in Gaza.

And another is the executive director of Israel’s National Cyber Directorate was arrested in a child predator ring sting in Las Vegas and then RELEASED to return back to Israel.

When did the U.S. start ignoring war crimes and start releasing foreign CHILD PREDATORS???

Look I’m as PRO LIFE as they come, inside the womb and out. Some might hate me for that, but I LOVE BABIES AND CHILDREN.

ALL of them!!

This is a conversation that I am going to force.

Israel has a right to defend itself.

Sure.

But it doesn’t have a right to slaughter innocent children and starve them to death. And I absolutely have the right to call it out especially as almost all of my colleagues vote to fund it and refuse to condemn it.

Scroll down for the story about a child predator being arrested and released to Israel. Reportedly he works directly under Prime Minister Netanyahu.

[♞Ranger @ranger_way]

江南千条水，云���万重山

[♞Ranger @ranger_way]

The Technium: Public Intelligence https://t.co/bRcgYwZOYF

[Orange AI @oran_ge]

第一个提供 DeepSeek R1 企业级接口的竟然是…
微软
真是没想到啊

作为Azure AI Foundry的一部分，DeepSeek R1可以在一个值得信赖的、可扩展的和企业就绪的平台上访问，使企业能够无缝集成先进的人工智能，同时满足SLA、安全性和负责任的人工智能承诺——所有这些都得到了微软的可靠性和创新性的支持

[Evan Kail (PAWN MAN) @EvanKail]

I visited Unit 731 today. This was Japan’s biological warfare experimentation facility during WW2. It’s unspeakable what happened here but it’s so important to know.

The director of the museum told me there are 5 war criminals he knows of who are still alive.

I don’t care that they are in their 90s. They need to be brought to justice.

[♞Ranger @ranger_way]

的确是文化群体不行才会让法轮功那种玩意在海外肆虐这么多年

[王局志安 @wangzhian8848]

我觉得大陆的脱口秀比台湾好看太多了，完全不是一个量级，尽管台湾有言论自由。这可能是文化母体的力量？

[王局志安 @wangzhian8848]

我觉得大陆的脱口秀比台湾好看太多了，完全不是一个量级，尽管台湾有言论自由。这���能是文化母体的力量？

[赵纯想 @chunxiangai]

我已经被00后操作手机的方式震惊了。
1、展示自己的微信二维码，我需要点击手机三到四次，00后在桌面长按微信，点击我的二维码。
2、00后评论抖音，长按评论图标，快速评论表情，无需点开评论区。
3、看短视频也经常加速，加速方法是长按作者的头像。
他们是移动交互的原生世代。千万不要低估他们对长按的友好程度。

[♞Ranger @ranger_way]

Specialized给了多少钱

[Manya Koetse @manyapan]

China is celebrating its best-ever performance at an overseas Olympics (40 gold, 91 medals overall), but I just did a Where's-Wally-style search on this Eurosport tribute poster and couldn't find a single Chinese athlete.

[♞Ranger @ranger_way]

旧金山湾区都已经高峰一个月了

[王局志安 @wangzhian8848]

听说北京又开始流行新冠了，怎么回事？

[游戏人间 @Cryptoeth10w]

奶头乐理论
细思极恐的奶头乐正在毁掉你

[🚬 @Vattt69_]

@OlympicsContext The innocence this picture portraits makes me think that sometimes the world can be a peaceful and simple place ❤️

[Yes, it's me @ElysiusThor]

A brilliant Chinese physicist takes a break from work and goes for a quick 110m hurdles run. Makes into the semi-final at the Olympics. Too easy.