RealLeo_CN

Investment, MacroEco, Technology, AI, Books

[宝玉 @dotey]

杨植麟在 GTC 2026 的一次演讲"How We Scaled Kimi K2.5"：月之暗面想把 AI 训练中三个沿用了近十年的基础组件，重新做一遍。优化器 Adam（2014 年）、注意力机制（2017 年）、残差连接（2015 年），三个 Transformer 时代的地基组件，月之暗面各给了一个替代方案，而且全��开源。

但这场演讲讲的不只是 K2.5，而是月之暗面过去一年多的技术路线：开源模型还能从哪里继续变强，又该怎样逼近闭源模型的前沿水平。

杨植麟把答案拆成了三个方向：让每个 Token 更值钱、让更长的上下文真正发挥作用，以及让多个 Agent 同时协作。

此外，他还分享了两个重要进展：视觉训练如何反过来增强文本能力，以及月之暗面刚刚公布的下一代架构 Attention Residue。

【一、数据不够，就让每个 Token 更值钱】

大模型训练正在遇到一个越来越现实的问题：高质量数据快不够用了。

互联网上真正有价值的文本数量有限，模型越做越大，需要的数据越来越多，大家迟���都会撞上“数据墙”。既然高质量数据很难翻倍，月之暗面的思路是：能不能让模型从同样的数据里学到更多？

他们给出的答案是 MuonClip，用它替代已经用了十多年的 Adam 优化器。

MuonClip 基于 Muon 优化器。简单理解，它会在更新模型参数时，尽量让不同方向上的信息保持独立，减少重复和浪费，从而提高训练数据的利用效率。

月之暗面的实验结果是：使用同样数量的数据，MuonClip 的训练效果接近把数据量增加一倍，这不仅意味着训练成本下降，也意味着模型能力的上限可能被推高。

假设手里只有 50 万亿个高质量 Token，如果 Token 利用效率提高一倍，就相当于又多出了 50 万亿 Token。在优质数据越来越稀缺的情况下，这种效率提升比单纯增加算力更重要。

但 Muon 也有一个明显问题：模型扩展到万亿参数后，注意力层里的数值容易失控。

月之暗面在训练中发现，注意力层的最大 logit 会突然飙升到 1000 以上，而正常范围通常只有 50 到 100。一旦数值继续膨胀，训练曲线就会发散，整个训练过程可能直接崩掉。

为了解决这个问题，他们设计了 QK-Clip。它会在模型前向计算时，实时检查每个注意力头的最大 logit。一旦数值超过安全范围，就同步缩放 Q 和 K 的投影，把数值压回来。

这个操作不会改变训练的收敛效果，只负责维持数值稳定。

靠着 QK-Clip，月之暗面成功把 Muon 扩展到了万亿参数规模，并训练了超过 15 万亿 Token，整个过程中没有出现一次 loss spike。

【二、上下文不只是要长，还要真正有用】

第二个方向，是提高模型利用长上下文的能力。

杨植麟展示了 Scaling Law 论文作者 Jared Kaplan 等人曾经做过的一组实验：比较 Transformer 和 LSTM 在不同上下文长度下的预测效果。

LSTM 读到一定长度之后，效果很快就不再提升。继续增加上下文，模型也很难从中获得更多信息。Transformer 则不同。上下文越长，模型对后续内容的预测通常越准确，而且很难看到明显的饱和点。

这个特点在 Agent 时代尤其重要。复杂 Agent 任务可能持续几天甚至几周。模型需要记住之前做过什么、得到过哪些结果、哪些方向已经失败，以及接下来该做什么。如果长上下文不能持续提供有效信息，Agent 的任务链条就很容易断掉。

问题是，标准的全注意力机制成本太高。它的计算量会随着上下文长度平方增长。上下文扩大十倍，注意力计算量可能增加一百倍。到了百万 Token 级别，训练和推理成本都会变得非常高。

月之暗面的解决方案是 Kimi Linear，核心是一种名为 KDA，也就是 Kimi Delta Attention 的线性注意力机制���KDA 的关键，是让模型学会“哪些信息要长期保留，哪些信息可以快速忘掉”。

传统线性注意力通常只有一个全局衰减系数，控制整个模型的记忆速度。这有点像所有内容共用同一个遗忘按钮：要么一起记住，要么一起忘掉。KDA 把一个衰减系数拆成了多个。不同信息通道可以使用不同的遗忘速度：

- 有些通道衰减得很慢，负责保留长距离信息
- 有些通道衰减得很快，及时腾出空间吸收新内容

实际使用时，Kimi Linear 并没有完全抛弃全注意力，而是把线性注意力层和全注意力层按照 3∶1 的比例混合。

杨植麟称，这是第一个在短上下文、长输入和长输出任务上，都能全面超过全注意力的架构。上下文扩展到百万 Token，甚至更长时，它的效率优势会更加明显。

【三、从一个 Agent，变成一支 Agent 团队】

前两个方向都在提升单个模型的能力。第三个方向，则是让多个 Agent 一起工作。月之暗面把这种方式叫作 Agent Swarm，也就是“智能体集群”。

它的组织方式很像一家公司。一个主 Agent 充当 CEO，负责理解目标、拆解任务，并把不同子任务分配给多个子 Agent。子 Agent 可以分别扮演研究员、程序员、数据分析师和事实核查员等角色。任务完成后，主 Agent 再汇总结果。

这样做最大的价值是把串行任务改成并行任务。过去，一个 Agent 可能需要依次搜索资料、阅读文档、分析数据、编写代码、检查事实。现在，这些工作可以交给几十个甚至几百个 Agent 同时完成，从而大幅缩短复杂任务的执行时间。

不过，要让模型真正学会并行协作并不容易。训练 Agent Swarm 时，月之暗面设计了三种奖励：

第一种是“实例化奖励”，鼓励主 Agent 创建更多可以并行执行的子任务，避免它退化回单 Agent 串行工作。

第二种是“完成奖励”，要求子任务必须真正完成，防止模型为了获得实例化奖励，批量创建没有意义的空任务。

第��种是最终结果奖励，用���判断整个任务是否真正解决。

这三种奖励的权重会随着训练过程动态变化。训练前期更重视任务拆解、并行化和子任务完成率，后期则逐渐把重点转向最终结果。

从演示结果看，Agent Swarm 在复杂任务上能明显缩短执行时间。比如：

- 同时下载、阅读几百个信息源并完成研究
- 并行撰写一份上百页文献综述的不同章节
- 同时分析十个不同的数据集

Kimi K2.5 发布时，Agent Swarm 已经支持最多 100 个 Agent 并行工作，整个任务最多可以执行 1500 个步骤。4 月发布的 K2.6 又把并行 Agent 的上限提高到了 300 个。

【四、一个意外收获：练“视觉”，也能让“大脑”变聪明】

K2.5 和前代 K2 之间，一个重要变化是采用了“早期融合”训练。

过去很多开源多模态模型采用的是“后期融合”：先用大量文本训练出一个语言模型，再用相对少量的视觉数据补上看图能力。

例如，先训练 20 万亿个文本 Token，再用大约 2 万亿个多模态 Token 把视觉能力“贴”上去。

K2.5 的做法不同。

它从训练一开始，就把视觉和文本数据混在一起。在 K2 文本基座的基础上，K2.5 又训练了约 15 万亿个混合 Token。

这种方式带来了两个让杨植麟感到兴奋的结果。

第一个发现是：只训练视觉任务，也能提升模型的文本推理能力。

研究团队只让模型完成数数、识别图片和视觉问答等任务，没有加入数学或编程训练。结果模型的文本推理能力也变强了。

换句话说，模型在练习“看”的同时，“想”的能力也得到了提升。

第二个发现则来自相反的方向：如果文本基座足够强，模型甚至不一定需要专门的视觉 SFT 数据。

K2.5 采用了“零视觉 SFT”方案。所有监督微调数据都是纯文本，然后再通过文本与视觉联合的强化学习，让模型获得视觉能力。最终，它在视觉任务上的表现依然接近最先进水平。

杨植麟���为，这种双向迁移来自早期融合。

当文本和视觉被放进同一个表征空间后，��种模态学到的能力，就有机会迁移到另一种模态。这也是 K2.5 能够“看图写代码”的基础。

如果视觉和文本仍然像两个彼此分开的“大脑”，这样的跨模态能力就很难自然出现。

【五、下一步：用注意力机制替代残差连接】

演讲快结束时，杨植麟介绍了月之暗面刚刚发布的一项新研究：Attention Residue，也就是“注意力残差”。这篇论文发布于 3 月 15 日，距离演讲只有两天。

残差连接是现代深度神经网络最重要的基础技术之一。2015 年，何恺明等人提出残差网络，此后残差连接逐渐成为 Transformer 的标准组件。它的基本做法是：每一层不仅处理上一层的结果，还保留一条直接传递信息的通道。这样即使模型很深，信息和梯度也能顺利通过，模型才有可能稳定训练。

杨植麟引用了 Ilya Sutskever 的一个说法：残差连接可以被理解为“旋转了 90 度的 LSTM”——LSTM 在时间维度上传递信息，残差连接则在网络深度上传递信息。

月之暗面顺着这个类比继续���前走了一步。

既然 Transformer 已经用注意力机制替代了 LSTM 在时间维度上的循环结构，那么在深度维度上，是否也能做同样的替换？

Attention Residue 就是这个思路的产物。

标准残差连接主要使用上一层的输出。Attention Residue 则允许当前层查看所有前序层的输出，再通过注意力机制决定：哪些历史信息值得保留，哪些信息可以忽略。

也就是说，模型不再只能被动接收上一层的结果，而是可以主动从整个计算历史中挑选信息。

为了控制计算成本，月之暗面实际采用的是分块版本 Block Attention Residual。它会把模型层分成多个块，比如每 16 层组成一个块。块内继续使用标准残差连接，块与块之间才使用注意力残差。

实验显示，大约 8 个块就能获得大部分收益。

Attention Residue 带来了约 24% 的 Token 效率提升。

按照杨植麟的算法，如果有 50 万亿个高质量 Token��效率提高 24%，就相当于额外增加了 12 万亿个 Token。它在 GPQA、MATH 和 HumanEval 等推理、数学与编程测试上的提升尤其明显。

【三个用了近十年的组件，都还有改进空间】

演讲最后，杨植麟把月之暗面的三个替代方案放在了一起：

- Adam → MuonClip
- Full Attention → Kimi Linear
- Residual Connection → Attention Residue

它们分别对应大模型训练中的三个基础问题：

- 怎样从有限的数据中学到更多
- 怎样更高效地利用超长上下文
- 怎样让深层网络更灵活地传递信息

三个方案都可以相对独立地替换现有组件，也都已经开源。

这些技术能否直接叠加，增益能否简单相乘，目前还没有经过完整验证。但它们至少说明了一件事：很多被认为“已经足够好”的基础组件，可能远没有到达终点。

在优质数据越来越少、训练成本越来越高的情况下，继续堆参数和算力并不是唯一的路。重新设计优化器、注意力机制和残差连接，同样可能带来可观的提升。

这也是杨植麟整场演讲真正想表达的观点。

正如他最后所说：

> “Open models cannot be just open; they have also to be great.”

开源模型不能只是开放，还必须足够强。

注：本视频由 https://t.co/L0sZizDFrd 翻译

[Satya Nadella @satyanadella]

https://t.co/xv6csf1SbV

[Chamath Palihapitiya @chamath]

When we look back, Alex Karp may have initiated an important preference cascade around AI sovereignty.

It’s worth noting what @Benioff and @satyanadella are both saying:

Your knowledge, as a company, is your sovereignty. If you lose it to someone else (anyone else) you are hollowing your organization out.

There are many ways to accidentally leak intelligence so you need partners and tools who can sign up for the complexity required to give it to you.

See Benioff below and see Satya’s essay linked below.

[RealLeo_CN @leo_deego]

Groundwork NZ | Building Activity at a Decade Low, Entering the Winter Slow Period https://t.co/eE59fjBdMk

[Bill Ackman @BillAckman]

A must watch from Jamie Dimon.

[RealLeo_CN @leo_deego]

NZ Property & Finance Weekly | Week of 3 June 2026 https://t.co/QwTBq6uBF9

[Bill Gurley @bgurley]

Here's another article summary about Chinese AI companies monetizing outside of China with enterprises. Article covers AWS event in Shanghai.

https://t.co/BpYyaWjYid

[Bill Gurley @bgurley]

Quick summary of what is happening with LLM model companies in China. 1) There is more VC $ available for open-weights than you think, 2) they are generating real revenue (as did open-source sw/saas companies in the West).

https://t.co/vluRvWJsId

[RealLeo_CN @leo_deego]

关于新西兰联储一些信贷数据的最新观察20260503 https://t.co/sVsyHkwLXr

[RealLeo_CN @leo_deego]

Jon Gray（黑石集���总裁）2026一季度最新观点-AI、私募信贷、数据中心、软件行业，如何在波动中投资 https://t.co/SdmrmLemDz

[RealLeo_CN @leo_deego]

新西兰宏观笔记20260427：奢侈品溢价、战争余烬与 3.1% 的“通胀陷阱”
https://t.co/veVrvKNNGE

[RealLeo_CN @leo_deego]

https://t.co/ofSZ9V8YlO

[RealLeo_CN @leo_deego]

新西兰宏观笔记20260412联储决议、奥克兰基建协议、基督城避险 https://t.co/gUqqOyWXh8

[RealLeo_CN @leo_deego]

Luxon与Brown的这纸“生死状” https://t.co/k4C7uPGpR3

[RealLeo_CN @leo_deego]

全文阅读：https://t.co/1Atx54XluN

[RealLeo_CN @leo_deego]

中东一把火，烧掉了所有幻觉：新西兰联储决议 OCR 2.25% 按兵不动
今天下午，RBNZ准时扔出了一份带着硝烟味的简报：OCR 保持在 2.25% 不��。 货币政策委员会（MPC）那帮人坐在惠灵顿的恒温办公室里，死死盯着霍尔木兹海峡的火光。中东的一粒灰，落在每一个背着房贷的新西兰人头上，就是一座大山。#rbnz

[RealLeo_CN @leo_deego]

中东一把火，烧掉了所有幻觉：新西兰联储决议 OCR 2.25% 按兵不动
今天下午，RBNZ准时扔出了一份带着硝烟味的简报：OCR 保持在 2.25% 不变。 货币政策委员会（MPC）那帮人坐在惠灵顿的恒温办公室里，死死盯着霍尔木兹海峡的火光。中东的一粒灰，落在每一个背着房贷的新西兰人头上，就是一座大山。#rbnz

[RealLeo_CN @leo_deego]

在gemini的帮助下，代码小白终于通过CLI复刻了karpathy这套LLM知识管理系统来！激动！感谢AI！感谢@karpathy

[RealLeo_CN @leo_deego]

新西兰宏观市场周报笔记20260404政策拐点、地税涨��、柴油储备、GBSI新规 https://t.co/iR2tUii6uY

[Andrej Karpathy @karpathy]

Wow, this tweet went very viral!

I wanted share a possibly slightly improved version of the tweet in an "idea file". The idea of the idea file is that in this era of LLM agents, there is less of a point/need of sharing the specific code/app, you just share the idea, then the other person's agent customizes & builds it for your specific needs.

So here's the idea in a gist format: https://t.co/NlAfEJjtJV

You can give this to your agent and it can build you your own LLM wiki and guide you on how to use it etc. It's intentionally kept a little bit abstract/vague because there are so many directions to take this in. And ofc, people can adjust the idea or contribute their own in the Discussion which is cool.

[RealLeo_CN @leo_deego]

中际旭创1年7倍 还搞什么乱七��糟的呀[捂脸]