阿强AI

成功戒烟者 | 站长 | AI工程师 | 大语言模型工程师 | 程序员

[Adrian Punk @AdrianPunk115]

https://t.co/C3sEAMGsu1

[steve @ismee_111]

体制外打工的最终结局就是失业，没什么争议的。

自古人生就是两条路。

一条路就是科举加入士大夫阶层，碰到年成好的时候，皇帝与士大夫共天下，那也是享受天量的荣华富贵。

年成不好的时候，最多就是基层穷单位欠发一点工资社保公积金，不会真让你吃不上饭了。

[卢尔辰 @erchenlu1]

WSJ最近报道，在美国，已经有一批很牛的人，借助AI把OPC单人公司做到了年入几百万，甚至上千万美元。

这些人没有办公室，没有管理层，也没有雇佣任何员工，一个人坐在家里，就经营着过去需要几十人才能运转的公司。

比如40岁的本·布罗卡，去年12月才创办了一家AI工具公司。不到一年，他已经拥有1万名付费客户，今年营收预计达到1000万美元。写代码、调试程序、回复邮件、处理客户投诉、办理订阅和退款，过去这些工作需要程序员、客服、运营和财务共同完成，现在大部分都交给了AI。

Stripe的数据更加夸张：平台上营收超过100万美元的单人公司已经有数千家；2023年至2025年，百万美元级单人公司的数量翻了一倍，营收超过1000万美元的单人公司，数量接近原来的三倍。

这意味着，AI正在创造一种过去很难想象的商业形态：一个人就是一家公司，但这个人的背后，实际上站着一支24小时不休息的虚拟团队。

过去创业最大的门槛，是你要招人、融资、租办公室、建立管理体系。现在，一个有行业经验、产品能力和客户资源的人，可以用AI补齐代码、营销、销售、客服和行政环节，直接把自己的个人能力放大几十倍。

AI不会让普通人自动变成商业天才。工具越普及，产品越容易被复制，真正稀缺的依然是行业积累、判断力、信誉、渠道和对客户需求的理解。

但有一点已经很清楚：未来最有竞争力的公司，未必是员工最多的公司；最强的创业者，也未必是最会管理几百人的人。很可能只是一个极度专业的人，带着几十个AI智能体，把过去一家中型公司的活全部干完。

[天策 @Leobai825]

真心建议年轻人早点创业，做自媒体和视频
因为这个世界上珍贵的东西是时间

你花一份录制视频，写文字的时间，把它放到互联网上，互联网必须存储你的数据，还要给你的数据做宣传，还会给你这个账号加权重，吸引同频的人

如果真的没有生存资金，那就一边工作一边做自媒体，直到自媒体收入能够维持很好的生活，找到一个业务，直接跳出来创业！

早点创业，早点做自媒体，早点卖课，会比晚几年开始的人快很多，在年轻时创业积累到的创业经验可以用的时间是很久的，就是给自己在打积累

积累越来越多的自媒体经验，创业经验，直播经验，未来只会越来越顺，就算倒下也能很快再起来

创业太晚很难有复利优势
越年轻越要创业，做自媒体，使用杠杆，使用AI

[XDash @XDash]

我把一本二十多万字的新书免费开源在 Github 了——《前置部署工程师：人工智能时代的客户价值交付秘籍》。

全本在线读，一分钱不收，地址在文末。

为什么要写这本书？从两组数字说起。

一组来自麻省理工学院：全球企业在生成式 AI 上烧了三四百亿美元，95% 的项目没能产生可衡量的回报。演示很惊艳，落地全阵亡。

另一组来自招聘市场：一个叫「前置部署工程师」（FDE）的岗位，发布量九个月涨了 800%。OpenAI 在招，Anthropic 在招，YC 一百多家创业公司���招。a16z 直接管它叫「科技行业最热门的岗位」。

两组数字放在一起，结论不难猜：模型已经不稀缺了，能把模型塞进客户真实业务里的人，才稀缺。

FDE 就是被创造出来填这道鸿沟的角色——驻扎在客户现场、把「产品能做的」和「客户需要的」接起来的工程师。Palantir 二十年前在情报机构的保密室里发明了它，如今 OpenAI 为它专门成立了一家估值百亿美元的「部署公司」。

在我看，它就是 AI 时代的前置位的「增长黑客」：一个新物种，一套方法论，一片还没人系统写过的空白。

这本书讲清楚三件事：这个角色从哪来、是什么；从找对问题到规模化复制的完整打法；以及一百多个真实案例，所有数据和案例都在附录里注明了出处，欢迎核查。

也坦白说：这本书是我派 AI 做的深度调研和撰写，框架仿照我十年前写《增长黑客》的那套结构——依然觉得它适合研究和布道各种新岗位。

我原本把它当成自己的学习入门手册，期间驱使 AI 也迭代了好几版。写完觉得，锁在硬盘里有点可惜，于是索性开源免费分享。

如果你正在考虑工程师的转型方向，或者在琢磨 AI 到底怎么在企业里落地，它应该能帮你省下几十个小时的检索时间。

📖 仓库在这，全本免费，欢迎 Star：

https://t.co/kyNVhJrPZQ

会持续迭代，有想补充的案例或想挑错的，Issue 和分支都开着。

——

顺手说一句：十年前那本《增长黑客》的全文开源版，也在我 GitHub 上（zengzhangheike-the-book）。一本是过去，一本是未来，感兴趣的可以一起拿走。

[Ren @Ryrenz]

🧠 LangChain 官方开源的这套教程，是我见过把 agent 讲得最不玄的一份。

2k star，从零手写一个能真正接管你 Gmail 的邮件助手。

现在讲 agent 的教程有个通病：跑通一个 demo 就结束了，你照着敲完能出结果，但换个场景照样不会写。因为真正难的部分它都跳过了——怎么评估好坏、怎么让人在关键动作前审一道、怎么让它记住你的偏好。

这套教程反过来，就是围着这四块走：先搭基础版邮件助手，做分类加回复；再用 LangSmith 和 Pytest 做评估，���大模型当评审去打分；然后加人工介入，发邮件和约会议这类动作先弹给你确认再执行；最后接上记忆，让它根据你每次的修改自动调整偏好。每一部分都配 Notebook，代码全在仓库里。

练手阶段用模拟的邮件和日历工具，学完直接换成 Gmail API，就是一个天天在跑的东西。

会跑 demo 和会做产品之间，差的就是这四步。

GitHub：https://t.co/hOlv3iczdr

[老吴聊规则 @ActionXAi]

梁文锋投资人内部交流会议实录【完整版无删减】

目前已被全网下架，且听且珍惜。

[Ren @Ryrenz]

每天刷两小时推特，看到的还是二手转述。这 12 个源直接看一手，建议收藏：

1、AI News — 每日自动汇总各大社区和论文动态的日报，一篇顶你刷半天
https://t.co/bz65hdbPxx

2、The Batch — 吴恩达团队的每周简报，观点比资讯多，适合建立判断
https://t.co/dQkNOI5YEn

3、Hugging Face Papers — 每天社区投票选出的热门论文，带简介
https://t.co/f0XFcixaYQ

4、alphaXiv — 论文讨论区，能看到同行对一篇论文的质疑和补充
https://t.co/2qGCpqt0Ni

5、arXiv https://t.co/CPKsLNbGtN — 最原始的论文源，追某个方向就订阅对应分类
https://t.co/uk0YrAPIpD

6、LMArena — 大模型盲测竞技场排行榜，看真实对战胜率而不是厂商自测分
https://t.co/EemQSXtATL

7、Artificial Analysis — 各家模型的速度、价格、质量横向对比，选型时直接看这里
https://t.co/CV5LvW5btv

8、OpenRouter Rankings — 按实际调用量排的模型使用榜，能看出开发者到底在用什么
https://t.co/FrdZu3FG4I

9、Simon Willison's Blog — 每个新模型发布他都会实测并写清楚能干什么，几乎不吹
https://t.co/zTqs42vSLA

10、Latent Space — 深度访谈和技术拆解，适合了解工程侧的真实做法
https://t.co/5GBowg1Xmz

11、Interconnects — 训练和后训练方向的深度分析，偏研究
https://t.co/46yy2935dG

12、SemiAnalysis — 算力、芯片和数据中心的产业分析，看清楚上游发生了什么
https://t.co/UiBwvwtmRF

如果只留两个：日常追进展看 AI News，选模型看 Artificial Analysis。

[开发者Hailey @IndieDevHailey]

全网内容选题，不用自己找了。

MediaCrawler 是一个 GitHub 57k+ Star 的开源多平台内容采集工具，几乎把主流内容平台都打通了。

支持小红书、抖音、快手、B站、微博、知乎、贴吧等平台，可抓取公开内容、评论、用户信息等数据，适合做内容分析、竞品研究、舆情监测和 AI 数据集整理。

它最大的特点不是能爬，而是门槛低。

基于 Playwright 保留登录态，无需逆向复杂加密，也不用研究各种签名算法，普通开发者也能快速上手。

还提供 WebUI，可视化配置参数、实时查看运行日志、预览和导出数据，从采集到分析一套流程搞定。

如果你经常做：
- 爆款内容分析
- AI 训练数据收集
- 社媒运营监测
- 竞品账号拆解

这个项目值得收藏。

[动物园园长 @weiyux2021]

中国人这么多，为什么性资源稀缺？

[香港老雷 @btcmos]

DeepSeek 梁文峰暂停第二轮融资
这个事情99％概率是真的。

��为第二轮投资人严重违法保密约定，
（约定：不录音、不录屏、不传播）
信任基础被破坏，就没必要合作了。

以后不是谁都可以投梁圣了。

很多人觉得，不就是一份会议纪要吗？
但在AI行业，
一份会议纪要的价值，
可能远超一轮融资。

因为里面可能涉及下一代模型规划、算力布局、产品路���、商业化方向等核心信息。这些内容，是企业最重要的竞争壁垒。一旦外泄，不仅投资人在看，竞争对手也会第一时间研究。

要知道，训练一个国际领先的大模型，通常需要数万块GPU、持续数月训练，投入几十亿。真正决定胜负的，往往不是谁钱更多，而是谁的技术路线和战略布局更领先。

所以，梁文锋真正愤怒的，未必是会议内容被讨论，而是融资建立在保密和信任基础上的行业规则，被打破了。

创始人愿意毫无保留地交流，是因为相信这些内容只属于尽调过程。如果今天会议纪要可以流出，明天技术路线、模型计划是否也可能泄露？

一旦信任消失，融资就失去了基础。

因此，这次暂停融资，更像是在按下一个暂停键，而不是停止键。

暂停的不是资金，而是交易节奏；
暂停的不是发展，而是投资者筛选；
暂停的不是融资计划，而是重新建立一套更严格的信息管理和保密机制。

还有一个细节值得关注：
真正资金紧张的公司，通常没有主动暂停融资的底气。能够选择停下来重新制定规则，本身就说明DeepSeek拥有一定的主动权和议价能力。

所以，这件事最大的启示不是融资延缓，而是：
在AI时代，信息就是资产，信任就是生产力。

表面上暂停的是融资，
本质上重建的是信任；
表面上保护的是会议纪要，
真正保护的是DeepSeek未来几年的竞争优势。

接下来，
大家耐心等待就行了，
梁文峰有自己的想法和节奏，
他会搞定这些小事情的。

[极客杰尼 @seekjourney]

老派程序员依然存在新的发展机会！现在 agent harness 工程设计语言分为两派。

codex / gork 选择 rust 。

claude code / pi / kimi code / open code 选择 ts。

接下来我主攻 rust 派。

codex 可能是目前这六个项目里最接近生产级 Agent Runtime 内核的源码实现。

我发现现在很少有人深度研究 harness ！专业的人永远稀缺。

从最新的北京智能体政策来看， harness 到 fde ���实可以衔接上，agent 下半场拼的是实战落地，交付价值，老派程序员可能存在第二次发展机会。

我想学习的方向是每一层的架构设计怎么做的？哪种更加符合前沿趋势？

比如上下文，记忆读取，存储和引用，工具调用，压缩方式，权限，subagent，Agent-loop，prompt 构建等等。

我的目标其实很简单，捕获和深入了解最新的 harness 前沿架构趋势和未来发展方向，

最好的学习路径是深入源码细节，记忆如何做？如何读取？如何开启 subagent？如何构建 prompt ？系统提示词差异？上下文压缩是如何做的？

[阿强AI @BruceJia1]

@Zhm20220917 哈哈

[极客杰尼 @seekjourney]

最近朋友推荐一个非常适合学习 Agent Harness Engineering 的工具：claude-tap。

它像是 Claude Code、Codex 等 Coding Agent 的本地可观测性平台，可以看到一次真实 Agent 运行中的：

System Prompt
对话历史与上下文
Tool Schema
Tool Call / Tool Result
流式响应
Token 用量
相邻请求之间的结构化 Diff

学习 Claude Code / Codex Harness 的核心是运行时系统：上下文如何组装、工具如何注册、状态如何跨轮传递、请求如何持续演化。

我觉得非常适合把源码和真实 Trace 对照着看，理解速度会快很多。

强烈推荐给正在学习 Coding Agent、Agent Runtime 和 Harness Engineering 的朋友。

https://t.co/Db6mczeJND

[余温 @gkxspace]

一周 17k star，我总算知道这本书为什么涨这么猛了

上周推荐《深入理解 AI Agent》时我才翻了个大概，这几天让 Codex 带着我学了一遍，一直在恍然大悟，讲的都是每天用 AI 遇到的不太理解的事

比如：
为什么上下文一长 AI 就变笨，书里拆到了 KV Cache 和上下文压缩，为什么有的 Agent 好用有的不行，第一章就告诉你：模型只是三分之一，上下文和工具才是另外三分之二，等等等等......

如果你不是技术专家，真的值得学一下，仓库链接直接丢给 Codex，让它带你学：https://t.co/aqxGa9fFNX

[Wei @wei_wang]

顶尖工程师最近在吵一个问题：AI 写的代码，人类还需要逐行看吗？

Redis 创作者 antirez 的观点很激进：很多工程师没有真正发挥 AI Coding 的威力，就是因为还在逐行阅读 AI 生成的代码。

AI 每分钟可以生成几百上千行代码，人类继续逐行检查，最后只会让自己成为整个开发流程的瓶颈。

更合理的方式应该是把注意力放在：

产品目标
系统架构
接口和数据结构
测试与 QA
可观测性
失败后的定位能力

你可以不看每一行，但不能连 AI 正在搭什么、系统如何运转都不知道。

未来 Code Review 检查的重点，也会从「这一行写得好不好」变成：

架构是否合理？
接口是否清晰？
测试能不能抓住错误？
失败后能不能快速定位？
AI 有没有偷偷改坏其他功能？
三个月后还能不能继续维护？

不过测试全绿也不代表代码没问题。AI 完全可能在实现正确功能的同时，夹带多余、危险或不可维护的逻辑。

所以是否逐行 Review，最终取决于系统的风险等级。

个人小工具可以大胆放权；涉及支付、金融、隐私和核心生产数据的系统，人工审查依然不能省。

AI 写得越快，工程师越不能只会写代码。未来最值钱的是定义系统、设计验收标准，以及出事时知道从哪里开始查。

[huangserva @servasyy_ai]

杨立昆都转发了！
Unlimited-OCR 为什么这么火？

百度的 Unlimited-OCR 再次冲上 HuggingFace 趋势榜，目前全球第三，又一次排在 GLM-5.2 前面。
上个月它横扫 GitHub、HF 四榜第一，我以为这波热度就过去了，结果图灵奖得主一转发，又把它送回了前三。
GitHub star 破 1.65 万，HF 下载 224 ��，还在涨。

传统 OCR 有个老毛病：把文档一页页切开处理，跨两页的表格直接断掉，阅读顺序也丢了。
Unlimited-OCR 用 R-SWA 机制，几十页文档当一个整体连续解析，解码时 KV Cache 恒定——文档再厚，显存占用不涨。

海外博主 Mario Nawfal 实测：100 页 PDF 一次解析完，40 页之后错误率还在 0.11 以下，其他 OCR 到这个长度已经干不动了。

3B 参数，自己电脑就能跑，关键免费。

如果你经常要处理几十上百页的 PDF——论文、合同、扫描件，以前要么手动切页，要么掏钱买 OCR SaaS，现在这两样都省了。

项目地址👇 https://t.co/MKaqdqVvUc
HuggingFace：https://t.co/MKaqdqVvUc

#无限OCR #UnlimitedOCR #百度 #文心大模型 #文心

[大洋弥生mio&ocean @hiroe_yoshida]

开发出 Kimi K3 并力图超越 Anthropologie 和 OpenAI 的中国公司 Moonshot 的创始人刚刚进行了一场 40 分钟的大师级讲座，详细介绍了他们的研发进展。

这是我见过的对中国低成本模型最精彩的讲解。免费观看！必看！

[Qio | كيو @QioHub]

🚨🎙️والدة لامين يامال:

قلت للامين أن يستمتع بكل ثانية لأن عددًا قليلاً جدًا من اللاعبين يحصلون على فرصة مواجهة الأسطورة ميسي على أكبر مسرح.

قلت احترمه، تعلم منه، لكن لا تخفه. إذا كنت في نهائي كأس العالم، فذلك لأنك تنتمي إلى هناك أيضًا.

[宝玉 @dotey]

杨植麟在 GTC 2026 的一次演讲"How We Scaled Kimi K2.5"：月之暗面想把 AI 训练中三个沿用了近十年的基础组件，重新做一遍。优化器 Adam（2014 年）、注意力机制（2017 年）、残差连接（2015 年），三个 Transformer 时代的地基组件，月之暗面各给了一个替代方案，而且全部开源。

但这场演讲讲的不只是 K2.5，而是月之暗面过去一年多的技术路线：开源模型还能从哪里继续变强，又该怎样逼近闭源模型的前沿水平。

杨植麟把答案拆成了三个方向：让每个 Token 更值钱、让更长的上下文真正发挥作用，以及让多个 Agent 同时协作。

此外，他还分享了两个重要进展：视觉训练如何反过来增强文本能力，以及月之暗面刚刚公布的下一代架构 Attention Residue。

【一、数据不够，就让每个 Token 更值钱】

大模型训练正在遇到一个越来越现实的问题：高质量数据快不够用了。

互联网上真正有价值的文本数量有限，模型越做越大，需要的数据越来越多，大家迟早都会撞上“数据墙”。既然高质量数据很难翻倍，月之暗面的思路是：能不能让模型从同样的数据里学到更多？

他们给出的答案是 MuonClip，用它替代已经用了十多年的 Adam 优化器。

MuonClip 基于 Muon 优化器。简单理解，它会在更新模型参数时，尽量让不同方向上的信息保持独立，减少重复和浪费，从而提高训练数据的利用效率。

月之暗面的实验结果是：使用同样数量的数据，MuonClip 的训练效果接近把数据量增加一倍，这不仅意味着训练成本下降，也意味着模型能力的上限可能被推高。

假设手里只有 50 万亿个高质量 Token，如果 Token 利用效率提高一倍，就相当于又多出了 50 万亿 Token。在优质数据越来越稀缺的情况下，这种效率提升比单纯增加算力更重要。

但 Muon 也有一个明显问题：模型扩展到万亿参数后，注意力层里的数值容易失控。

月之暗面在训练中发现，注意力层的最大 logit 会突然飙升到 1000 以上，而正常范围通常只有 50 到 100。一旦数值继续膨胀，训练曲线就会发散，整个训练过程可能直接崩掉。

为了解决这个问题，他们设计了 QK-Clip。它会在模型前向计算时，实时检查每个注意力头的最大 logit。一旦数值超过安全范围，就同步缩放 Q 和 K 的投影，把数值压回来。

这个操作不会改变训练的收敛效果，只负责维持数值稳定。

靠着 QK-Clip，月之暗面成功把 Muon 扩展到了万亿参数规模，并训练了超过 15 万亿 Token，整个过程中没有出现一次 loss spike。

【二、上下文不只是���长，还要真正有用】

第二个方向，是提高模型利用长上下文的能力。

杨植麟展示了 Scaling Law 论文作者 Jared Kaplan 等人曾经做过的一组实验：比较 Transformer 和 LSTM 在不同上下文长度下的预测效果。

LSTM 读到一定长度之后，效果很快就不再提升。继续增加上下文，模型也很难从中获得更多信息。Transformer 则不同。上下文越长，模型对后续内容的预测通常越准确，而且很难看到明显的饱和点。

这个特点在 Agent 时代尤其重要。复杂 Agent 任务可能持续几天甚至几周。模型需要记住之前做过什么、得到过哪些结果、哪些方向已经失败，以及接下来该做什么。如果长上下文不能持续提供有效信息，Agent 的任务链条就很容易断掉。

问题是，标准的全注意力机制成本太高。它的计算量会随着上下文长度平方增长。上下文扩大十倍，注意力计算量可能增加一百倍。到了百万 Token 级别，训��和推理成本都会变得非常高。

月之暗面的解决方案是 Kimi Linear，核心是一种名为 KDA，也就是 Kimi Delta Attention 的线性注意力机制。KDA 的关键，是让模型学会“哪些信息要长期保留，哪些信息可以快速忘掉”。

传统线性注意力通常只有一个全局衰减系数，控制整个模型的记忆速度。这有点像所有内容共用同一个遗忘按钮：要么一起记住，要么一起忘掉。KDA 把一个衰减系数拆成了多个。不同信息通道可以使用不同的遗忘速度：

- 有些通道衰减得很慢，负责保留长距离信息
- 有些通道衰减得很快，及时腾出空间吸收新内容

实际使用时，Kimi Linear 并没有完全抛弃全注意力，而是把线性注意力层和全注意力层按照 3∶1 的比例混合。

杨植麟称，这是第一个在短上下文、长输入和长输出任务上，都能全面超过全注意力的架构。上下文扩展到百万 Token，甚至更长时，它的效率优势会更加明显。

【三、从一个 Agent，变成一支 Agent 团队】

前两个方向都在提升单个模型的能力。第三个方向，则是让多个 Agent 一起工作。月之暗面把这种方式叫作 Agent Swarm，也就是“智能体集群”。

它的组织方式很像一家公司。一个主 Agent 充当 CEO，负责理解目标、拆解任务，并把不同子任务分配给多个子 Agent。子 Agent 可以分别扮演研究员、程序员、数据分析师和事实核查员等角色。任务完成后，主 Agent 再汇总结果。

这样做最大的价值是把串行任务改成并行任务。过去，一个 Agent 可能需要依次搜索资料、阅读文档、分析数据、编写代码、检查事实。现在，这些工作可以交给几十个甚至几百个 Agent 同时完成，从而大幅缩短复杂任务的执行时间。

不过，要让模型真正学会并行协作并不容易。训练 Agent Swarm 时，月之暗面设计了三种奖励：

第一种是“实例化奖励”，鼓励主 Agent 创建更多可以并行执行的子任务，避免它退化回单 Agent 串行工作。

第二���是“完成奖励”，要���子任务必须真正完成，防止模型为了获得实例化奖励，批量创建没有意义的空任务。

第三种是最终结果奖励，用来判断整个任务是否真正解决。

这三种奖励的权重会随着训练过程动态变化。训练前期更重视任务拆解、并行化和子任务完成率，后期则逐渐把重点转向最终结果。

从演示结果看，Agent Swarm 在复杂任务上能明显缩短执行时间。比如：

- 同时下载、阅读几百个信息源并完成研究
- 并行撰写一份上百页文献综述的不同章节
- 同时分析十个不同的数据集

Kimi K2.5 发布时，Agent Swarm 已经支持最多 100 个 Agent 并行工作，整个任务最多可以执行 1500 个步骤。4 月发布的 K2.6 又把并行 Agent 的上限提高到了 300 个。

【四、一个意外收获：练“视觉”，也能让“大脑”变聪明】

K2.5 和前代 K2 之间，一个重要变化是采用了“早期���合”训练。

过去很多开源多模态模型采用的是“后期融合”：先用大量文本训练出一个语言模型，再用相对少量的视觉数据补上看图能力。

例如，先训练 20 万亿个文本 Token，再用大约 2 万亿个多模态 Token 把视觉能力“贴”上去。

K2.5 的做法不同。

它从训练一开始，就把视觉和文本数据混在一起。在 K2 文本基座的基础上，K2.5 又训练了约 15 万亿个混合 Token。

这种方式带来了两个让杨植麟感到兴奋的结果。

第一个发现是：只训练视觉任务，也能提升模型的文本推理能力。

研究团队只让模型完成数数、识别图片和视觉问答等任务，没有加入数学或编程训练。结果模型的文本推理能力也变强了。

换句话说，模型在练习“看”的同时，“想”的能力也得到了提升。

第二个发现则来自相反的方向：如果文本基座足够强，模型甚至不一定需要专门的视觉 SFT 数据。

K2.5 采用了“零视觉 SFT”方案。所有监督微调数据都是纯文本，然后再通过文本与视觉���合的强化学习，让模型获得视觉能力。最终，它在视觉任务上的表现依然接近最先进水平。

杨植麟认为，这种双向迁移来自早期融合。

当文本和视觉被放进同一个表征空间后，一种模态学到的能力，就有机会迁移到另一种模态。这也是 K2.5 能够“看图写代码”的基础。

如果视觉和文本仍然像两个彼此分开的“大脑”，这样的跨模态能力就很难自然出现。

【五、下一步：用注意力机制替代残差连接】

演讲快结束时，杨植麟介绍了月之暗面刚刚发布的一项新研究：Attention Residue，也就是“注意力残差”。这篇论文发布于 3 月 15 日，距离演讲只有两天。

残差连接是现代深度神经网络最重要的基础技术之一。2015 年，何恺明等人提出残差网络，此后残差连接逐渐成为 Transformer 的标准组件。它的基本做法是：每一层不仅处理上一层的结果，还保留一条直接��递信息的通道。这样即使模型很深，信息和梯度也能顺利通过，模型才有可能稳定训练。

杨植麟引用了 Ilya Sutskever 的一个说法：残差连接可以被理解为“旋转了 90 度的 LSTM”——LSTM 在时间维度上传递信息，残差连接则在网络深度上传递信息。

月之暗面顺着这个类比继续往前走了一步。

既然 Transformer 已经用注意力机制替代了 LSTM 在时间维度上的循环结构，那么在深度维度上，是否也能做同样的替换？

Attention Residue 就是这个思路的产物。

标准残差连接主要使用上一层的输出。Attention Residue 则允许当前层查看所有前序层的输出，再通过注意力机制决定：哪些历史信息值得保留，哪些信息可以忽略。

也就是说，模型不再只能被动接收上一层的结果，而是可以主动从整个计算历史中挑选信息。

为了控制计算成本，月之暗面实际采用的是分块版本 Block Attention Residual。它会把模型层分成多个块，比如每 16 层组成一个块。块内继续使用标准残差连接，块与块之间才��用注意力残差。

实验显示，大约 8 个块就能获得大部分收益。

Attention Residue 带来了约 24% 的 Token 效率提升。

按照杨植麟的算法，如果有 50 万亿个高质量 Token，效率提高 24%，就相当于额外增加了 12 万亿个 Token。它在 GPQA、MATH 和 HumanEval 等推理、数学与编程测试上的提升尤其明显。

【三个用了近十年的组件，都还有改进空间】

演讲最后，杨植麟把月之暗面的三个替代方案放在了一起：

- Adam → MuonClip
- Full Attention → Kimi Linear
- Residual Connection → Attention Residue

它们分别对应大模型训练中的三个基础问题：

- 怎样从有限的数据中学到更多
- 怎样更高效地利用超长上下文
- 怎样让深层网络更灵活地传递信息

三个方案都可以相对独立地替换现有组件，也都已经开源。

这些技术能否直接叠加，增益能否简单相乘，目前还没有经过完整验证。但它们至少说明了一件事：很多被认为“已经足够好”的基础组件，可能远没有到达终点。

在优质数据越来越少、训练成本越来越高的情况下，继续堆参数和算力并不是唯一的路。重新设计优化器、注意力机制和残差连接，同样可能���来可观的提升。

这也是杨植麟整场演讲真正想表达的观点。

正如他最后所说：

> “Open models cannot be just open; they have also to be great.”

开源模型不能只是开放，还必须足够强。

注：本视频由 https://t.co/L0sZizDFrd 翻译