Nile Zhou

[Shuo Yang @Andy_ShuoYang]

FreeToken is fast. Comparing to Ollama, we have 3–4× faster decode, and 6–30× faster prefill

How? We introduce bandwidth-adaptive CPU–GPU execution + semantic-aware caching across agent turns.

More details in the technical report: https://t.co/V3sIxbPMGU

[星球🪐🪐☄️☄️ @Lee_points]

这两天爆火的rea��者称万物皆可逆向，并写了指南。项目达3万stars、4千forks，感觉作者要被国人上一课了。

[Leto Bao @leto_bao]

现在美债收益率已经突破 5.3% 了，当下最好的策略就是杠铃策略。

你有100万美金，花95万去买美债，5万去买各种 Long-term 的 Options，可以是你看好的行业，可以是你不看好的（参考上一篇发的），一年后开奖。

一年后，最坏情况，5万的期权归零，但是美债一年的收益填补了这个亏损，所以你不亏不赚，最好情况就是你压对了，那 5% 的期权翻很多倍，总收益跑赢大盘。

为什么是现在：上一次美债出现这种收益率还是在 26 年前。

[孔乙观察 @KongYiGC]

看见一个很离谱的研究论文！！

假设你每天在收盘时买入美光科技，在第二天开盘时立刻卖出，几十年来会获得高达 138,330,342% 的收益。

但如果每天开盘买入，当天收盘时卖出，你的投资最终会几乎全部亏损-99.92%。

同样一只股票，只是调换买卖时间，结局天差地别。

[SuSu_酥酥👅 @NFT_Chen]

🔥必看！智普创始人唐杰清华《高级机器学习》课现场火到一半人坐地上听。这节课唐杰把 scaling 的行业判断摊开讲了！

笔记精华整理如下：
1️⃣技术演化两条淘汰律
不能大规模并行的，会被淘汰（典型如 sequential 计算）。人工设计加得太重的，最后也挂：很多小模型上有效的 trick，scale 到万亿、十万亿参数后性质不再成立。越简单的东西，越能在超大规模上站住。

2️⃣GPT-5“训崩”与 Claude 的体量差
GPT-5 的 agentic 效果不错，但也是被喷最多的一代：超大模型训崩后，拼了多个版本做 router，所以时快时慢、天花板不高。业内判断，那之后 Claude 开始训更大的模型，size 至今大约是 GPT 的两倍；GPT 更多把功夫花在 post-training 上。

3️⃣AI 能力阶梯：不断向外求交互
人类世界知识（已饱和）→ 工具调用 → Coding → Computer Use → 自治 agent system → physical AI。

4️⃣Scaling law 怎么改写的
Kaplan / OpenAI（2020）：重参数、轻数据。
Chinchilla（Google，2022）修正：参数和数据应同比 scale，最优约 1:20，一个参数配 20 个 token。

5️⃣Ilya“pre-training is over”要打折看
人类数据总量估在 100 万亿～300 万亿 tokens，增长是亚线性的，模型吃到某个量级就走平，2026 年前后确实差不多用完。
国内还有 runway：Kimi、智谱、DeepSeek、千问训练数据大多还在 30T～50T，离 100T～300T 很远。不是不想一次 scale 到 100T，是 C=6ND，D 一加，算力需求暴涨，撑不住。真数据用完之后的路：数据复用、合成数据、多维 scaling（pre-training + test-time scaling）。

6️⃣DeepSeek V4.1 Flash
唐杰认为是 architecture 上比较成功的改动：把 KV cache 大幅砍掉，显存占用明显下降。

7️⃣行业里的冷判断
▫️AI 在全面“去人化”，逐步替换掉人参与的环节，指向 RSI。
▫️国外头部和国内头部彼此都很了解，情报基本透明。
▫️真正把万亿参数训明白仍是稀缺能力：国内正经训出来的没几家，榜单好看不等于真训出来了。

课后作业也硬：C 恒定时，用 Kaplan 0.73 和 Chinchilla 0.5 各推一遍 N 与 D 怎么分。

#智谱 #唐杰 #清华 #scaling #大模型 #DeepSeek #GPT5 #Zai #Zcode

[Samip @industriaalist]

We've figured out how to *pretrain transformers* with zeroth-order optimization and no backprop.

Many of the core assumptions in optimization research are completely wrong.

(paper out soon)

[头雁 @alacheng]

加州大学伯克利分校（UC Berkeley）Agent /人工智能 免费公开课

主讲：
Dawn Song（加州大学伯克利分校教授）
陈新云（Meta 研究科学家）

特邀嘉宾：有openai的技术副总裁，英伟达的研究科学家，openai的联合创始人等

第一条线：训练管线，不是 prompt 工程。
OpenAI 的 Yann Dubois 那讲值得先听。他把预训练、reasoning RL、post-training 拆开讲：聊天机器人和 agent 的差，不��会不会调工具，在环境和反馈是不是闭环。NVIDIA 的 Jiantao Jiao 接着讲 verifiable agents——代码、浏览、任务完成，能不能被验证，比 Arena 分数重要。微软 Weizhu Chen 那讲更土一点，讲训 agentic model 时数据、环境、reward hacking 怎么把你坑死。

第二条线：评测这件事被高估，也被低估。
课里专门有评测周，Meta 的 Sida Wang 讲 LLM benchmark 里那种可预测的噪声。现在外面一堆 leaderboard，很多人当真理。这门课比较少吹榜，比较多讲误差条、不可复现、评测本身就是攻击面。做 agent 的人，这块不补，后面全是自嗨。

第三条线：多智能体和具身
Noam Brown、Oriol Vinyals 两讲是博弈和协调那条老脉络进到 LLM 时代。Peter Stone 那讲把 agent 拉回身体和环境——他自己那句话也对：agent 一定要有环境。这和现在一堆个人助理硬件、���器人、仿真到真机是同一条河的上下游。James Zou 用 agent 做科学发现，Clay Bavor 讲 Sierra 那种真上线客服 agent，一个偏科研自动化，一个偏产品实现。

第四条线：安全不是附录。
Dawn Song 收尾那讲必听。agent 一旦能读文件、调工具、上网，prompt injection、工具滥用、后门、红队，已经不是聊天机器人那套对齐故事了。她这条线跟她自己做的安全研究是连着的，不是客串站台。时间不够就听这五讲：Dubois、Jiao、评测/Sida Wang、Bavor 或 Weizhu、Dawn Song。多智能体加 Brown/Vinyals，机器人加 Stone。

https://t.co/lnZ4UR7F0M （包括youtube视频，ppt课件）

[Nile Zhou @NileZhou]

@QPHutu Thanks for your excellent work!

[Nile Zhou @NileZhou]

@anorth_chen 大佬为什么决定从杭州到深圳呀

[Max For AI @MaxForAI]

中秋快乐！刚刚看到一篇新论文 Memory Attention，感觉可能是个划时代的新注意力架构，给大家分享一下。

MA这篇的核心是Transformer 里的 V，可能根本没必要每次都重新算。

所以直接开始动 Attention 里最经典的 QKV 结构了。

传统 Attention 里，每个 token 都要从当前 hidden state 重新计算：

Q = XWq
K = XWk
V = XWv

但本文作者 @Jo1uck 问了一个很朴素的问题：
V 里面有多少东西，真的需要每次根据上下文重新算？

同一个 token 在不同句子里，显然存在大量可以复用的信息。

于是他们参考 Engram 这类 Memory 架构，给每个 token 建了一套可学习的 memory，然后更激进地把独立的 value projection 直接干掉：

V = K + Memory[token]

K 负责保留上下文信息，Memory 负责保存 token 自身可以复用的信息。

这样推理时，原来计算 V 的一次矩阵乘法，基本就变成了：查表 + 加法（这会大幅减少计算量）。

然后事情开始变得有意思了。

因为 Memory 只跟 token ID 和层数有关，所以甚至可以提前知道要读哪块数据，直接把这部分参数扔到 CPU，GPU 需要的时候提前 Prefetch。

实验里，MA-Offload 模型总参数是普通模型的 2.08 倍，但 GPU 上实际常驻的参数反而比普通 Transformer 少了 7.38%，推理延迟基本维持在同一水平。

训练上，在两个不同规模实验里，达到相同 loss 所需 token 数分别提升到了 1.42× 和 1.16× 的 token efficiency，也就是大约少用 29.6% 和 13.8% 的训练 token。

下游平均成绩也基本都比对应的 Standard Attention 更高。

更骚的是，作者还提出了一个 MA-Recall：

既然历史 V 可以通过 K + token memory 重新构造，那么理论上甚至不用一直保存完整的 V Cache，只保存 K 和 token ID，在需要的时候把 V 重建出来。

按论文的理论计算，这部分 KV Cache 可以砍掉接近一半，不过目前还只是分析，没有进���实际推理实验。

我觉得这篇的方向挺值得关注的。

过去大家做 Memory，更多是在 Transformer 外面继续加东西。

Memory Attention 开始反过来问：既然 Memory 已经能记住这些东西，那 Transformer 里面原来那些计算，是不是可以直接删掉？

当然论文自己写的也很克制：MA 用了更多参数，所以目前的收益还不能证明全部来自架构本身，而不是单纯的参数量增加。

但如果这条路继续成立，下一代模型的变化可能不只是 Attention 越做越复杂。

也可能是我们用了快十年的 QKV，终于开始有人认真考虑：哪些东西其实根本不用算。

[夙愿学长 @suyuan1711]

Opus 5.5 绝对是目前最强大模型，可 Claude 号一被封，模型再好也用不上。

从被封三十多个 Claude 号，到现在稳定用着三个 Max 20x。

我把 IP指纹、注册、电脑环境和网络、付款、到订阅和续费，KYC 如何处理都写到这���了

建议收藏慢慢看，有问题随时评论区里提问～ https://t.co/kyTDOudLrh

[Flora @nannan07788]

认知低的七大表现：
一、犟。
二、窝里横。
三、习惯性反���。
四、情绪化。
五、爱记仇。
六、从不认错。
七、小事吵不停，中事拎不清，大事扛不住

[Wei @wei_wang]

MiMo V2.6 这次最值得看的，远不止 Artificial Analysis 排进前六。

小米同时放出了 Pro-RL 和 Flash-RL 权重、技术报告，以及一整套 Agentic RL 开放计划。模型上线距离最终 RL Run 启动还不到一周。更激进的部分，是他们接下来会开放约 7000 个训练���务、环境、验证器、RL 框架和一个 9B 蒸馏模型。

这次发布想验证一件事。

大模型能力能不能继续靠 Agent 在真实环境里探索，再利用可验证结果和模型评审，把经验送回训练系统。

先看模型本身。

MiMo-V2.6 Pro 是 1.02T 总参数、42B 激活参数的 MoE。Flash 是 310B 总参数、15B 激活参数。Pro 每层有 384 个路由专家，每个 token 激活 8 个；Flash 有 256 个专家，同样激活 8 个。

两者都支持 1M tokens 上下文，并原生接收文本、图片、视频和音频。

Flash 的语言主干有 48 层，其中 39 层使用 Sliding Window Attention，9 层使用 Global Attention。Pro 是 70 层，60 层 SWA，10 层 GA。局部窗口只有 128 tokens，全局层周期性补回长距离信息。

这个设计很现实。1M 上下文如果每层都做全局 Attention，Prefill 和 KV 成本会迅速膨胀。多数层只看附近 128 tokens，少数层负责整合全局信息，可以把长上下文的计算压下来。

第一层单独使用全局 Attention 和 Dense FFN，后续 MoE 层没有 Shared Expert。

多模态也没有简单地外挂几个旧 Encoder。

视觉部分是一个 681M 参数的 MiMo ViT，共 28 层，使用 24 层局部 Attention 和 4 层全局 Attention，训练量超过 4T image tokens。

局部层交替使用横向和纵向 token 排列，让信息跨窗口传播，处理高分辨率图像和视频时少做大量全局计算。

音频先经过 308M 参数的 Audio Tokenizer。它在两千万小时音频上训练，把声音压到每秒 25 帧，每帧由 20 个 RVQ codebook 表示。

随后一个 127M 参数的 Patch Encoder 把每四帧合成一个 Patch，最终把进入语言主干的音频速率降到每秒 6.25 个表示。

预训练规模也很大。

Flash 一共训练了 48T tokens，前 26T 是纯文本阶段，后 22T 是全模态阶段。Pro 共 30T tokens，其中 27T ���本、3T 全模态。

上下文从 32K 起步，中途扩到 256K，1M 长度主要在后续 Agentic 训练和推理系统里使用。

推理侧自带一个五层 MTP 草稿模型。

它采用 DFlash 风格的 Block Diffusion，一次前向预测后续 7 个 token，再由主模型并行验证。五层全部使用 1024 窗口的 SWA，避免草稿模型自己又背上一份昂贵的长上下文 Attention。

RL 部分带来了这次最有意思的变化。

小米把这套方法称为 You Only RL Once。

代码、通用 Agent、视觉任务和网络安全没有各训一套独立模型，而是放进同一次 Mixed RL Run。不同任务还会随机配给不同 Agent Harness，让模型学到的策略不至于绑死在某一种工具协议和提示模板上。

每个训练 Step 会抽取 1568 个 Prompt，每个 Prompt 生成 16 条 Rollout，一步大约产生 2.5 万条轨迹。

总训练量达到 27 亿到 37 亿 tokens，平均���条序列约 11 万到 15 万 tokens。

这已经不是常见的短数学题 RL。一个 Step 里塞进的是长时间运行的代码 Agent、浏览器任务、视觉环境和安全实验。

整套训练使用完全异步的 GRPO 和 Partial Rollout。某些 Agent 没在当前周期内完成，可以暂停后进入下一轮，不必让所有 GPU 等最慢的一批任务。

代价是训练数据来自稍早版本的策略，报告里的 staleness 设置为 4。

这轮 RL 的公开成本也很少见。

Pro 后训练花费约 260 万美元，Flash 约 90 万美元。Pro 的成本里，Rollout 占 43.8%，Grader 占 24.3%，训练本身占 31.9%。

模型写答案只是第一笔成本，判断这些答案到底好不好已经接近四分之一。

为什么 Grader 会这么贵。

普通 Agent RL 通常只看最终测试是否通过。同一组 16 条轨迹里，只要都通过测试，它们可能得到相同奖励。

可其中一条也许改动准确、步骤很短，另一条绕了很久，还留下脆弱实现。二元 Pass 或 Fail 看不见这个差别。

MiMo V2.6 增加了两层组内评审。

GRS 会在离线阶段比较同一任务的多条 Rollout，自动生成针对这个任务的评分 Rubric，再把 Rubric 评分和测试结果合起来。

GAR 则在在线训练时比较已经通过验证的轨迹，重新分配组内 Advantage。

质量更高、路径更短、token 消耗更少的解法获得更多正向信号。模型会同时学习完成任务和减少不必要的步骤。

这里所谓的 Self-Improvement，需要放在准确边界里理解。

模型还没有自行修改训练代码，也没有脱离人类控制递归升级。它做的是在大量可交互环境中生成自己的候选轨迹，再由测试、规则和 Agentic Grader 比较这些轨迹，把差异变成下一轮训练信号。

这是一条受控的自我改进回路。

他们还专门处理了 Reward Hacking。训练环境先经过攻击 Agent 检查，验证器之间互相交叉核对，发现利用评测漏洞的轨迹会被剔除。

模型生成错误工具名、畸形参数或异常格式时，惩罚也会落到具体 token，而不是整条长轨迹一起背锅。

MoE 在 RL 中还有一个很实际的问题。

Router 会随着策略更新逐渐漂移，少数专家越来越忙，大量专家变冷，最后造成负载崩塌。

小米的实验显示，重置 Router 后负载会恢复，专家权重本身没有坏。最终训练因此直接冻结 Router，只更新其他参数。

Mixed RL 结束后，他们又加了一轮 MOPD2。

传统蒸馏会让 Student 从头生成完整轨迹，长 Agent 任务非常浪费。MOPD2 把 Teacher 轨迹或 SFT 演示切成多个历史 Prefix。

Student 从每个决策点继续生成一轮，Teacher 只监督这个新回合，不需要反复生成前面的几十轮历史。

这让科学研究、���戏开发和具身智能这类难以编写可靠 Reward 的任务，也能吸收不同 Teacher 的能力。

最终成绩能看出这轮 RL 的幅度。

Pro 在 DeepSWE v1.1 得到 71.9，接近 Claude Opus 5 的 74.0 和 GPT-5.6 Sol 的 73.0。AutomationBench 达到 53.1，高于报告中的三款闭源模型。Terminal Bench 2.1 为 89.9，OSWorld Verified 为 82.0。

Flash 在 DeepSWE 得到 67.9，AutomationBench 52.3，Toolathlon Verified 73.6，OSWorld Verified 80.8。CyberGym 甚至达到 95.1，高于 Pro 的 94.0。

短板同样明显。

Pro 在 Terminal Bench 4.0、ExploitGym、ExploitBench 和 SEC Bench Pro 上仍落后于最强闭源模型。Flash 在高难安全任务上的差距更大。

官方表格说明 MiMo V2.6 已经进入前沿 Agent 模型区间，还不能证明它全面超过了 Opus 或 GPT。

这次最有长期价值的，可能是开放部分。

小米会发布 MiMo-V2.6-Distill-Qwen-9B。它以 Qwen3.5-9B 为底座，使用 MiMo 生成的 774 亿 tokens 做 SFT，其中 272 亿 tokens 参与 Loss。

数据覆盖代码、通用知识工作、视觉开发和网络安全。

配套环境约有 7000 个任务，包括 3000 个软件工程任务、1000 个漏洞复现任务、1000 个通用知识工作任务和 2000 个视觉开发任务，另外还有约 1000 个音乐生成任务。

每类任务都带对应验证方式，从可执行测试、规则检查到 Rubric 和视觉评分。

9B 模型经过 SFT 后，SWE-bench Pro 从原始 Qwen3.5-9B 的 32.0 提升到 44.6，AutomationBench 从 5.0 提升到 30.3。

继续使用开放环境做 GRPO 后，SWE-bench Verified 达到 66.2，Terminal Bench 2.1 从 37.1 升到 52.8，视觉编码评分从 64.0 升到 72.4。

更关键的是 Harness 泛化。

训练时使用四种 Mini Harness，再到 Codex、Claude Code 和另一种未参与训练的 Harness 上评测，21 个数据集与 Harness 组合全部优于原始 Qwen3.5-9B。Multi-Harness RL 又让所有组合继续提高。

这比只发一份模型权重更接近完整的开放���究。

别人可以看到任务、环境、验证器和训练框架怎样配合，也可以从同一个 9B 起点复现实验，检查提升到底来自数据、Reward、Harness 还���算力。

本地部署方面，Flash 才是大多数人的现实目标。

Hugging Face 上的 Flash-RL 约 165.5GB，Pro-RL 约 534GB。

Flash 原生 FP8 权重已经进入双 DGX Spark、大内存 Mac Studio 或多卡工作站可以研究的范围。Pro 即使有 512GB 统一内存也会非常紧张，还要为运行时、KV Cache、视觉和音频 Encoder 留空间，实际更适合多卡服务器。

官方 SGLang 配方使用 TP8、DP2 和 Multi-Layer EAGLE，说明追求完整吞吐时仍然是数据中心级部署。vLLM 目前也可能落后于新架构，需要指定预构建镜像。

1M 上下文是模型上限，不代表任何硬件都能同时给它分配完整 KV Cache。

所以 MiMo V2.6 最强的信号可以分成两部分。

模型能力已经逼近第一梯队，Flash 还把全模态、1M 上下文和 Agent 能力放进了相对可部署的体积。

更重要的是，小米公开了大规模 Agentic RL 的方法、成本、失败模��和即将释放的实验材料。社区第一次有机会从任务环境一路追到训练结果，而不只是在模型发布后猜它用了什么数据和 Reward。

如果约 7000 个环境、验证器和 RL 框架能够按报告完整落地，这次发布的价值会超过 MiMo V2.6 本身。

权重让大家使用一个模型。

环境和训练系统，才可能让大家继续造出下一批模型。

[Sac @Saccc_c]

卧槽，居然真有比Codex内置computer use更快的操作电脑的方式

我尝试用Codex+Jev打造了一个加强版computer use，我称之为「Jev Use」。比内置的更快更丝滑，token消耗却差不多

下面是我用「添加Mac日历事件」做了一个对比视频，同样的内容，明显可以看到Jev版本整体过程几乎无任何停顿😆

[Gregor Zunic @gregpr07]

Breaking: Browser Use + Jev = Ultrafast ⚡

Findings flights took 7s and cost only $0.0039 🤯

> new action space every step
> DOM state space
> small LLM fallback to type

(this video is at 1x speed btw)

Built a tiny open source browser agent. try it below ↓

[Max Ryabinin @m_ryabinin]

RL with LLMs is very unstable when training and sampling policies differ. Standard fixes (matching numerics, importance sampling) work around the problem.

We find the root cause of this instability from first principles and propose a way to directly cancel it. Score Centering is competitive and compatible with existing approaches — while simple to implement!

🧵 [1/6]

[AYi @AYi_AInotes]

清华大学和无问芯穹等团队刚刚开源了一篇注定载入史册的重磅论文（已收录于 ICLR 2026，代码已开源）：
他们彻底打破了所有多智能体（Multi-Agent）系统的底层范式——
大型语言模型之间，从今天起可以彻底不通过人类文字进行直接交流了！

这项被称为 C2C（Cache-to-Cache，缓存到缓存）的技术，
开篇就指出了全网 Agent 协同里最愚蠢、也最昂贵的一个死穴：
为什么两个跑在同一台服务器里的超级 AI，交流时非要像人类一样，
把脑子里极其丰富的高维思考，硬生生压缩成一个个英文或中文单词打给对方看？

现有多 Agent 协同的痛苦，做过工程的人都懂：
模型 A 思考完，必须经历极其漫长、吃显存带宽的逐字解码（Decode），慢吞吞吐出一大堆文字；
模型 B 拿到这堆文字，再重新过一遍分词和前缀计算。
这一来一回，不仅丢失了海量微观的语义细节，更造成了毁灭级的延迟和 Token 账单！

清华团队这次做了一件极其惊艳的体系化反叛——C2C 脑电波直连：

1️⃣ 彻底消灭中间文本，直接做“思维投影”：
模型 A 算完后，根本不生成任何文字，
系统直接用一个轻量级神经网络（Neural Fuser），把模型 A 的注意力记忆（KV-Cache）通过高维空间旋转和对齐，直接嫁接、融进模型 B 的 KV-Cache 脑内！
这相当于人类交流跳过了声带和耳朵，直接把我的记忆切片瞬间印进你的大脑；
2️⃣ 可学习的智能门控（Gate 机制）：
不同模型的网络层数和结构各不相同，直接硬灌肯定会神经错乱。
论文设计了一套精妙的可学习门控：
大模型会自己动态感知，精确挑选哪些关键层吸收外部缓存的增益最高，哪一层该保持独立思考，毫秒级自适应配平；
3️⃣ 极其残暴的工业基准成绩：
• 彻底消灭中间所有的文本解码等待，推理速度直接飙升 2.0 到 2.5 倍；
• 综合问答准确率比单模型最高暴涨 14.2%；
• 最狠的是：它的表现比传统用文字互相聊天的 Agent 团队，还要高出整整 5%！
因为在直接的语义融合下，原本会被文字丢弃的逻辑细微特征，全部被完整保真保留了。

这篇论文最刺痛人的一层哲学启示在于：
人类一直自豪地以为，自然语言是这个星球上传递智慧最完美的介质；
但在机器与机器的交互世界里，人类语言不过是一道充满歧义、极其拥挤的低速单行道。

当两个模型不再需要通过文字向对方妥协，
它们正在绕过人类的喉咙，
在冰冷的显存带宽之间，编织出一座全人类根本听不见、却快得不可思议的超高速无声神经网络。

[幻觉工程师 @hocyzon]

程序员们是悲观的。

看了刘胜的文章深有感触，我讲讲我看到的其他例子。

跟一个字节的同学聊，现在大厂里的程序员们都重新把软件工程捡起来了。

AI使得东西跑��来的成本趋近于零，所以瓶颈变成了这东西以后还能不能改。

但这件事，网上几乎没人写教程，因为没踩过坑的人写出来全是正确的废话；踩过坑的人都签了保密协议，没法讲。

最近看了个朋友的经历，在米哈游做实时几何，跟Nanite细分有关。

第一晚扔给AI跑long-horizon调研，���案听起来天衣无缝。mt给否了，原因是他试过，代码里写死的限制，绕不过去。

后来换方向，两个月出原型，画面还不错，他以为成了。提交前review，两三百个文件，点开发现连自己写的类名都陌生。

老大搬椅子坐旁边陪他看，最后也绷不住了，又重构了两个月。之前ai省的时间没消失，连本带利推迟到了review、debug和重构里。

我创业后也是天天用AI做产品。我发现 vibe coding的核心问题是让你误以为，东西做出来了就是完成了。
真正的完成还包括能改，能解释。短期看，这确实是瓶颈，值得补；但长期看，这恰恰是最容易被沉淀成数据的部分。

再想想，程序员们现在花大力气review、重构、补软件工程，本质上是在给AI标注数据。踩过的坑、否���的方向、把一坨 slop重构成能维护的系统的全过程，都是高质量的思维链。

只不过现在这些数据集是非公开的，试错成本由公司内部承担，沉淀在大厂自己的代码库里。

而趋势不会停。等vibe coding的人越来越多，也就代表着模型的软件工程能力总有一天会补上，程序员现在补的东西也会过时。

程序员们是悲观，因为他们隐约知道：自己现在的努力，有相当一部分是在替下一代模型打工。

[Percy Liang @percyliang]

Glad to see another live training run! Here's how Marin 535B-A23B is doing today: https://t.co/Bc3CcV4FOm
Anyone else want to share?