Robot

技術和科學 健身

[Atsuyuki Miyai @UTokyo @AtsuMiyaiAM]

🚀 #ECCV2026 𝐈𝐧𝐭𝐫𝐨𝐝𝐮𝐜𝐢𝐧𝐠 𝟑𝟔𝟎𝐂𝐢𝐭𝐲𝐀𝐫𝐞𝐧𝐚 🌆🧭

"Can AI truly understand and navigate a real city?"

We introduce 360CityArena, a realistic urban navigation benchmark built from 360° videos of Akihabara, Tokyo. 🇯🇵
🏙️ Our arena:
✅ 602 real-world 360° videos*
✅ 85 streets*
✅ 175 navigation & spatial reasoning tasks

💡 Our mission:
Evaluate whether AI agents can understand, navigate, and reason about real-world urban environments.

The gap is still huge:
👤 Human: 77.3%
🤖 Best LMM-based agent: 17.1%

What will it take for AI to truly navigate the cities we live in? 🌏🤖

✨ The entire environment and all tasks are fully open-sourced, so anyone can build, evaluate, and explore with 360CityArena.

📄 https://t.co/GUZhpSIWL0
🌐 Project Page: https://t.co/UnhReKr9Qr

*: from 360RVW [Takenawa+] (our group's work)

#360CityArena #EmbodiedAI #MultimodalAI #UrbanNavigation

[Tencent Hy @TencentHunyuan]

Introducing Hy3D WorldClaw——an agentic workflow that generates large scale 3D open worlds from text prompts.🚀🚀🚀
Not video, Not Gaussian Splatting, Every scene generated by WorldClaw is freely explorable and built entirely from editable, game-ready 3D assets with high-quality geometry and textures.
Project Page: https://t.co/KJXFWHLb1S

[AYi @AYi_AInotes]

昨晚凌晨开源的基于人大聂辉华教授的《基层中国的运行逻辑》做成的 skill，早上醒来很多人收藏了，

但估计很多人还不知道装完第一件事该干什么，
我从最痛、也最容易被分数线带歪的场景讲起：求学。

高考志愿、跨城读书、读研落脚，
90% 的家庭只比三样：学校牌子、专业热度、录取分。

这三样都重要，但它们解释不了另一半现实：

1️⃣为什么同样一本线，有人去了副省级城市，
2️⃣四年后实习、落户、同学网络完全是另一个世界；
3️⃣为什么「山河大学」焦虑、环江西 985 梗能传成梗，

其实也不是网友们矫情，是资源按城市等级分配这件事本身太硬了。

聂辉华那本书里写得很清楚：
城市等级与权力运行，本来就是给个人读书、就业、养老决策用的。

这个 skill 在求学场景里，干的就是一件事：

把「只比学校」，升级成「学校 × 城市等级 × 就业市场」三维表。

它不会替你填志愿，也不会报某校冷热榜，
它帮你先把制度滤镜戴上，再去查分数和专业。

求学场景，它到底值在哪？

1、把隐性资源显化
好大学高度集中在副省级以上城市，
北上和一批高能级城，教育与机会的外部性更厚。
skill 逼你先问：目标城市在行政金字塔哪一层？
而不是一上来只盯校名。

2、解释「同分不同命」
同叫区、同叫街道，级别可能差两级，
教育资源、编制岗位、实习密度完全不是一个量级。
家长以为在比学校，其实经常在比城市能级。

3、给中西部/普通地级一个清醒坐标
不是不能去，是要看你站在虹吸端还是被虹吸端，
专业能不能对接当地支柱产业或园区，
有没有「读完回流」的真实选项，而不是空喊奉献。

4、区划变动也能算进家庭账
撤县设区一类变化，教育和医疗供给常常跟着变，
skill 会把这类「政策外部性」单独拎出来，
避免只按今年分数线做一次性决定。

一句话：
求学决策里，学校是显变量，城市等级是隐变量。
skill 负责把隐变量拉到台面上。

[Shumpei Takezaki @shumpeiMaxwell]

Sekai2: From World Exploration to Interactive World Modeling

TL;DR: A large-scale video dataset for interactive world models, combining long-form videos, camera trajectories, temporally grounded semantics, and revisits. Its 360° revisit-rich videos target long-term spatial memory and consistent world generation.
https://t.co/VX5dzOREqX

[Serena 木瓜 @369Serena]

太离谱了，我刚刷到一个 GitHub 项目：img2threejs

给一张参考图，让 Agent 把这个物体重建成纯代码的 Three.js 模型

可以跟 Codex 串成一条很小但完整的 3D 资产生产线。

比如这个思路：

1️⃣先让 Codex 用 ImageGen skill 生成一张 low-poly 参考图

2️⃣再把这张图喂给 img2threejs skill

3️⃣ 它会把物体重建成 code-only 的 Three.js 模型

4️⃣最后继续让 Codex 做一个 asset editor

这样你拿到的是一个能跑在浏览器里的 3D 对象：

可以旋转，可以动画，可以改参数，还能继续做变体。

感觉它可以用在：

网页展示、小游戏那种资产、AI 视频、电商的小玩具？

Github：
https://t.co/RL2xsl8eCM

[Max For AI @MaxForAI]

刚刚，一篇可能会引起大模型圈地震的论文发表了！

研究人员第一次系统性地从 OpenAI、Anthropic、Google 的闭源模型里，大规模“偷”出了真正的隐藏思维链。

然后，他们顺手拿这些思维链去研究了 Kimi K3、GLM-5.2、DeepSeek 等一批开源模型。

结果非常有意思。

01｜原来闭源模型的 CoT，真的可以被“偷”出来

现在 OpenAI、Anthropic、Google 都越来越不愿意把完整思维链交给用户。

原因也很好理解：最终答案可以抄，真正值钱的是模型“怎么想”。

一旦完整 CoT 被批量拿走，就可以直接拿去做蒸馏，训练自己的模型。

所以现在很多 API 的做法，是把模型的 reasoning 加密以后返回给客户端。你看不到内容，但下一轮请求可以把这坨加密数据再交回模型，让它继续思考。

结果研究者发现了一个很离谱的漏洞：

这些加密思维链，在同一家厂商的不同用户、Session，甚至不同模型之间，居然可以互相兼容。

于是攻击方法简单得有点荒谬：

让最强模型思考 → 拿到加密 CoT → 扔给同厂更弱、更容易越狱的模型 → 让小模型把它解出来。

比如 Claude Opus 4.8 的隐藏思维链，可以交给 Haiku 去“念”出来。

你甚至不需要攻破 Opus，找它的小弟Haiku就行。

论文最终在 Claude、GPT、Gemini 三套 API 上都实现了隐藏 reasoning 的提取，等于直接绕过了厂商原本用来防止 CoT 蒸馏的那层保护。

[Melooo/资源记录库 @BlackMelooo]

现在许多人抽屉里都有很多USB-C 的线，长得几乎一样，速度和充电能力却能差一大截。

最近发现 WhatCable 这个小工具挺实用，插到 Mac 上就能直接看这根线能跑多少速率、多少瓦，还会帮你找出到底哪里拖了后腿。

以后自己抽屉里的线终于不用靠猜了。刚刚亲自试了一下，结果如图，真的是非常方便，常驻Mac菜单栏也方便。

[yibie @yibie]

独立开发者用约 200 美元租 GPU，从零训练出一个 1B 参数 LLM——从数据到部署的完整管线连同权重一起开源。

《我花了约 200 美元，在 20B token 上从零训练了一个 1B 参数 LLM》

Gemmeh：约 200 美元，从零训练一个 1B 参数 LLM

作者自述，这个项目花在租用 GPU 上的钱约 200 美元：一台 H100 跑完 1B 模型的 20B token 预训练（约 5.4 天），加上消费级显卡上的小模型 run 和 LoRA 微调。

Gemmeh 是一个从零训练的 decoder-only transformer 语言模型，架构灵感来自 Gemma 3。项目覆盖全栈：数据集整理、tokenizer 构建、三个规模（185M、500M、1B 参数）的预训练、LoRA 微调、基准评估、RYS 层复制实验复现，以及 vLLM 和 llama.cpp 双框架部署，还附带一个浏览器 demo（https://t.co/hiVdU5Dhof）。

模型只用 2024 年之前的数据训练（刻意设置知识截止点），这让作者能做"惊喜度"实验：用 logprobs 衡量一个超出截止时间的事件，在模型视角下有多可预测。示例里，模型对欧洲杯测试提示的 token 级 logprobs 显示，西班牙（实际结果）并不是排名最高的 token。

架构

纯文本 decoder-only transformer，紧密跟随 Gemma 3，主要区别是没有滑动窗口注意力。

三个规模的设计决策对比：

• 总参数量：185,641,728 / 527,023,360 / 1,112,216,064（三个规模便于实证对比）
• 词表 32,768（Gemma 3 是 262,144）：纯英文，对齐 Llama；byte fallback 保证没有 UNK token；数字拆分为单个 token，数字处理更干净
• hidden size：768 / 1,280 / 1,536（按各规模参数目标缩放）
• 层数：12 / 20 / 30（凑参数预算）
• 注意力：GQA，6Q/1KV、6Q/1KV、8Q/1KV（KV 缓存高效）；head dim 256 保持一致，query 先投影到更高维注意力空间（如 1B 模型 8×256=2048）再投影回 hidden size
• 中间层大小：4,608 / 5,120 / 6,144，约 hidden size 的 4–6 倍，跟随 Gemma 比例
• 激活函数 GeGLU，与 Gemma 相同
• 归一化：RMSNorm，attention 和 FFN 块前后都做（pre+post）；用 QK-norm 替代 Gemma 2 的 logit softcapping
• 无局部/全局注意力划分（Gemma 3 是 5:1）
• 无滑动窗口：4096 的短上下文下内存节省微乎其微，而作者的滑动窗口实现会让训练吞吐掉约 30%，在租来的 GPU 上会显著推高算力成本——这是本项目最实质的取舍之一
• 位置编码 RoPE（θ=10,000）：单一频率基，不需要 Gemma 的 local/global θ 拆分
• 上下文长度 4,096：对这个项目的范围足够
• 权重绑定：输入嵌入复用为输出投影，省参数
• 无蒸馏：自定义 tokenizer 让教师蒸馏不现实

参考实现：公开的 gemma_pytorch 推理代码作为参考，训练实现是独立编写的。

数据集

预训练语料：FineWeb-Edu 的近期加权子集。 FineWeb-Edu 是 HuggingFace 从 CommonCrawl 过滤出的 1.3T token 教育网页数据集。混合刻意偏向近年，一是支持 2024 附近的知识截止评估，二是近年数据质量更高：

• 2023：约 8B token（5 个 dump）
• 2022：约 5B token（6 个 dump）
• 2021：约 3B token（9 个 dump）
• 2018–2020：约 2B token（6 个 dump）
• 2013–2017：约 2B token（8 个 dump）
• 总计：约 20B token，34 个 dump

下载脚本直接从各 CommonCrawl dump 采样。每个时段内 token 预算在各 dump 间平分；某个 dump 提前耗尽就跳过。验证集约 10M token，在流式下载时每个 dump 超出训练目标继续取一点生成，保证训练/验证同分布但不重叠。

文档边界被保留：tokenize 时文档之间用 <|endoftext|> 分隔，避免跨无关文本训练，也让模型学会自然的文档终止。

微调语料：OpenHermes。 LoRA 微调用的是 OpenHermes 数据集，2023 年底发布，不会越过知识截止。包含 242k 对聊天输入/输出，大部分采样自 GPT-4（单轮对话）。

Tokenizer

在 FineWeb-Edu 预训练语料上训练的 SentencePiece BPE，设计原则跟随 Gemma 3 的 tokenizer，但缩小为纯英文。关键特性：byte fallback（无 UNK，对任意 unicode/代码健壮）、数字拆分（每个数字独立成 token，数值推理更干净）、保留空白片段、预留控制 token（<start_of_turn>、<end_of_turn>、<start_of_thought>、<end_of_thought>、<|endoftext|>）供未来指令微调。

选型跑了两组扫描（全部指标在验证集 10,000 篇文档上评估）：

词表大小扫描（固定 1B 训练 token）：
• 8k 词表：bytes/token 3.884，tokens/word 1.598，词表使用率 98.0%
• 16k 词表：4.263 / 1.456 / 98.8%
• 32k 词表（选中）：4.546 / 1.365 / 98.9%
• 64k 词表：4.728 / 1.313 / 97.4%
• 参考基线 gemma-3-1b-it（262k 词表）：4.702 / 1.320 / 36.8%
• 参考基线 gpt-oss-20b（约 200k 词表）：4.836 / 1.283 / 38.7%

训练预算扫描（固定 32k 词表）：
• 1M token：4.435 / 1.399 / 94.1%
• 10M token：4.520 / 1.373 / 97.9%
• 100M token：4.544 / 1.366 / 98.9%
• 1B token（选中）：4.546 / 1.365 / 98.9%

三个发现：

• 词表增大效率提升明显：tokens/word 从 8k 的 1.598 一路降到 64k 的 1.313
• 训练预算超过 100M 后收益急速递减：1M 到 1B，tokens/word 只从 1.399 降到 1.365
• 验证数据与训练数据同分布且单语，所以"词表使用率"远高于多语的参考 tokenizer

最终选 32k 词表 + 1B token 训练：在保持验证集性能的同时，把最终模型的参数省下来。

预训练

标准因果语言建模：输入 x = chunk[:-1]，目标 y = chunk[1:]。全语料 tokenize 成二进制 .bin 文件，训练时用 mmap 访问，零 Python 开销。

所有 run 统一配置：AdamW（β₁=0.9，β₂=0.95，ε=1e-8），权重衰减 0.1，cosine 学习率（峰值 3e-4，最低 3e-5），梯度裁剪 1.0。全部跑在 https://t.co/fqEb7wLLYG 租的 GPU 上：185M 和 500M 用消费级显卡（RTX 3090、RTX 5090），1B 模型用 NVIDIA H100 80GB。

四次预训练 run（全部在 FineWeb-Edu 上）：

• pretrain-185m-2B：185M 参数 / 2B token / RTX 3090 / 约 19 小时 / 30,806 tok/s / 训练损失 2.925 / 验证损失 2.955 / 验证困惑度 19.21
• pretrain-500m-2B：527M / 2B / RTX 5090 / 约 17 小时 / 34,387 tok/s / 2.798 / 2.774 / 16.02
• pretrain-1B-2B：1.1B / 2B / H100 / 约 13 小时 / 46,282 tok/s / 2.701 / 2.717 / 15.13
• pretrain-1B-20B：1.1B / 20B / H100 / 约 5.4 天 / 46,221 tok/s / 2.340 / 2.392 / 10.93

两个对比直接回答了 scaling 的两个方向：

• 固定 2B token 预算做模型缩放：185M → 527M → 1.1B，验证困惑度 19.21 → 16.02 → 15.13
• 固定 1.1B 参数做数据缩放：2B → 20B（10 倍数据），困惑度降到 10.93；20B 的 run 用 10 倍长的 warmup 和更慢的衰减，并且远超 2B run 之后还在持续改善

模型权重：HuggingFace 上有 GGUF 三档量化（BF16、Q4_K_M、Q2_K），配 llama.cpp fork 使用。

评估（lm-eval）：20B 基座模型用 lm-eval 通过 llama.cpp 跑 BF16 GGUF 评测，与公开的基座模型数字对比：

• PIQA（0-shot）：Gemmeh 70.2 / Gemma 3 1B PT 73.8 / SmolLM2-1.7B 77.6 / Llama-1B 74.8 / Qwen2.5-1.5B 76.1 / SmolLM1-1.7B 76.0
• ARC-Challenge（25-shot）：Gemmeh 38.4 / Gemma 3 1B PT 38.4
• ARC-Easy（0-shot）：Gemmeh 57.3 / Gemma 3 1B PT 73.0
• WinoGrande（5-shot）：Gemmeh 52.2 / Gemma 3 1B PT 58.2 / SmolLM2-1.7B 59.4 / Llama-1B 57.8 / Qwen2.5-1.5B 59.3 / SmolLM1-1.7B 54.7

全面偏低是预期的：这个模型只训了 20B token，而参考模型是数千亿到万亿；32k 纯英文词表 vs 128k–262k；也没有蒸馏。

注（2026-05-19）：早期版本表格用的是对 .pt 文件跑 lm-eval 的数值，新表改用 GGUF 文件；PIQA 和 ARC 用 acc_norm 以对齐 gemma3；ARC-Easy 修了一个笔误。HellaSwag 暂时从评测套件移除，因为走 GGUF 管线耗时太长。用 eval_pt.sh 评估原始 .pt 检查点得到的结果与 GGUF 数字一致。

LoRA 微调

方法：在 OpenHermes 上对预训练 1B 模型做 LoRA（低秩适配）。适配器注入 transformer 全部投影层——attention 的 q、k、v、o 和 MLP 的 gate、up、down。损失只算 assistant 回复 token：prompt token 用 label -1 掩码，在交叉熵里被忽略。

Run 参数（只在最大的 1B-20B 模型上做了一次）：
• 基础检查点：pretrain-1B-20B
• LoRA rank 16，alpha 32
• 目标层：q、k、v、o、gate、up、down
• 学习率 5e-5（cosine 衰减，最低 5e-6，10M token warmup）
• 250M assistant token
• GPU：RTX 3060
• 耗时约 52 小时

结果：训练损失 0.983（困惑度 2.67），验证损失 1.001（困惑度 2.72）。

微调后评估（同一条 GGUF 管线；基线是本地用同一脚本跑 unsloth 的 Gemma 3 1B IT Q8_0）：

• PIQA（0-shot）：Gemmeh 1B 基座 70.2 / Gemmeh-IT 71.4 / Gemma 3 1B IT 72.8
• ARC-Challenge（25-shot）：38.4 / 40.4 / 40.3
• ARC-Easy（0-shot）：57.3 / 57.6 / 63.4
• WinoGrande（5-shot）：52.2 / 54.0 / 55.1
• TruthfulQA（mc2，0-shot）：37.8 / 44.8 / 38.9

微调后四项常识基准全部小幅超过 Gemma 3 1B IT（本地重测值），TruthfulQA 从落后变成领先近 6 个点。

RYS 层复制实验

RYS（Repeat Yourself）检验一个想法：把连续的层块 [i, j] 复制一份，不经过任何训练，能不能提升性能？原作者的理论是：

"模型跑完一个完整的推理回路，产生一个精炼的中间表示，然后对自身的输出再跑一遍同样的回路。这是第二遍。一个机会，去抓住第一遍错过的东西，去精炼它的抽象，把推理再推深一层。"

为了在小模型上验证，作者在 1B-20B 检查点上对所有 (i, j) 组合做了网格搜索，用 HellaSwag 的 1000 个样本给每个配置打分。

结果：没有任何配置超过基线。 原作者在更小的模型上也观察到同样现象：

"存在一个参数临界质量，低于它，'推理皮层'还没有从大脑的其余部分分化出来。"

部署

模型集成进了两个推理框架：

• vLLM：用 vLLM 的层定义模型架构，写了一个自定义文件以 OpenAI 兼容 API 端点提供服务，开箱即用
• llama.cpp：需要自定义 fork——原版 Gemma3 架构用不了，因为作者版本没有滑动窗口注意力，也没有融合 QKV。按官方 HOWTO-add-model 指南实现，所以模型只能用在这个 fork 里做演示；还给 llama-server 打了些补丁以便配合 lm-eval 评测

前端 demo 部署在 Google Cloud Run（https://t.co/XKrxXqj9AF），提供：

• token 级 next-token 检查（logprobs + top-k 备选），支持 gemmeh、qwen 1.5 0.5B 和 llama 3.2 1b
• gemmeh-it 的最小聊天界面，支持流式响应

复现这个项目

依赖用 uv 管理（uv sync --extra all）。全流程七步：

1. 下载数据：预训练语料是 FineWeb-Edu 的近期加权子集，约 80GB（HuggingFace 账号非必需，但能提速）；微调语料是 OpenHermes 2.5。

2. 训练 tokenizer：在下载的语料上训练 SentencePiece BPE，扫描实验可复现，例如 uv run -m gemmeh.tokenizer.pipeline --vocab_size 32768 --target_tokens 1000000000。

3. tokenize 语料：原始文本转成二进制 .bin 文件供 mmap 训练，8 个 worker 并行。

4. 预训练：改 model_config.py（模型超参，默认 1B）和 train_config.py（训练超参），uv run -m gemmeh.pretrain.train 启动。日志进 Weights & Biases，检查点按可配置的 token 间隔存到 checkpoints/。

5. 评估基座：两个脚本——eval_pt.sh（对训练中的原始 .pt 检查点评估，导出前用）和 eval_gguf.sh（对 GGUF 文件经 llama-server 评估，报告里的数字就是这么来的）。

6. LoRA 微调：改 finetune_config.py（base_checkpoint 指向基座路径，model_config 必须一致），uv run -m gemmeh.finetune.train。适配器检查点只有约 62MB，与基座分开保存。

7. 导出与部署：先把 LoRA 适配器合并进基座检查点（merge_lora），再导出成 HuggingFace 兼容格式（safetensors + config + tokenizer）。vLLM 直接 uv run -m gemmeh.vllm.server --model models/gemmeh；llama.cpp 走 fork：convert_hf_to_gguf → llama-quantize（例如 Q4_K_M）→ llama-server。

（可选第 8 步：跑 RYS 网格搜索，rys_search.sh + 热力图脚本。）

下一步

• 支持多 GPU 训练（数据并行）
• 评估 llama.cpp 量化带来的回归
• 在 2023 年 Wikipedia dump 上继续训练基座，看预测能力能提升多少
• 用多轮对话数据集微调
• 把小模型（185M、500M）也训满 20B token，可能让 1B 模型当监督者
• 支持更多架构

致谢

FineWeb-Edu（HuggingFace）、Gemma 3 技术报告和 LLaMA 论文（架构灵感）、gemma_pytorch（实现参考）、RYS: Repeat Yourself（层复制实验）、OpenHermes（微调数据）。

原文：https://t.co/4bB1XlDeY7
#LLM #从零训练 #开源

[Bilawal Sidhu @bilawalsidhu]

What if every video you ever shot could turn into a permanent 3D hologram in the exact place it happened?

I did it with photos first. Now I can do it with any video.

Here’s a mama deer and her baby deer, filmed with my iphone a few days ago -- now floating as geo anchored holograms exactly where I captured them.

[Tom Dörr @tom_doerr]

Builds 3D dynamic scene graphs on the fly using SAM segmentation, BotSort tracking, and VLM grounding

https://t.co/tT2fCbjp32

[Ryohei Sasaki@engineer @rsasaki0109]

Github
https://t.co/4guW7pxTBd

[Over devs Reality 🌐 @OVRdevsReality]

We mapped an entire shopping mall - around 50,000 m² - by walking it with an Insta360 X5. 17,959 fisheye camera poses, all registered. Then we relocalized an ordinary phone video against it, frame by frame.

99.9% of frames relocalized. Median pose jitter: 1.7 cm.

[Geek @geekbb]

Pi 的 600 行教学版

把上万行的生产级 AI coding agent pi 拆成 600 行 TypeScript 教学版，让初学的人跟着文章从零写一个能读文件、改代码、执行命令的 agent。

https://t.co/wwKTbtlW5C

[Sadao Tokuyama @tokufxug]

オーストリア工学研究所（AIT）の建設現場向けリアルタイム3D SLAM「SLAMLab」の検証事例

🔹過酷な建設現場データで性能を検証
🔹GPS・カメラ不要、「LiDAR＋IMU」のみでリアルタイム点群化
🔹作業員用「ヘルメット型システム」も開発、現場のデジタルツイン化へ活用期待

情報元はリプ欄

[Xudong Han @Xudong07452910]

推荐一个 Agent 自进化领域不错的开源项目：OpenRSI，目标是把「AI 改进 AI」这件事做成真正可运行、可验证的工程系统。

它先从机器学习工程切入，搭了一套完整闭环：Agent 写代码、运行实验、拿到真实反馈，再通过 Draft、Improve、Debug、Crossover 四种操作继续改进。整个 OpenMLE 栈把任务环境、SFT/RL 训练和长时搜索都开源出来了。

项目还训练了一个 35B 的 Frontis-MA1，专门学习「怎么改进机器学习程序」。在固定 OpenMLE-Evo Harness 下，它把 MLE-Bench Lite 的 Medal Average 从基座模型的 39.39% 提到 60.61%；换成更强的异步搜索系统后达到 71.21%。

这个项目的目的是把自进化从一个很抽象的概念，拆成了一个可以反复运行的循环：

生成 → 执行 → 验证 → 从结果继续改进。

不过项目自己也很克制，目前更准确地说是在做 Meta-Evolution，还没有宣称解决通用 RSI。

最近在关注 Agent 自进化的话，这个项目很值得仔细看。

项目：
https://t.co/bKXGRSIqwk

[howie.serious @howie_serious]

晚点 latepost 对田渊栋的podcast 访谈，90 分钟接近一部电影的时长，今天刚听完。访谈聊他离开 meta 创业做 rsi （recursive self improvement，递归式自我进化），也聊大模型什么时候才能算一门科学。

分享一些重点笔记。

- 「大模型现在还不是科学，但终将变成科学」。模型今天仍然是个黑箱，找到黑箱背后的基本原理，既能让它更强，也能让它更安全。他的行动路径叫 rsi，用 ai 让 ai 自我进化、自我迭代，去找到新的训练范式和逻辑。

- 离开 meta 后他创立的公司叫 recursive superintelligence，缩写恰好也是 rsi。转折点在去年 8 月。他和当时的 gpt-5 合作完成了那篇解释模型如何顿悟的 grokking 研究，做完之后意识到「模型已经强到让我不再需要实习生了」。他给思路和方向，模型能改进新思路、证明新定理，代码和实验也交给 ai。他的推论很直接，也许 5 年后自己就会被取代，与其等着，不如开家公司来做这件事。

- rsi 和 autoresearch 今年 4、5 月才变火，他去年动手时大部分人还没想过这事。同行也在冒出来，openai 出来的 jerry tworek 做了 core automation，anthropic 出来的 behnam neyshabur 做了 mirendil。8 月 5 日 jeff dean 也进场，在 google 干了近 27 年后卸任，成立公益公司 discovery loop。

- 过去 3 年的胜利公式是速度和规模，scale、scale、scale，干就完了，年轻人冲劲足、决策执行都快，优势明显。coding agent 达到人类水平之后格局反转，一些多年不怎么写代码的人重返一线，觉得爷的青春又回来了。执行的重任落在 ai 身上，人更多是做判断，方向选择、直觉、经验和研究品味变得更值钱。他也承认这个判断争议很大。

- anthropic 已经展示的那种自我进化，基本还停留在代码层面的提效和加速：先把大问题拆成子任务，再看 ai 能不能在这些任务上自己越做越好，硬前提是有可量化的反馈指标。可以参照的数据是 claude 的研究 agent 累计跑了约 800 小时，追回 weak-to-strong 97% 的性能差距，两名人类研究者用一周只追回 23%。

- 田渊栋认为更难的是第二层，也就是真正的研究。很多问题连人都不知道怎么解决，需要突破性的发现，靠的不是更强的 coding，而是研究品味、方向感和对问题的抽象能力。他把这种能力叫人的 grokking，并且说大多数人也不具备。分野在数据上，大模型强是因为有大数据，而科研面对的往往是样本很少、没有固定模式可参考的新问题。

- 要说开创性问题，最典型的就是理解模型本身，而它没有现成的数据集。从 2013、2014 年开始，理论研究者拿重整化群、自旋玻璃、神经正切核、常微分方程、高斯过程去解释深度学习，结论是都没有特别令人满意的结果。一种全新的理解可能和过去所有方向都不一样，这恰恰是最难让 ai 照搬已有逻辑完成的那类任务。

- 决定创业公司有没有机会的变数，不是谁的 coding 更强，而是智能提升是平滑渐进还是阶段式跳跃。平滑的话 openai 和 anthropic 快一点就会快更多，创业公司追不上；沿 s 型曲线上升、中间有平台期就有空间。他赌后者，「我觉得是有平台的，否则我也不创业了」。理由是成本，推进 scaling law 要 10 倍算力、10 倍数据才换来线性增长，而算力、数据、电力都已见顶。

- 在可解释性上他明确承认自己是少数派。不少人已经绝望，觉得大模型太复杂，没希望搞懂它里面在干什么，他相信一定存在一个好的 principle 能解释模型为什么这样运转。信心来自一个拐点，过去十几年他一直在做理解神经网络训练算法的研究，一开始很不顺，2020、2021 年之后很多想不通的问题想通了。同行倒是在流失，做理论和可解释性的人纷纷加入模型公司，打不过就加入。

- 他给 ai 找的历史坐标是第谷、开普勒、牛顿，先有海量观测，再有经验性规律，最后才有原理。牛顿之前大家觉得现象太复杂无法解释，原理出来之后又发现它其实很简单。下一个牛顿是不是人类？他说不一定，可能是人类加 ai，也可能是 ai。至于那时人类研究者做什么，答案只有三个字，欣赏它的美。他随即给这份审美上了刹车，理想上总希望找到很美很简洁的结构，但现实世界不一定是这样。

[娜美知识库 @fhwofjow51260]

颠覆你认知的一本书，《文明的抉择》。
作者是迈克尔·赫德森，一个专门拆穿“金融神话”的经济学家。

我读它的起点，其实来自两个长期困扰我的疑问：为什么用 GDP 衡量一切看起来越来越不对劲？为什么虚拟币听上去像庞氏骗局，却有人反驳说“整个金融体系本来就是庞氏骗局”？

这本书，正面回应了这两件事。

赫德森回到古典政治经济学，直接质疑现代 GDP 的统计逻辑——当金融食利、资产泡沫、房价上涨都被算作“增长”，那这种增长究竟是谁的增长？劳动者真的更富了吗，还是只是生活成本被推得更高了？

他毫不客气地指出，金融资本本质上是“虚拟的”。债务规模指数级膨胀，早已超过实体经济的真实偿付能力，资产价格之所以还能上涨，靠的只是不断有人进场接盘。股票、房地产、金融衍生品，本质上都是一场对“信心”的接力游戏。

在这个视角下，美国反复鼓吹的“自由市场”，也显露出另一面：资本可以自由流动、自由掠夺，但普通人却要独自承担风险和后果。历史上那些被迫快速开放、全面金融化的国家，结局往往并不浪漫。

书里有一个隐喻让我印象很深。治理国家更像养孩子。你不能把一个刚学会走路的孩子直接扔进成人世界，说这是“自由”；你也不能放任他的贪婪和短视，只因为那是“天性”。资本会天然流向金融和投机，但修路、教育、医疗、农业，总要有人去做、有人去兜底。

所以，当我们看到中国在金融和外汇问题上“看起来不够漂亮”，也许并不是真的不行，而是在选择另一种玩法——不把一切都交给市场和资本决定。

这本书不要求你全盘认同，但它会逼你重新思考：什么是发展，什么是繁荣，什么是真正对社会有益的增长。
如果你愿意接受一次不太舒服、但极其清醒的冲击，《文明的抉择》值得一读。

[周览资源 @grgerwcwetwet]

《斯坦福大学人生设计课》斯坦福最受欢迎的课程之一。人生不可能被完美规划，也不存在最优解。你需要利用设计思维模式，找到生活目标，集中精力，跳出惯性思维，勇于改变，快速试错，为自己创造更多的可能性，大胆尝试，找到新的人生目标，重启你的人生。
🔗：https://t.co/h1kf3GRMcj

[Keivalya Pandya (in Bay Area) @KeivalyaP]

STOP watching robot videos. Start this weekend:

• Read Action-to-Action Flow Matching
• Implement IK with plain gradient descent (then you will find out why nobody ships that lol)
• Simulate a scripted pick-and-place (zero learning involved) -- this is actually fun!
• Set up one MuJoCo scene from scratch, no pre-built env
• Train behavior cloning on 20 demos and measure exactly where it drifts
• Break something in sim on purpose and trace the error to the line

You have way too much to do. Bookmark & Repost.

[axisxy @Sxy_Cherotich]

没想到上条帖子被很多朋友看到，索性再整理一些和@FanqingMengAI 录制的播客中的更多 insights 吧：

1/ 模型竞争到最后，拼的到底是什么？

人才肯花钱就能招（比如我们最近聊下来，发现混元密集招了很多人）；数据肯花钱也能买。那么最后是不是仍然要拼卡，大厂是否会长期占据更大的优势？

以上因素固然重要，但最后可能要拼组织架构。

大家在技术上拼的东西可能越来越接近，最终比的是谁能把人才、算力、数据和决策机制真正协同好。

（这也呼应了《晚点》前不久那篇关于混元的文章：姚顺雨加入后，混元在组织上进行了一系列调整，至少从那篇报道来看，这轮组织调整可能是混元回到正确轨道的重要原因之一。）

所以，即使大厂掌握着更多资源，也未必真的能吃掉 Kimi、智谱和 MiniMax。

2/ 蒸馏并不是国内模型变强的决定性因素。

我们之前交流过的很多 researchers 都认为，国内模型真正的进步，更多来自资源有限倒逼出来的底层架构和工程创新；蒸馏只是一个加速手段。

即使没有 Claude API，一方面，国内模型已经可以生成合成数据；另一方面，如果真的下决心建设数据基础设施，凭借国内的人力规模，也未必做不出来。

因此，蒸馏可以缩短追赶时间，但并不是国模变强的唯一原因，更不是最底层的原因。

3/国内真正的优势是 Pre-training。这是卡的匮乏倒逼出来的。

Pre-training 更拼少数研究员的聪明才智；Post-training 则更吃工程、数据积累和组织协作，需要大量人力和长期沉淀。海外公司开始得更早，因此在 Post-training 上其实更有优势。

4/ Post-training 背景的人，比 Pre-training 背景的人更容易创业。

逻辑很简单：Pre-training 非常吃资源，初创公司很难 cover 相应的成本。而 Post-training 的创业方向相对明确：一是做数据，二是做平台类的事情。后者有点抽象，可以简单理解成做 Benchmark 和 Eval。

5/ 模型持续变强，甚至未来 Self-evolving RSI 取得进步，也不一定会直接吃掉第三方的机会，尤其是在垂直领域。

拿 Harness 来举例，且不说这一层会不会越来越薄（@istdrc 就认为 agent harness 会越来越厚），即便会变薄，模型也未必能完全吃掉这部分空间。

一方面，未来并不是所有需求都必须调用最顶级的模型。（事实上，大多数普通用户已经很难感知新旧模型之间的能力差异。）

另一方面，垂直场景里仍然存在安全、隐私、工作流和行业知识等需求。

6/ Benchmark 和 Eval 在发生变化。

以前主要考 AI 会不会做题，现在还要考 AI 会不会做事。
比如，AI 能不能真正用好飞书、Notion，能不能进入一个真实的软件环境，把一项任务从头做到尾。

7/ 训练模型的门槛已经大幅降低，技术往往会向更简单、更直面结果的方向收敛。

比如在 Pre-training 领域，从 Transformer 架构到 rule-based RL 这类训练方法，最后真正有效的方案往往都很简洁。

Post-training 可能也会经历类似的过程：大家越来越不需要纠结具体的算法，最后还是要回到最本质的问题——有没有高质量的数据。

8/ 模型对数据的需求，大致经历了三波：

第一波是 Scale AI 式的普通人标注；
第二波是 Mercor 这类专家数据，对应 o1、DeepSeek-R1 之后提升模型推理能力的需求；
第三波是合成数据，以及带有真实操作轨迹的人类数据。

第三波之所以兴起，是因为模型开始强调 Agentic 能力。模型不仅要会回答问题，还要真正上手做事，因此需要搭建大量环境，或者把真人操作软件的完整轨迹保存下来。

这些数据的成本并不低。一条高质量的专家数据可能卖到 1000～2000 元，一些复杂的合成数据甚至要几千元。

模型厂仍然愿意购买，一方面是因为现阶段数据依然多多益善；另一方面，完全由自己生产的数据，很容易带有内部团队的 bias。

不过，合成数据这一波可能已经走到中后期。下一波机会可能是 RSI 数据，比如用大模型训小模型过程中产生的训练轨迹。但这件事的门槛更高，需要真正懂模型训练的人参与。

9/ 下一阶段一个比较有共识的方向，是 Auto Research / Self-evolving / RSI。

它们要解决的问题是：给模型一个工作环境和一个目标，它能不能持续行动，根据结果反馈不断调整之前的策略，最终突破原本的能力上限？

10/ RSI 可以被理解成一个更聪明版本的 DFS。

DFS 遇到死路，就回溯到上一个节点；RSI 也类似。比如，模型写了一个 GPU kernel，得到评分后，如果发现结果不好，就回到前面的节点，换一条路径继续探索。

区别是，在 RSI 里，什么时候回溯、回到哪里、下一步走哪条路，更多是由 LLM 来判断的。

而所谓「更聪明」，很大程度上就体现在剪枝：让模型少走明显错误的路，把算力集中在成功概率更高的方向。

11/ 如果 RSI 真的成立，一个很自然的猜想是：创业公司能不能利用 RSI，直接训练出更好的基模？

但这个方向可能并不成立，主要有两个原因：

1）RSI 的训练和评测，本来就是模型厂自己在做的事情。创业公司更应该寻找与模型厂正交的机会。

2）RSI 能否继续进步，取决于两件事：一是世界知识和 Value Model；二是 Context 窗口能否变得更长。前者决定模型记住了多少东西，后者决定模型能不能回溯到更远的地方。这两件事都不太是创业公司应该做的。

12/ 最近有一种说法很流行：

「算法就是数据，数据就是 infra，infra 就是算法。」怎么理解？

算法就是数据，是因为算法最终可能会收敛到相对简单的形式，差异越来越多地体现在喂给模型什么数据。

数据就是 infra，是因为数据有没有价值，取决于基础设施能否把它高效地组织和利用起来。

Infra 就是算法，是因为模型尺寸变大以后，GPU 并行、Context 并行和训练效率，会反过来决定哪些训练方法真正可行。

13/ 蒸馏也分水平高低。

「硬蒸」的环境很简单，比如只是让模型回答数学题。

更有技术含量的蒸馏，一方面需要造出足够复杂、接近真实世界的环境，并完成可靠的 Eval；另一方面，要给模型出足够好的题，并设计出正确的评分标准。

（Btw，最近字节一直强调自己不做蒸馏，可能是因为蒸馏相当于抄近道，而抄近道有时也会让人错过探索过程中产生的 insights。）

14/ AI for Science 火起来的原因之一，可能是模型已经没有太多方式证明自己的智力了。

以前是卷做题，后来卷奥赛，现在开始卷诺贝尔奖。

当 Benchmark 一路被做穿，科学发现就成了新的 Benchmark。

【完整收听链接】
小宇宙: https://t.co/C0WBbgjuHz
Spotify: https://t.co/6EBrhOxiQ1
Apple Podcast: https://t.co/J2qSjmnwFg

最后，北京时间 8 月 22 日上午 10:30，我们会请繁青来办一场线上活动，还会有数十位 model researchers 参加。

活动免费，欢迎非投资背景的朋友报名，一起来交流、认识新朋友～报名链接：https://t.co/S7OtzEwIjF