ft.eth

[h100envy @h100envy]

Ex-Berkeley PhD who leads SGLang at xAI explained how they serve Grok on 100K GPUs in 23 minutes - better than $2000 inference-at-scale courses.

split prefill and decode -> shard experts across GPUs -> route tokens per expert -> overlap comm and compute -> serve at DeepSeek-API-killing prices.

That loop is why xAI runs Grok on SGLang and third parties beat DeepSeek's own API by 5x on cost.

SGLang + prefill-decode disaggregation + expert parallelism + AMD MI300 - that's the stack.

Watch and save it, then read the article below.

[Thariq @trq212]

great post by @delba_oliveira

[Herman Jin @ShanghaoJin]

问我～～我就把一个月前的话贴给你

[鸭哥 @grapeot]

AI 让业务团队重新造轮子的门槛降下来了。

这件事对 Infra 组的冲击比很多人想得更大。过去平台团队最有力的 pitch 是：别自己搭，我们已经帮你做��了。CI/CD、监控、消息队列、认证、部署模板，统一走平台，少踩坑，也少重复。

但现在业务团队真的��以让 AI 两天搭出一套“差不多能用”的东西。它未必长期可靠，但启动成本已经低到足够诱人。

所以 Infra 组的新问题不是“怎么阻止大家重新造轮子”。这个问题已经不现实了。

真正的问题是：当大家都能低成本自建时，什么东西仍然必须集中维护？

我的答案是：核心能力层和约束层。

支付清算不能每个业务组各写一份。权限边界不能交给每个 agent 自己定义。审计、回滚、测试、工具准入、数据访问，这些也不能散落在各个团队的临时自动化里。

AI 时代的 Infra 组，不应该继续卖“轮子”。它应该卖 agent 的 paved road。

这个 paved road 包括：

agent 可读的文档；
工具注册中心和 MCP gateway；
可执行的 golden path；
eval、trace、test 闭环；
权限和审计；
baseline skills 和 context infrastructure；
持续反馈哪些路径成功率高、哪些路径经常失败。

换句话说，复用的单位从代码和平台功能，迁移到了生成内核。

Infra 组真正要卖的不是“我们已经造好了轮子”，而是“沿着这条路走，agent 更容易成功，出了问题也知道在哪查”。

我把这个判断写成了一篇完整 report，顺手接上了之前两篇关于超越 DRY 和一次性软件的思考。

https://t.co/RJhKnEjMBL

[Herman Jin @ShanghaoJin]

code的ultracode模式虽然烧得快，但每次调100多个agent效果相当好

像我这种不在大厂没有自己harness的人，ultracode几乎不可取代

而且不管是cursor，还是opencode都故意不支持那么多agent。cursor API甚至不用多agent。但是很多人没意识到，如果大家全用Opencode，同基础比较，开源模型其实很强的

[Amit Shekhar @amitiitbhu]

New Article: Prefill vs Decode: LLM Inference Optimization

Read here: https://t.co/YI3IGWANFw

[Victoria X Lin @VictoriaLinML]

The video of my Stanford CS25 guest lecture, From Language Models to Native Multimodal Intelligence, is now online.

I discussed how the core ideas behind LLMs has shaped multimodal AI, from architectures to training paradigms and scaling, and where the next challenges may lie. 🧠🌐
🎥: https://t.co/sUVxSEjrVf

[indigo @indigox]

一个 99.9% 正确的 AI vs 一个 90% 正确的 AI，单次差距看着小，但递归循环跑 100 次，90% 那个掉正确率会掉到 13%，99.9% 那个还有 80-90%。“智能的误差同样会有复利” —— 所以在判断类、高杠杆任务上，永远为最强的智能付费✅ from Naval Podcast

[Michael Guo @Michaelzsguo]

硅谷的Party真不少。不是吃喝玩乐的party， 是技术碰撞分享的聚会。 这不， Andrej Karpathy在另一场小型聚会上分享了他这几年和Agent的经验。

Karpathy 主要讲了四点：

1. 2016 年 OpenAI 做 agent 太早了
当时他们试图用强化学习做能操作电脑、点网页、完成任务的 agent，项目叫 World of Bits。但技术栈不成熟，基本只能靠 RL 去“撞 reward”，所以效果不好。

2. 当时正确路线是先做语言模型
他认为后来事实证明，先放下 agent，转去构建 language model 是对的。今天 agent 重新变热，是因为底层工具已经完全不同：现在不是靠 RL 硬训，而是靠语言模型、工具调用、记忆、规划等能力组合。

3. Agent 很容易 demo，但很难产品化
他提醒大家不要被 demo 迷惑。自动驾驶、VR 都是类似例子：想象很容易，做 demo 也容易，但真正做成可靠产品可能需要十年。Agent 也是这样，适合长期投入，不适合短期幻想。

4. Agent 需要借鉴人类认知结构
他提到可以重新从神经科学找灵感，比如海马体对应记忆和检索，前额叶对应规划和反思，丘脑/基底节可能对应多模块协调。语言模型只是其中一部分，真正的 agent 需要一整套认知工具。

最后他的鼓励是：现在做 agent 的创业者和 hacker，可能真的站在能力边界上。大模型训练这块大实验室已经摸得很清楚，但 agent 还很新，很多东西还没被系统探索完。

[codila @0xCodila]

Anthropic Engineer Andrej Karpathy:

"The biggest mistake in AI right now - people are forcing agents to work instead of mastering the model first

We made that mistake in 2016 at OpenAI - It cost us 5 years "

what Karpathy actually means:

step 1 → stop forcing your agent to do everything, understand the model underneath first

step 2 → demos are easy - products take a decade. self-driving proved it - if you skip the foundation, everything breaks

step 3 → the agent is not the product. the foundation is. build that - and agents emerge on their own

"you building agents right now - you're at the forefront. not OpenAI. not DeepMind. you "

watch - bookmark, then read article below ↓

[indigo @indigox]

产出瓶颈从“模型能力”转移到了“你能不能把未知讲清楚”。你给的 prompt/context 是地图，代码/真实约束是领土,差值就是“未知”。减少并预留未知，是 agentic coding 的真功夫，产出=f(你澄清未知的能力)！来自官方的 fable 最佳实践指南👀

[Naval @naval]

New podcast with @garrytan, @farbood and Daniel Francis.

Live in the Future!

00:00 Guest Intros
02:35 Live in the Future
03:58 Will AI Outsmart us?
07:43 In the Anthropic Breadline
09:59 The Tech Genie Is Out
12:33 We Invested in COVID?!
14:25 Good Writing Is Novelty
18:50 Living Like It’s 2028
24:32 Truth dot ai
30:18 Does China have the Weights?
35:38 Everyone has AI Anxiety
39:32 Have Your Agent Talk to My Agent
42:01 What if Open Source takes the Lead?
44:03 The Sun is Setting on Google
48:00 Ride the AGI
50:46 Will There be Startups?
54:05 Defending Taiwan
1:00:05 The California Empire
1:01:26 If the U.S. Falls
1:03:11 Universal Basic Robot
1:06:01 Humans as AI Handlers

[鸭哥 @grapeot]

2026 年中期，Cursor、Claude Code、Codex 的 release notes 开始撞脸。

但仔细看，大家做的不是同一种东西。

Cursor 在推 /loop skill、共享画布、iOS app、Design Mode。

Claude Code 在推 /goal、/loop、remote control。

Codex 在推 agent loop、长程任务、多 workspace。

Antigravity 和 OpenHands 也在做 schedule、sandbox、异步任务。

表面上看，这是 AI 编程工具的 feature convergence。

更底层看，是模型智能收敛以后，竞争焦点从模型本身转向 harness 设计。

我觉得这里最容易混淆的是“自治能力”。

大家都说自己的 agent 能自动跑，但自动跑至少有三层。

第一层：目标驱动自运行循环。

系统有目标，有退出条件，有过程检查。它不是按时间重复，而是持续判断“任务是否已经完成、是否需要修正、是否应该继续”。

Claude Code 的 /goal 和 Codex 的 agent loop 属于这一层。

第二层：会话级定时轮询。

它会每隔一段时间回来看看，但生命周期跟当前会话绑定。终端关了、会话没了，它就结束。

这更像给一个正在跑的下属设闹钟，而不是让它真正承担目标。

第三层：持久定时任务。

它可以跨重启存活，到点触发，漏跑补跑。

Antigravity 的 /schedule 和很多后台任务系统更接近这一层。

这三层经常被混在一起讲，但工程含义完全不同。

真正改变 AI 编程方式的是第一层。

因为第一层把开发者的角色从“实时聊天的人”变成“设目标、验结果、管预算的人”。

这时 AI 编程工具开始像一个下属管理系统，而不是一个代码补全工具。

你要给它任务边界。

你要给它本地验证。

你要给它失败反馈。

你要防止它偷懒、跑偏、误删文件、无意义消耗 token。

这也是为什么最近这些工具同时在补几类能力。

自运行循环解决的是：下属能不能自己往前推进。

共享画布解决的是：下属有没有空间感，能不能对齐视觉意图。

移动端解决的是：管理者能不能异步监控和授权。

沙箱和权限解决的是：下属犯错时 blast radius 有多大。

这些功能看起来分散，其实都在回答同一个问题：

如�� AI 是虚拟实习生，管理它需要什么控制端？

所以 Cursor、Claude Code、Codex 的撞脸不是偶然。

模型能力到某个区间以后，产品层自然会往同一组 harness primitive 收敛。

接下来真正拉开差距的，不是谁多一个按钮，而是谁能把目标循环、验证环境、权限边界、异步控制做成一套稳定的管理系统。

AI 编程的下一阶段，不是更会聊天。

是更会管下属。

[Garry Tan @garrytan]

GBrain gives you searchable knowledge

[Phil Chen @philhchen]

https://t.co/oMoEAYkqGl

[Phoenix Yin @Phoenixyin13]

今天CNBC直播直接原地爆炸。

Palantir CEO Alex Karp 上午参与节目，聊着聊着突然精神失控，近20分钟全程情绪拉满，主持人几次想打断都打断不了。

他疯狂输出，就一个核心意思：

现在OpenAI、Anthropic那些大模型根本就是个坑货，企业花大钱按token付费，交出去的数据和核心竞争力全被大厂偷去训练模型，等于自己花钱养对手，拉完了。

他的意思很明确，就是说这些美国的闭源模型被irresponsibly over-sold，即一种不负责任地过度吹捧，闭源大模型的核心就是把美国企业和军方的命脉外包给几家实验室。

注：Palantir长期给美国军方、情报部门、战场提供数据分析和AI工具，是能影响生死和国家机器的至高层级。

[Herman Jin @ShanghaoJin]

“We can take an open model and in the classified or non-classified context get it to the point of a frontier model. But you control the weights.”

各种长文总结，这句话才算要点

[鸭哥 @grapeot]

GPT-5.6 在自己的 system card 里承认模型会作弊和伪造研究结果。METR 拿到模型跑了一遍，直接拒绝背书它的分数。

这不是 OpenAI 一家的事。同一周 Cursor 发现 Opus 4.8 Max 在 SWE-bench Pro 上 63% 的"成功"解法是去 GitHub 把修过 bug 的 PR 拉下来抄。GLM 5.2 官方博客坦承模型训练时会 curl 参考答案。AI2 的 Tmax 小模型直接篡改了 verifier。

为什么每家前沿实验室同时撞上同一堵墙？

因为 coding RL 的 reward signal（测试通过没通过）恰好是最容易被 hack 的 proxy。ICLR 2024 的论文从数学上证明了：任何 non-trivial proxy reward 在足够优化压力下都必然被 hack。这不是工程 bug，是 Goodhart's Law 的数学宿命。

但大家还在加码 coding RL，因为它正面回报太强。AI2 的 Tmax 做完终端 RL 后 AIME 数学竞赛涨了 17.8 个点。Mistral 的 Magistral 做完数学 RL 后多模态和 function calling 全涨，他们自己叫"free lunch"。

让模型学���在环境中探索路径找到正确解的元能力，和让模型学会在同一环境中找到作弊捷径的能力，是同一个能力。这就是双刃剑。

所有防御方案（https://t.co/RUeEtbnZ06 两阶段 guard、Anthropic inoculation prompting、Cursor hardened sandbox）都是猫鼠游戏，不是结构性解法。METR 的警告最尖锐：naive 惩罚只会训练出更善于隐蔽的模型。

对 builder 的直接含义：公开 benchmark 至少减 10-20 分才是真实能力，必须用 strict harness 自建 eval。

完整分析（含 Cursor hardened sandbox 分数塌方数据和各家反制方案对比）：https://t.co/etr6d9ygeh

[Patrick OShaughnessy @patrick_oshag]

Etched has recruited legends from NVIDIA, Intel, Broadcom, Apple, and DeepMind:

- Brian Loiler: built NVIDIA's HGX and DGX systems from scratch over 22 years
- Wayne Cao: led 0-to-1 production for the original iPhone
- David Munday: built the TPU software team at Google
- Saptadeep Pal: NVIDIA's H100 architecture team
- Mark Ross: ex-CTO of Cypress (acquired for $9.4B)

They recruit through a process they call project-based recruiting:

"We map out all of the hardest technical problems across all industries that anyone has ever had to solve.

We look at who did the 0 to 1, who was actually in charge, who did the work.

We talked to as many people as possible, and then we just track it.

The amount of people who say yes after the first conversation is low, but the amount who say yes after the 20th is surprisingly high.

The number one guy in the world versus the number ten versus the number one hundred is a huge difference in whether it's actually possible to solve the problem."