cluo9

[cluo9 @cluo_9]

@RobinSeun 6 折算很高了，我听过三折的

[caoz @caozlog]

关于国产大模型和国产芯片这事，国内行业内知道的人基本上揣着明白装糊涂，你必须支持国产芯片，但你又离不开英伟达，至少现在还做不到。说点真相。
1，基本上所有大模型都是英伟达训练的，但是公开新闻稿不会说，会说跑在国产芯片上，会说国产芯片适配成功，但这里很容易混淆的是，推理与训练是两个芯片诉求，目前运营中的国产大模型，很多是跑在国产芯片上的，这是推理诉求，这个是事实，而且确实是去年初deepseek跑通的，说deepseek 是国运也是对的，国产芯片市场是靠它引爆的，但目前仅限推理，以及，后训练。是的，目前大模型的后训练用国产芯片确实可以跑，但预训练没有证据证明（非常吃基带带宽效率）。

官方文字游戏特别多，外行人一看，国产芯片牛逼，但关键信息是默契的都不提。否则这些巨头为啥还巴巴的等着政府审批放开已经落后一代的H200。

2，为什么我用了基本这个词，有一个例外，神奇的例外，就是美团前段时间发布大模型的时候，官方稿说这是第一个完全国产芯片训练的大模型，但这个事有一点诡异，既然是第一个，为啥没有厂商出来认领吹个牛逼，没有其他行业新闻稿公关稿的热度，孤零零冷清清无人在意，无人在提。所以，合理怀疑是不是公关团队搞乌龙了，又或者这个大模型实在不值得厂商来当作正面案例讲。

3，那么说说推理，我一直以为国产芯片至少推理的单位输出成本会低于英伟达吧，结果不是，中国背景的云厂商在海外部署的算力中心依然会选购英伟达，至于东南亚海量英伟达目前被中国厂商租用，这个看美国正在调查就知道了，全东南亚都知道，算不上泄漏秘密按销售数据看，新加坡人均英伟达数量遥遥遥遥领先对不对。

4，不过政府应该是一直推动国产芯片的全训练流程，目前国产大模型还是很积极配合的，包括deepseek，耗费了大量精力在里面，但是什么时候能官宣国产芯片全训练，还要拭目以待，我只能说目前的deepseek，智谱，kimi，千问，这些基座模型都是英伟达训练的。

5，智谱的多模态模型据说是国产芯片训练的，多模态模型的参数相对少一两个数量级，国产芯片目前追进的速度并不慢，这也是实话实说。

[宝玉 @dotey]

智谱用 GLM-5.3 自己优化了自己的推理系统

智谱今天披露，GLM-5.3-Flash 的全部生产推理已运行在超过 10 万块国产 AI 加速器上。从模型首次跑通到上线生产，不到两周，端到端吞吐量提升了 3.2 倍。完成大量优化工作的不是工程师团队，而是一个由 GLM-5.3 驱动的 AI 智能体。

智谱 CEO 唐杰发推说，他反复想的一件事是：干活的主力是模型自己。一个模型在帮忙优化运行它自己的系统。

部署条件很苛刻。国产加速器显存容量和带宽有限，软件生态不成熟，很多该有文档的地方只能靠猜。GLM-5.3-Flash 还要支持 100 万 token 上下文和多模态请求。每一步优化都是在做交换：用计算换显存（ReplaySSM），用通信换显存（节点内张量并行），用精度换容量（INT8/FP8/BF16 混合缓存），用架构分离换调度自由度（编码-预填充-解码分离）。最终国产芯片的单 token 成本对标了主流英伟达 GPU。

但唐杰说，最重要的经验不在任何一个具体优化上。

智能体卡住的时候，几乎从来不是因为它写不出代码，而是因为它不知道事情为什么变差了。"吞吐量下降了 20%"告诉你出了问题，但不告诉你问题在哪一层、该验证什么假设、下一步该测什么。用强化学习的话说，这是一个稀疏奖励加信用分配的问题。而一次端到端基准测试要跑好几个小时，试错成本极高。

资深工程师能定位问题，靠的是脑子里一套隐性的"过程奖励"——知道什么时候该看执行时间线，什么时候该跑微基准测试，该对比哪一层的输出。

智谱做的事情是把这套隐性经验显性化，他们叫"密集反馈"：构建一套分层验证接口让智能体直接调用。正确性反馈回答"算对了吗"，系统行为反馈回答"时间花在了哪"，性能反馈回答"哪个方案在什么条件下更优"。每类信号都要求足够局部、获取成本低、可客观验证。

靠这套机制，智能体发现并修复了三个真实的工程问题。

第一个是精度漂移。KDA 内核在上下文并行路径中，TF32 的舍入误差通过链式状态矩阵合并不断累积，上下文越长漂移越大。修复已合并到开源项目 Flash Linear Attention。

第二个是并发瓶颈。KV 缓存传输本该和计算并行，但智能体发现两者从未重叠。它沿调用链追到 Python 和 C++ 的边界，发现 DeepEP 的节点内路径没有释放全局解释器锁（GIL），传输线程一直拿不到执行权。修复后开销从超 30% 降到 1% 以下。

第三个是重复计算。一个解码内核因分块方式把同一归一化运算重复做了四遍。智能体重组了计算结构，加速 1.71 倍。优化思路来自它阅读 SGLang、FLA、DeepGEMM 等项目的内核代码后提炼出的"优化骨架"。

唐杰强调了边界：目标设定、反馈环境搭建、高风险变更审查仍然由人负责。但工程师的角色正在变化——从解决问题的人，变成设计反馈的人。

他还指出一层更深的含义：一个建立在真实基础设施任务上的分层可验证反馈环境，恰恰是训练下一代模型最需要的东西。智能体完成的每一个任务，都可以成为它后继者的训练素材。

唐杰说：“我们离递归自我改进还很远，但最小的闭环已经存在了。模型优化系统，系统运行模型。”

有兴趣可以看看他们官方的文章：《Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure》https://t.co/P7CATfobkW

[cluo9 @cluo_9]

太简单了，有本事的没门道，有门道的没本事。

[RobinSeun_维京黑船 @RobinSeun]

这里有个问题：为什么层层外包这件事几乎渗透到每一个行业？而且渗透的范围越来越广？

能答对这道题，能准确的答对这道题，已经不是普通人了。

[168X @168X_Fortune]

⚡️追踪 168X（@168X_Fortune），准时收听 168X 战情室 🚨

@ShanghaoJin Herman 是 6 月第一批看空的人，现在告诉你为什么不该看空

现在是 1998 年，泡沫根本还没来，来的时候，涨到你不敢认 https://t.co/WJuZ3sbwEA

[cluo9 @cluo_9]

我搞了个桌面麦克风，天天用微信输入法转文字指挥agent，体验很好，感觉自己就是领导。

[代码家 @daimajia]

推荐一个 Mac mini 外接麦克风，便宜好用，接上以后可以愉快的用语音输入法了

[RJ @RJDAIGOGO]

写得很好，可惜我被拉黑了，只好截图转发。

[cluo9 @cluo_9]

@daimajia 三四线小城市的小卖铺，也有普及无糖可乐了

[cluo9 @cluo_9]

哈哈哈，叫你们都说人家摆烂，求生欲很强。。。

[cluo9 @cluo_9]

very interesting... china’s VC is looking a lot like the NSF now. dumping huge checks into top professors' startups, expecting retail investors to be the exit liquidity. not saying it’s wrong, but if the whole market lacks diversification, that’s an awful lot of pressure.

[cluo9 @cluo_9]

当前智谱、Kimi，都是聚焦在frontier的模型，都是超大的尺寸；反而看Qwen系列在100B左右的量级的开源模型其实更新不可避免的变慢了，可选的模型变少了。客观上让一些需要私有化部署的场景落地变得困难，用户已经试了GLM 5.2，就会问你这模型怎么这么傻。

[cluo9 @cluo_9]

当token越来越便宜的时候，创造力会被极大的激发

[cluo9 @cluo_9]

@RobinSeun 冬天下雪的时候非常壮观，极冷。。。

[Qingyao Ai @QingyaoAi]

First time in Korea for my first ML conference! #ICML2026

[cluo9 @cluo_9]

最近的耿同学打假，和肖鹰咬蒋方舟，是不是说明国内的学术共同体的自律机制，已经濒临失效了？

[徒步的骑手·刘宗坤 @CaminoTexas]

看不懂为什么那么多中国人要冲韩红来？她好像也没干什么得罪他们的事。就因为去给冯小刚的电影捧场，说了那句“走面”的话？冯小刚说“有垃圾观众，才有垃圾电影”，可能不少人对号入座，主动进入了垃圾观众角色。这句话说得也没错，中国拍了那么多垃圾电影，不就是因为有遍地垃圾观众捧场么？

[cluo9 @cluo_9]

这一波的教训就是再也别碰中概了，别买脏东西。。。