lhaaso

[lhaaso @MetaLhaaso]

@sonybpgk 今天又启动了

[will depue @willdepue]

rumors i’ve been hearing on the rate of progress inside anthropic and openai are truly bonkers. i think we’ll see a jump at the size of one from o3 to fable again in the next 8 months

[jietang @jietang]

Thoughts About Scaling Law

Scaling, but not only of parameters. Every model release now ends with the same question: how many parameters? It isn't a question that can be answered on its own. Parameter count is only meaningful alongside three others — how much data you have, where you intend to spend your compute, and who will run the model, under what conditions.

The field learned this the hard way. Kaplan et al. (2020) fit an exponent that told everyone to grow parameters faster than data — roughly 2.7:1 — and the industry complied: GPT-3, Gopher, MT-NLG. Hoffmann et al. (2022) redid the experiment across four hundred models and found the compute-optimal split is closer to 20 tokens per parameter, and that with sufficient compute the two should grow at the same rate rather than drifting apart. The error in the earlier fit compounded with every order of magnitude of compute, which is why the largest models of that generation were the most misallocated. The trillion-parameter round was, in retrospect, a detour the whole field took together and then reversed.

Chinchilla wasn't the end either. It optimized training compute for models that would be trained once and evaluated. Today a model is called billions of times a day and inference dominates lifetime cost. Put inference into the objective and the optimum moves toward smaller models trained far longer — deliberate over-training, which is what Llama-2-7B and Gemma-2-9B were doing at roughly 290 and 889 tokens per parameter.

Sparsity moved the target again. In a MoE model two quantities have to be kept apart: total parameters govern roughly how much the model can hold — knowledge, facts, the long tail — while activated parameters and effective depth govern roughly how far it can think, how many steps of a causal chain it can carry before it comes apart. A dense 20:1 ratio does not transfer. And the ratio isn't a single number at all: Roberts et al. (2025) find the optimal tokens-per-parameter is task-dependent, with memorization favoring more parameters and reasoning favoring more data. Follow-up work on MoE observes that at fixed TPP, pushing total parameters higher actually degrades reasoning, while activating more experts reliably helps it.

This matters for what we are building toward. Finding a vulnerability is not a retrieval problem. It doesn't come from having memorized more CVEs; it comes from carrying a twenty-step chain of inference to the end without losing the thread. That capability does not live in total parameter count.

Which brings us to this release. Total parameters appear to matter up to a threshold — enough to hold the world — after which additional capability comes from scaling elsewhere: effective depth per forward pass, and above all post-training. GLM-5.3 is our controlled experiment on that claim. Same base, same architecture, same total and activated parameters as GLM-5.2. One month of scaling long-horizon environments and RL. The gains are not marginal. Well, scaling has more than one dial. We turned the post-training one this time because it had the most slack left in it — not because the others are finished. Base model size, pretraining data, compute spent per forward pass: all of them are still on the table, and we will come back to each. What this experiment taught us is that the dials do not have to be turned together, and that the one worth turning next is rarely the one that was worth turning last. We are not done scaling. Next time, maybe mid-training, pre-training, and even more.

[思维怪怪 @0xLogicrw]

前 Google DeepMind 资深研究科学家、Unreasonable Labs 联合创始人兼 CEO 曹原认为，AI for Science 正进入爆发期。但 AI 要真正独立做出诺贝尔奖级别的科学发现，至少还需要二三十年。曹原此前参与过 Gemini 等项目，现在创业方向也是让 AI 发现新知识。

他认为，眼下最大的瓶颈是验证。写代码可以马上运行测试，数学还能用 Lean 逐步检查证明。但生物、材料和物理最终都要做真实实验。一次实验可能很贵，也可能要等很久，AI 很难像 Coding Agent 一样连续快速试错。

更难的是「创造新概念」。曹原认为，现在的模型很会在已有知识、定义和定理里搜索答案，但还不会像顶尖科学家一样，抽象出新的数学对象、定义和理论。他把这种「概念抽象」称为 AGI 的「最后一英里」。

https://t.co/9FyrggzwAW

[加州旅馆 @henghaer123]

除了“光”和“存”、设备和cpu，还可以关注关注AI for Science（AI4S)，其中医药和材料是比较清晰可见的。不知道前段时间A股和港股的创新药是不是也是提前受这个驱动……具体的标的可以问问AI，有高收益、高风险的，但比较稳妥的还是卖铲子的，平台、代工、耗材…提前插个眼观察观察

[加州旅馆 @henghaer123]

朋友们，用自己的小本本记下来，今年的3、4、5、6月，和这个7、8、9月……市场如何去世，如何反转，来回讲的什么故事。再记住pcb、光、neocloud、存、cpu、mlcc这些轮动的顺序，最后谁又是末日战车，谁的大暴跌能给你一键S的勇气。怕是以后还能派上用处🤣🤣🤣

[加州旅馆 @henghaer123]

今天的市场表现，让我想到一些问题

美股的强势在于美国经济通胀的下降。目前版本的AI，还没有直接提供产品和服务，本质还是工具，在提升各行各业的生产效率。而硅基提供的生产效率，最后还是会落到炭基生物的消费上面。也就是有生产端，需要有需求端才能完整的闭环……

美国是一个消费端、需求端很旺盛的市场，AI加速的生产效率很容易对整体经济体现出来正反馈，即沃什说过的AI可能降低通胀…当然也有可能冲击就业等问题…

但在我们这边，大家也都明白现在经济环境啥样，需求消费端非常疲软…说白了就算全国建满数据中心把token降低到水电气的价格，需求端不足又有什么用呢？所以提升了生产效率，没人消费，广告不赚钱，商品服务不赚钱，最后是有可能形成的是负反馈。

这就给国产算力链带了不确定，完全是融资市场，不是投资市场。当然中国一直都是政策引导型市场。如果未来出现大小腿走路，上面调整政策，一定要不管三七二十一清仓离场

[付鹏的财经世界 @fupenglondon]

最新的腾讯自由现金流也转负，阿里和腾讯中国大厂也和硅谷meta谷歌这些大厂一样，大量的 AI 资本支出都打破了之前“高自由现金流+稳定回购分红”的结构，在过去的时间里，市场对于 AI 的乐观使得这类巨额资本支出代表着未来的长期竞争优势。

但是从今年 Q2 季度开始，市场对于「投入-回报」错配的这种情况的容忍度下降，也越发的谨慎，现在应用端产生的收入规模相对数千亿级的累计投入，仍处于验证期，高昂代价必须对应可量化的长期回报预期。

未来几个季度是重要的窗口期，投资者的情绪已经从前几年的狂热转为了谨慎，这就意味着必须看到真正可以乐观量化的确定性收入增长，才会打消这种投资者的这种质疑。

同样的资本支出数字，但是不同的投资者情绪，答案就是不一样的。

[Alpha哥AI投资日记 🌴 📈 @AlphaguyTrading]

人从出生开始，其实就已经有仓位了。

出生家庭，是你的初始资本。
出生城市，是你天然暴露的市场 Beta。
父母买学区房，是加杠杆做多教育；
从小报一堆兴趣班，是早期 VC 撒网，十个项目里赌一个爆款。
高考选专业，是买入一只至少锁仓四年的行业 ETF。
选错赛道，毕业的时候可能刚好赶上行业熊市；
选对赛道，相当于在产业周期启动前拿到了低成本筹码。
找工作，其实是在选成长股。
进对公司，比一开始多拿那几千块工资重要得多。
你加入一家高速增长的公司，本质上是在用自己的时间和职业生涯，做多它未来几年的增长。

公司涨，你的职位、薪资、人脉、认知一起涨。
公司跌，哪怕你能力没变，也可能被行业 Beta 一起拖下去。
所以跳槽，本质上也是调仓。
有人频繁追涨杀跌，有人拿着一只十倍股很多年。
买房，是人生里最大的一笔杠杆交易之一。
首付是本金，房贷是融资，城市是标的，职业收入是保证金。

结婚就更有意思了。

它不只是“两张资产负债表合并”，更像是选择一个长期合伙人，共同经营一家无限存续期公司。
你选的不只是对方现在有多少钱，
还包括他的性格、信用、消费习惯、家庭背景、抗风险能力，以及未来二三十年的现金流创造能力。

好的婚姻是并购以后产生协同效应，1+1>2；
坏的婚姻，则可能是一次带着无限连带责任的灾难性并购。
生孩子，是一只封闭期二十年以上、持续追加资本、无法提前赎回的基金。
不保本，不承诺收益，但很多人依然愿意把人生最宝贵的时间和现金流定投进去。

甚至健康也是仓位。年轻的时候疯狂透支身体，相当于不断从未来借钱；睡眠、运动、饮食，则是在给自己最重要的生产性资产做 CapEx。

养老金，则是你用几十年的现金流，去做多未来的国家信用、人口结构和社会制度。

所以这个世界根本不存在所谓的“我不投资”。你不买股票，不代表你没有仓位。

你的城市、专业、职业、公司、房子、婚姻、孩子、健康，全部都是仓位。

真正的区别只是：
有些仓位是你主动选的，
有些仓位，是默认配置给你的。

而人生最重要的能力之一，就是尽早看懂自己的持仓，然后不断调仓。

[美股混学家 @bitpanda88]

发现很多博主觉得淡马锡投资三星海力士是个大韭菜，因为他们曾经在高位接盘了FTX

所以我调查了近十年来淡马锡的投资记录:

失败案例有（一级市场）:

> FTX: 2021、2022年，分两轮投资FTX，总2.75亿美金，2022年11月， FTX破产，全亏。

> eFishery：2022、2023年总投2.9亿，2024–2025年因财务造假后清算，亏90%。

> Tessa Therapeutics：2017、2022年共$2.56亿，2023年清算，全亏。

> 类似案例还有Pear Therapeutics、Locanabio、Zilingo等，均属一级市场早期投资，亏损金额多为数百万至数千万美元级别。

成功案例有:

> Adyen：2014年投$5000万，后续加仓，数倍收益。

> Schneider Electric India：2020年5.3亿欧元买入35%股权，2025年以55亿欧元全部卖出，10倍收益。

>STT GDC：2020年投资，金额未公开，2026年2月出售82%股权，获66亿新元。一级市场成功退出。

> BlackRock：2020年35亿美金买入3.9%股份，长期持有，目前约值50亿美元。

> DoorDash、Eternal（Zomato）等：早期或成长期多次投入，公司上市或价值大幅提升后实现盈利。一级起步，后转二级

————————————————

淡马锡一般买了就会长期持有，16年→26年间，虽有失误，但整体投资组合翻倍，他直接投二级市场不多，大多是一级投资转二级加投。

这次投资，也符合淡马锡的一贯理念，

1.长期结构性趋势:
他已经持有NVIDIA、台积电、ASML，并投资了OpenAI、Anthropic。内存是AI算力链条里绕不开的环节。

2.高信念、集中押注行业龙头:
三星和SK海力士是全球存储双雄，SK海力士在HBM上优势明显。

3.利用波动寻找入场点
两只股票7月刚经历大幅回调。淡马锡喜欢在情绪低点、波动加大时评估进场，这和他们过去在危机或调整期布局的做法类似。

总体来看，这表明长期资金对存储的认可，尤其是当前情况，是个明确的筑底反转信号。

对投资者来说，可以把它看作淡马锡在公开表态：他们相信三星和SK海力士在AI周期中的位置，比市场目前定价的要更有价值。

这是铁锭的好事！

[川沐｜Trumoo🐮 @xiaomustock]

相当于散户都没在车上了大都爆仓割肉了，
存储这波去杠杆很彻底了。
买在无人问津，卖在人声鼎沸。
“昨天，韩国金融监管方面，韩国副总理发言表示韩国股票杠杆的交易规模已从7月30日的12.4万亿韩元缩减至8月7日的8000亿韩元，较6月25日的19.4万亿韩元峰值减少近96%。

这某种程度上说明韩国第一波去杠杆应该是接近尾声。”

[Alpha哥AI投资日记 🌴 📈 @AlphaguyTrading]

周末半导体圈讨论最多的一个观点：

Short Memory，Long Optical。

提出这个观点的还是过去最知名的存储多头之一 Jukan。他已经清掉了自己的存储仓位，认为短期资金可能继续从存储切向光通信。

他的逻辑大概有三条：

1、韩国单一个股杠杆 ETF 正在快速去杠杆，相关产品规模已经从峰值约 500 亿美元掉到 170 亿美元，短期仍可能给三星、海力士带来额外卖盘。

2、NVIDIA 确实正在考虑降低 Rubin Ultra 的 HBM 配置，同时把 8 个机架通过高速光互联连成一个 576 GPU 集群。所以 AI 基建下一阶段，光通信的重要性还在继续上升。

3、市场开始交易 Memory 涨价周期见顶。
目前正在形成一个新的市场共识：Memory Price 可能在未来两个季度见顶。只要市场开始相信涨价速度的二阶导见顶，股票就可能提前几个月开始交易周期顶部。

[Annie 所长 @web3annie]

谷歌投资部门，公布了最新持仓，看看 $GOOGL 的投资眼光：👇

1. SpaceX $SPCX
最大持仓，持有$941亿，占仓位的95%！
主要看中的是星链，谷歌自己也在搞高空上网，目标就是让更多人能上网，用谷歌搜索、看YouTube、用广告，投SpaceX等于直接借力

2. 星球实验室 Planet Labs $PL
每天拍摄地球影像的卫星巨头，数据被农业、气候、国防广泛使用，谷歌需要海量真实世界数据训练AI，双方业务高度互补。

3. AST SpaceMobile $ASTS
直接用卫星给普通手机提供网络的公司，解决偏远地区信号难题，谷歌安卓生态和云服务能深度合作，看中卫星通信未来大市场。

4. CME集团 $CME
全球最大衍生品交易所，金融基础设施稳如泰山，谷歌云早就和它深度合作，持仓更多是业务协同和稳定现金流的考量。

5. ARM控股 $ARM
几乎垄断手机和越来越多AI芯片架构的设计公司，谷歌自己做芯片也要用ARM技术，持有它等于押注整个半导体和AI硬件生态。

6. Revolution Medicines $RVMD
专注RAS基因突变癌症靶向药的生物科技公司，管线潜力大，谷歌通过投资生物科技布局医疗AI和精准医疗未来。

7. Freshworks $FRSH
企业级客服和CRM软件，性价比高、增长快，谷歌云和办公软件生态能直接受益。

8. Parabilis Medicines $PBLS
新进仓的创新药公司，专注难成药靶点，谷歌继续加码生物医药前沿技术。

9. Tempus AI $TEM
用AI分析癌症基因和临床数据的公司，谷歌AI能力与医疗数据完美结合。

10. GitLab $GTLB
开源软件开发平台，开发者工具赛道龙头，谷歌本身就是重度用户和生态推动者。

可以看出，谷歌不是单纯炒股，更多是战略布局自己的未来业务！

[Michael Guo @Michaelzsguo]

原来疯传的 Leopold 新投资，投向的是 Source Foundry。

这是一家仍处于隐身状态的初创公司，目标是打造速度更快、成本更低的半导体制造和光刻设备。本质上，就是要做一家美国版的 ASML 挑战者。

Situational Awareness 又追加投资了 4 亿美元，使其对 Source Foundry 的总投资达到 5 亿美元。据报道，这笔投资对应的公司估值约为 50 亿美元。

无独有偶，中国也有一家公司正在挑战 ASML：上海爱晟纳（Aishengna）。这家 2023 年成立的国资背景公司，已经开始量产国产浸没式 DUV 光刻机，今年首批设备预计交付中芯国际、华虹和长鑫存储。虽然距离 ASML 的同类设备还有明显差距，但中国终于开始从造出原型机走向真正量产光刻机。

[阑夕 @foxshuo]

The Information发了一篇万字长文，深扒了Anthropic创始人达里奥·阿莫代伊是怎么以强烈的个人意志——甚至可以说是被神格化了——凌驾于所有AI大厂以上的，爆料密度很高，过于抽象的也不少。

我来总结一些重点内容：

- 因为担心自己工作被抢、数据中心推高电价等种种原因，美国人对于AI的厌恶再创新高，而作为最强AI公司领导者的阿莫代伊，却坚持继续推动他所相信的「AI威胁论」，哪怕这会损害Anthropic的融资前景；

- 董事会里有人建议Anthropic多宣传AI在攻克癌症方面的帮助，这是很常见的公关做法，但阿莫代伊拒绝了这一提议，认为不应该掩饰AI给人类造成的生存威胁，然后他转头就安排发布了一则意义不明的品牌广告，以墓碑、乞丐和奴工为开场元素，极其黑暗悲观，毫不意外的被骂翻了；

- 因为Anthropic正在运作上市，投资者都在设法给阿莫代伊施加压力，希望他停止宣扬AI有害论，比较委婉的会恳求他「别再吓唬所有人了」，更直接的则会抱怨阿莫代伊正在破坏自己公司以及整个行业的利益，但他们都承认，再多的蛐蛐都对阿莫代伊毫无影响，他根本不听；

- 有投资者在备忘录里写了Anthropic这家公司的特有风险，那就是它的老板似乎并不在意赚钱这件事情，而阿莫代伊之所以这么强势，只是因为Anthropic处于上升期，看在股权升值的份上，投资者多半可以忍受船长的离经叛道，问题在于，如果驶入逆风局，阿莫代伊是否还能维持资本关系的和睦；

- 阿莫代伊本质上并不是一个反商业的CEO，只是相比经营公司，他更希望成为一个布道的领袖，屡次用AI失控恐吓大家，也是为了强化只有他才是那个有权力决定什么时候该踩刹车的人，如同AI行业的教皇那样；

- 所以阿莫代伊基本上不要介入日常管理，主要都是他妹妹、身为Anthropic总裁的丹妮拉完成，而他本人更倾向于通过长篇信件和Slack通知来和员工交流，这种作风过滤下来的结果就是，他拥有了一批忠诚度极高的员工，他们的离职率在顶级AI公司里出奇的低，而且普遍把Anthropic视为类似「末日地堡」的组织，是人类文明最后的希望；

- 具体天命所归的自我认知，阿莫代伊对美国政府的态度也非常二极管，所以他会不惜和五角大楼翻脸也要排除用AI监控本土的可能，同时也积极配合商务部推进限制开源模型的政策，只要是为了更崇高的使命，他能把自己的一切行为合理化；

- 其中就包括接受阿联酋、卡塔尔等阿拉伯国家主权财团的投资，阿莫代伊很厌恶中东地带的意识形态，却因需要对方的财力，而不得不和员工解释这么做是利大于弊的，他甚至暗示出钱的王公贵族是坏人，在全员信里痛心疾首的表示打破了「绝不让坏人从我们的成功里获益」这条原则；

- 阿莫代伊最早出现在媒体镜头里，是在2017年，他代表OpenAI向华盛顿的智库展示早期的AI模型，那是一个会打Dota 2的程序，拥有学习能力，当时阿莫代伊就在发言里强调这个程序的进步速度太快，人类必将「无法监督、无法批准、甚至无法理解」；

- 适逢阿莫代伊刚从百度跳槽到OpenAI，负责安全部门，没过多久，他就开始在OpenAI内部推动公布研究成果之前的审查制度，以防知识被不当利用，这挑战了OpenAI早期鼓励研究员们自由发表论文的风气；

- 写备忘录的习惯就是从那时开始的，阿莫代伊会把自己的想法写在一台从不联网的电脑上，然后打印成纸质文件发给同事，偶尔有去中国出差的工作要安排给他时，他会严词拒绝，因为觉得去了就会被绑架📷📷📷；

- 「只有我才能决定什么信息可以公开」的理念让阿莫代伊和OpenAI的部分员工关系紧张，大家本来习惯在Slack里共享代码库，但从开发GPT-3开始，阿莫代伊就把很多核心代码库和Slack频道设为私密状态，由他的团队来发放「门禁卡」，他还差点搅黄了微软雪中送炭的10亿美金投资，当时OpenAI账上都没钱了，阿莫代伊还在阻拦GPT-3的对外演示，觉得会让微软获得AGI；

- 不可避免的，阿莫代伊经常和OpenAI的创始人山姆·奥特曼吵架，他职位低当然吵不过，于是总是在事后把自己关在办公室里，连续刷YouTube视频来恢复情绪，他的妹妹丹妮拉当时也在OpenAI，频繁帮忙缓和哥哥与高管之间的关系，这对兄妹在2020年一起离职创办了Anthropic，并带走了一批同样反感奥特曼的研究员；

- 有些带着对奥特曼的恨意跟过来的同事，后来发现和阿莫代伊的恨比起来，自己的那点怨气根本不算什么，他们私下觉得阿莫代伊对奥特曼这个人恨得有点魔怔了，是真的相信如果OpenAI掌握了最强大的AI人类文明就会迎来世界末日；

- 如今，Anthropic的管理层会把阿莫代伊当作一种「灯塔」——他的注意力在公司里四处扫视，目光所及之处，就会受到高度关注——阿莫代伊的灯光最近照射在公司里的一个经济学团队，他们负责推导和量化AI会对美国经济造成多大的影响，而阿莫代伊非常享受这种动动手指就能决定或是拯救千万人失业的宏大叙事；

- Anthropic的主要人才都相信e/acc（有效加速主义），他们自发的建立起了一种高强度的工作文化，将这波大模型浪潮视为千载难逢的历史性机遇，但阿莫代伊本人却不是e/acc这派的，他时常会做些减速的事情，比如让员工暂时抛开工作，和他一起畅聊社会、政治和战争；

- 除了毫无必要的得罪国防部，阿莫代伊还因坚持在Claude旗舰模型里加入安全过滤器而被财务部门提醒这会增加成本、削弱利润，但他依然坚决不改，不过在竞争对手的追赶下，阿莫代伊也开始有了变通，比如愿意和马斯克在算力上开展合作，放置两人的历史恩怨；

- 事情有点讽刺，阿莫代伊天天嚷着AI就要全知全能了，却连公司需要多少算力储备都没算对，近一年来Anthropic的业务增长远远超过计划，于是他被迫「挨宰」，以高于市场价的费用从马斯克那里租用数据中心，马斯克虽然以前和阿莫代伊闹过不愉快，但他主要还是在和左派Woker们作斗争，在了解到阿莫代伊不属于这一派后，加上两人都很讨厌奥特曼，他也就不计前嫌了，还夸阿莫代伊是一个「很有原则的人」。

* 再补充一个更抽象的信息，阿莫代伊前几天有个私下发言又被捅出来了，他说自己担心随着公司的规模扩大，会吸引一些纯粹为了赚钱而加入进来的员工，本意虽然是他更希望来的人和他一样抱有AGI的使命，但这番表达的不妥仍然引起了铺天盖地的嘲讽，觉得他是自个儿财富自由之后「何不食肉糜」，竟然觉得人类不需要赚钱养家糊口。

而阿莫代伊的反应也很干脆，不反驳，不辩解，默默在官网招聘栏新增了一条岗位信息，以30万年薪招聘一个内部侦探，要求自带反间谍和情报技能，主要职责包括对在职员工进行调查⋯⋯

好吧，这就很阿莫代伊。

[Zijing Wu @zijing_wu]

ByteDance targets mega AI model nearing Anthropic’s Mythos
* Close to 10T at early stage of pre-training (Mythos est 8T)
* Multiple Chinese labs training models ~5T (Fable est 5T)
* Seed’s no distillation approach for 1+ years

https://t.co/w4KSB1HRcP

[雕刻 @diaoke]

这个世界的几乎所有资产，本质都是庞。

不要给自己洗脑什么叙事，人类文明也好，shit meme也罢，所有资产永远都是“先信吃肉，后信喝汤，真信买单”。

无论叙事再牛逼，只要没有后续资金接盘了，就只有断头铡一条路。就像这次存储，你别管叙事是什么，你只要看到你家楼下大爷、商k小姐、全职宝妈都把钱丢进去了，就知道无论如何都要跑路，市场里已经没有后续资金接盘了。

决定资产价格的永远不是已经在车上的人，而是没有在车上的、持有流动性的人。

[加州旅馆 @henghaer123]

现在的美股的硬件市场太有意思了，炒过币的很熟悉的复苏节奏。大饼就是英伟达，以太、bnb、sol这些就是存储和光，剩下就是一堆山寨币……具体节奏就是大饼涨完，吸吸大饼的血，然后以太sol再涨涨，然后再进入山寨时间，大家一起高潮，最后来几个末日战车暴涨，最后大家重新一起GG😂😂😂

[思维怪怪 @0xLogicrw]

字节跳动正在讨论训练一个超过 5 万亿参数的大语言模型，希望靠扩大模型规模追赶国内外领先对手。

如果计划落地，它将超过阿里 Qwen3.8-Max 的 2.4 万亿参数和月之暗面 Kimi K3 的 2.8 万亿参数，成为目前国内已知参数规模最大的模型。不过，项目仍处于早期讨论阶段，最终是否训练和发布都未确定。

新模型计划由 Seed Foundation 负责人项亮主导，与大语言模型预训练数据负责人沈科合作。Seed 正在重新划分团队职责，并为项目调配资源。

字节认为，与其继续在现有模型规模上追赶，不如一次把参数推到同行的数倍，争取重新进入第一梯队。

[Jeff Dean @JeffDean]

Tomorrow will be my last day at Google after 27 years, and watching it grow from 25 people to 190,000+ has been an amazing journey. Below is a note I shared with many people internally at Google today. An excerpt is:

It has been an absolute pleasure to work with you and to help build some of the most widely used and impactful products of all time. As a kid, I dreamed of helping build software that would be used by many people, and Google now has thirteen products used by more than a billion people (amazing!). Our work has had a tremendous impact in the world, and I have been lucky enough to collaborate and form friendships with many colleagues that I deeply admire, respect, and enjoy. It still brings me joy every time I see people out in the world using our products to find information, handle email, translate documents, watch videos, learn new things, navigate and understand the physical world, browse the web, use their phone, run large-scale computations on our infrastructure, ride in an autonomous vehicle, or perform complex tasks with the help of our AI systems. I hope you all share this sense of joy, because it is a shared accomplishment! Thank you to all of my colleagues at Google over many years!

Now I'm excited to go start @DiscoLoopAI with my longtime friends and colleagues @Sanjay_Ghemawat, @OriolVinyalsML, and @quocleix.

(Updated post: slightly redacted to not have some personal info)