Jack_jack

[John Collison @collision]

Cheeky Pint is back! Mark Zuckerberg @finkd and Alexandr Wang @alexandr_wang came to the pub to discuss their new frontier model, Muse Wonder.

00:00:24 Muse’s breakout use cases
00:07:28 The model is the product
00:14:35 Muse Wonder
00:24:56 How frontier models are built
00:48:26 Betting $100B
01:07:21 Agentic commerce
01:19:34 OpenRouter
01:20:06 Beyond the smartphone
01:27:00 Funding
01:34:06 Why AI won’t be winner-take-all
01:40:46 Meta Superintelligence Labs (MSL)
02:08:11 Working for Mark Zuckerberg

[Jack_jack @jack_chunshu]

@qqa16809 WRD it is

[邵艾伦Alan（薄肌版） @AlanShao111]

https://t.co/rALhZSkA6t

[Chris Lee @ViewsOfChris]

一切都是为了健康，为自己，家人和团队负责。
早上醒来，就处理几个同事（美国、国内、香港）的要求，只简单吃了点玉米、土豆、和一个希腊酸奶，加奇异果。

中午空肚吃姜黄、通心血管，而午餐是三只鸡蛋，水果和酸奶，喝一壶柠檬热水，然后，就是要吃的CoQ-10m 、Omega 3、蔓越莓丸、肠道益生菌、维生素B群、蓝莓素和葉黃素、锌片和NAD丸，当然还有补肝的。

下午二十分钟power nap， 下午第一个会3点，让自己在脑袋最清晰的时间，看书30分钟。

昨天特意去深圳做正骨包括了推拿、针灸加艾灸，2-3小时，老中医负责，在香港几乎找不到这么优秀有经验的，消除疲劳，筋骨的舒络，激发免疫力。

中午吃五指毛桃高压锅炖的走地鸡（优质蛋白），地瓜叶（高纤维、营养丰富），带鱼（优质蛋白），一部分三种米组合的米饭，生地熟地黑豆汤 （去湿），还有凉瓜排骨 （清凉祛毒）。

下午，把会都改期，去了做脸部护理，大概两个小时，躺着听柴可夫斯基，休息够后，和两位企业家，去了打兵乓球，两个小时，其实很出汗的，自己从正拍，过渡去横拍。

晚上，简单吃了，回了部分电邮，洗澡，就尝试睡了。

其实peptide、Retinol、维他命水都很重要，男女通用。

对于动刀的医美，其实不大赞成，要是要做运动，特别是力量训练，至少要有一定的线条，倒三角。

植发是应该做的，马斯克也做了，有很大的效果。至于拉皮，有可能倒某一个年纪会尝试做，至于眼枪是可以考虑，微创去眼袋，可以考虑，其他真的要三思。

简单的护肤、搽防晒、清洁，睡眠，保湿，会把你和同龄人，甩开10年甚至以上！

一切都是为了健康，愉悦自己。

感恩，我有两个亲姐姐把我照顾的很好。

以后找机会聊护肤和穿着，大家多学习陈传多！

[Zoe_yiqifacai @yiqifacai]

普通人最好的生活方式就是：多独处，每天晒够太阳，干净饮食，控糖，喝冰美式，练薄肌，看看书，研究AI和股票，公园散散步，用iphone📱，开特斯拉。

[0x鸣人 @LuBtc888]

高质量男性的终极生活：

用苹果，逛山姆，喝瓶装水
吃鱼虾牛肉鸡蛋奶，少碰科技与狠活

学英文，刷X，投纳指，囤比特币
多运动，多做爱，多体验世界

不抽烟，不喝酒，不熬夜
不借贷，不赌博，不碰实体创业
不为面子买房，不为虚荣买车
不把一辈子锁死在房贷、车贷和婚姻里

消费选择中产化，
资产配置全球化，
生活方式极简化，
精神状态自由化。

钱花在提升体验上，
资产买在增长赛道上，
人生不被任何东西长期套牢。

[Nature Unedited @NatureUnedited]

Rabbits show dominance by demanding to be groomed, while cats show dominance by grooming the other.

A perfect relationship

[168X @168X_Fortune]

https://t.co/Xp0zM1HULI

[Art of Speculation @ArtofSpecuycky]

硬件涨了10倍，软件还没动。这才是AI超级周期下半场真正的机会

说一个很多人不敢说的感受：
AI涨了一年。 Nvidia涨了10倍。存储涨了10倍。光互连涨了10倍。但你打开手机，用了哪个AI应用让你觉得"这真的改变了我的工作"？硬件的繁荣是真实的。但应用层的繁荣还没来。这让我很焦虑。相信你也有同感。但焦虑本身就是机会的信号。当所有人都在买GPU的时候，软件还没动。 这就是下半场最大的不对称赔率。

1. 先说清楚一件事：为什么软件现在还没涨，反而在跌
AI浪潮分三个阶段：
第一阶段（2023-2026）：基础设施
谁卖铲子谁赢
Nvidia、AMD、TSMC、存储、光互连
第二阶段（2026-2027）：平台层
谁控制数据和调用入口谁赢
正在发生
第三阶段（2027+）：应用层
谁有真实用户和真实收入谁赢
还没完全爆发

市场现在处于第一阶段向第二阶段过渡的节点。软件公司还没涨，不是因为它们不重要，是因为市场还在等一个信号：财报里的真实AI收入数据。故事不够，要数字。

2. 已经给出答案的：DOCN和TEAM
$DOCN（DigitalOcean）——AI初创公司的首选战场
这家公司三个月前还被当成"廉价云"。 现在单日拉升40%，从$82涨到翻倍。为什么？AI应用需要灵活、便宜、低延迟的推理接口。AWS太贵，GCP太复杂，DOCN刚好填这个空缺。AI客户ARR已达$1.7亿，同比暴增221%。这不是故事，这是财报里的真实数字。
标签已经换了：从"廉价云"到"AI推理首选平台"。这就是闪迪公式的软件版本。
$TEAM（Atlassian）——AI没有杀死Jira，反而让它更值钱
所有人都说AI会替代项目管理软件。
现实是：AI Agent需要企业内部的数据和上下文才能工作。这些数据在哪里？在Jira里，在Confluence里，在TEAM的生态里。Rovo智能体上线后，使用Rovo的客户增速是非用户的2倍。RPO大增说明客户在提前锁定预算。
AI没有消灭TEAM，AI让TEAM的护城河变得更深。

3. 即将引爆的：SNOW和CRM
$SNOW（Snowflake）——企业AI Agent的数据控制层
AI落地需要海量企业数据。谁控制数据，谁就控制AI Agent的大脑。Snowflake正在把自己从"数据仓库"重新定义为"企业AI Agent控制层"。5月27日财报是关键——盯三件事：产品收入能否超预期、RPO增速、AI工作负载量。如果三个都超，SNOW会成为下一个DOCN。

$CRM（Salesforce）——目前跑得最快的企业AI Agent
Agentforce ARR已达$8亿，同比增长169%。
这不是概念，这是真实的企业在付钱买的东西。
更关键的是：Agentforce已经跨系统执行——连接Google Workspace、BigQuery、ServiceNow。
它不再是一个AI工具，它正在成为企业工作流的入口。
这个位置一旦占住，护城河比任何单一软件都深。

4. 最被低估的暗线：AI通信基建
这是大多数人没想到的逻辑：
AI Agent越多，通信调用量越大。AI客服要打电话。AI助理要发短信。AI系统要做身份验证。每一个AI Agent背后，都有通信基建在支撑。
$BAND（Bandwidth）
拥有自己的全球通信网络，不是租用。这在AI语音代理时代是核心壁垒——低延迟、高稳定性是AI客服的生命线。已被Salesforce选为AI客服关键基础设施合作伙伴。这个背书意味着：每一个Agentforce的语音调用，都要经过BAND的网络。
$TWLO（Twilio）
语音收入同比增长20%，创19个季度新高。
这个数字说明了一件事：企业正在大规模采购AI客户互动能力，而Twilio是目前最成熟的通道。

5. 我自己觉得不错的：SERVICE NOW和REDDIT
$NOW（ServiceNow）——企业AI自动化的操作系统
如果Salesforce是销售端的AI入口，ServiceNow是IT和运营端的AI入口。企业有多少重复性的IT工单、审批流程、合规检查——这些全部可以被AI Agent自动化。NOW的平台就是这些Agent运行的操作系统。
AI不是NOW的竞争者，AI是NOW的燃料。
$RDDT（Reddit）——AI训练数据的稀缺资源
这个逻辑很多人没想到：
所有大语言模型都需要高质量的人类对话数据。Reddit是全球最大的真实人类讨论数据库，而且有强烈的社区情感和垂直专业深度。Google已经签了数据授权协议。OpenAI也在谈。Reddit不只是社交媒体，它是AI时代最稀缺的数据资产之一。$130附近是很多人认为的买入区间，也是大级别上涨趋势线的强力支撑位。

6. 最后说ZOOM
$ZM（Zoom）——从会议工具到AI工作流平台
这是争议最大的一个，但也可能是赔率最高的反转故事。AI Companion活跃用户同比增长超三倍。Virtual Agent 3.0能处理50%的客服案例。如果Zoom能从"开会的地方"扩展到电话、客服、协作的全场景AI入口——它的估值逻辑会被完全重写。现在的Zoom是被旧标签定价的。

最终想法
已经证明的（买入确定性高）：
$DOCN → AI推理平台，数字已验证
$TEAM → 护城河被AI加深
$CRM → 5/27号财报Agentforce ARR $8亿，最快的企业Agent（如果能在财报前回到140，大级别趋势线的支撑位，那就是完美的买入位置，这个老牌公司希望能在agentic ai的叙事下给他新的估值，我感觉这次财报就是一次机会了）

即将验证的（等财报）：
$SNOW → 5/27财报，企业AI控制层（如果在财报前是跌的把140缺口补了，也是完美的买入位置）
$NOW → IT自动化操作系统（让now再磨一下底，缓慢筑底过程）

暗线机会（最被忽视）：
$BAND → AI通信基建，Salesforce背书
$TWLO → 语音收入19季度新高

反转赌注（高赔率高风险）：
$RDDT → AI训练数据稀缺资产（盯着130的趋势线支撑）
$ZM → 旧标签包装的新故事

最后说一句：
硬件的繁荣是AI的第一章。 应用的繁荣是AI的第二章。
第一章涨了10倍的公司，第二章不一定还是它们。第二章的主角，在上面这张清单里。但记住：软件涨的信号不是故事，是财报里的数字。
等数字出来，再重仓。

#AgenticAI #SaaS #软件股 #AI应用 #美股 #DOCN #CRM #SNOW #TEAM #Twilio #Bandwidth #Reddit #Zoom #ServiceNow #USStocks #AIStocks #下半场 #软件反转 #AI落地 #美股分析

[UNICORN⚡️🦄 @UnicornBitcoin]

超级周期的阶段

第一阶段是半导体：
$NVDA $ARM $AMD $AVGO $INTC

接下来，资金会轮动到下一层：

内存：
$MU $WDC $STX $SNDK

光子学 / 光通信：
$NOK $LITE $COHR $AAOI $GLW $CIEN $MRVL

现在，资金正在打到：

算力 / AI 数据中心：
$IREN $CIFR $WULF $CORZ $NBIS $CRWV $P

下一步：

材料 / 稀土：
$MP $USAR $UUUU $FCX $AA

网络设备：
$ANET $AVGO $MRVL $CSCO

电力 / 电网 / 冷却：
$VRT $ETN $GEV $CEG $SMR $OKLO

太空：
$ASTS $RKLB $LUNR $PL

国防 / 无人机：
$KTOS $AVAV $ONDS $LMT

机器人 / 自动驾驶：
$TSLA $PATH $SYM $SERV

[夜谈 @gntalktalk]

行业分析：AI光互连全景：谁是下一个“HBM级瓶颈”？

AI算力的瓶颈正在从计算转向带宽。随着GPU规模扩大，节点间通信接近N²级增长，电互连在功耗与距离上逐步触顶，光互连从可选项变成刚需。这一变化不只是需求扩张，而是产业结构的重排：光开始从数据中心边缘进入系统核心，甚至进入封装内部。

从底层看，硅光（SiPho）是在硅基上做出一整套光通信器件：波导负责传光，调制器把电信号变成光，探测器再把光变回电。它解决的是带宽与能效问题。硅本身不能发光，激光器依赖InP、GaAs等III-V材料，因此整个体系天然是“硅 + III-V”的异构结构。

产业链可以拆成四层：上游材料（InP与激光材料）、中游核心器件（激光器、硅光芯片）、模块与封装（光模块、CPO）、以及系统与网络架构。价值分配并不均匀。最稀缺的是光源，也就是激光器及其背后的InP体系，这一层类似算力链中的HBM，是物理瓶颈；再往下是硅光与光芯片，决定光电融合是否可行；光模块更偏制造与组装，周期性更强；真正的高价值封装集中在系统级CPO。

在硅光制造这一层，Tower Semiconductor 和 GlobalFoundries 是典型代表。它们本质是foundry，把光子芯片从设计变成晶圆。器件公司是它们的客户，而不是供应商。两者路径不同：TSEM更像工艺专家，擅长定制和复杂结构，解决“别人做不出来”的问题；GF更像平台型foundry，提供标准化工艺和规模能力，让更多客户可以复制。

这也解释了近期股价的差异。TSEM的上涨几乎直接由AI光互连驱动，尤其是硅光需求进入订单兑现阶段；GF更多受益于AI整体需求扩散，硅光只是其中一部分。前者是主线变量，后者更像beta。

很多人会误以为竞争在晶圆尺寸，比如300mm。但在SiPho、模拟、RF这些领域，关键不在晶圆，而在工艺复杂度、良率和客户绑定。真正决定竞争力的是能否稳定量产复杂光电结构，而不是晶圆大小。

从全球格局看，中国在光模块层面占据优势，但在SiPho制造仍处于早期阶段。差距不在技术原理，而在量产能力和客户验证。短期内，由于订单和经验的正反馈，差距在拉大；中期随着下游需求反向驱动，上游有望追赶。这一结构和HBM不同，SiPho不属于天然寡头，更可能走向多极竞争。

真正改变产业结构的是CPO（co-packaged optics）。CPO不是一个器件，而是一种封装形态：把光芯片与算力芯片封在一起，使光从“外部模块”变成“系统内部的一部分”。实现路径是先在SiPho晶圆上完成器件制造，筛选良品（KGD），切割成die，再与GPU/ASIC、HBM等一起进行异构集成，通常采用平面并排而非堆叠。

这一变化的核心结果是：硅光从“独立产品”变成“系统中的一层”。功能重要性不变，但定价权下降。过去光模块可以独立定价；在CPO中，价值更多被系统整合者吸收。掌握先进封装能力的厂商更接近控制节点，这也是为什么TSMC和Intel在这一阶段具备更强话语权，而TSEM和GF更接近中游die供应商。

CPO对技术提出了三大硬约束：功耗、带宽密度和封装耦合。功耗决定系统是否可持续，带宽密度决定扩展能力，封装耦合决定良率和成本。这三点直接推动硅光工艺进入新阶段。

在这一过程中，低损耗波导成为关键基础。波导是芯片内部的“光通道”，损耗以dB/cm衡量。0.1 dB/cm与1 dB/cm的差异，会在封装内线性累积，直接决定系统功耗与成本。当前主流量产水平在0.3–1 dB/cm，先进工艺可到0.1 dB/cm，实验室中的氮化硅（SiN）接近0.01 dB/cm，但距离大规模量产仍有距离。材料路径也逐渐清晰：硅波导受限于粗糙度和折射率，长期趋势是向SiN迁移。

难点不在单点，而在多重极限叠加：侧壁粗糙度、PECVD氢吸收、SiN应力、弯曲损耗、光纤耦合等因素同时作用。这也是为什么真正的优势来自“全栈工艺控制”，而不是某个单一技术突破。

CPO不仅改变技术路径，也改变竞争结构。未来不会出现单一路线，而是分层共存：

核心AI集群：定制CPO，追求极致性能
大规模部署：标准化CPO或pluggable，追求成本与灵活性

即使在CPO内部，也会分化为“高性能CPO”和“标准化CPO”，类似HBM与DDR的关系：前者吃价值，后者吃规模。

对TSEM和GF来说，这种分化进一步强化各自路径。TSEM更靠近高性能CPO，承接定制需求，有机会成为局部瓶颈；GF更靠近标准化CPO，承担规模扩张，是产业的放大器。

整条链可以压缩成一句话：材料决定能不能做，芯片决定性能上限，封装决定系统价值，系统厂决定利润分配。对应到算力链，InP激光器类似HBM，CPO类似GPU封装，光模块类似服务器组装，而硅光晶圆厂更像中间层的chiplet供应商。

从投资角度看，最确定的机会在光源，这是物理瓶颈；最大弹性在硅光与CPO，一旦路径跑通会被放大；光模块是顺周期；封装稳定吃利润但不容易爆发；系统层存在潜在黑马，但取决于架构演进。硅光不会消失，但正在被“吞入系统”。未来真正的“HBM时刻”，更可能出现在光源层或系统级封装，而不是封装之前的中游晶圆环节。

免责声明：本人持有文章中提及资产，观点充满偏见，非投资建议dyor

[AI产业挖掘🐔 @QihongF44102]

被低估的真相：Agentic AI 是一场以"存储"为中心的范式革命
1/ 一句话观点 Agentic AI 的核心，不是算力，是记忆。 新硬件层级正在变成： ① 记忆（HBM / DRAM / NAND） ② 并行计算（GPU / ASIC） ③ 协调者（CPU） CPU 早就不再承担主要计算逻辑。

2/ 第一性原理 人类对"智能"的终极追求只有两件事： 无限记忆 + 无限计算。 我们日常评价一个人聪不聪明，无非两点： "记性好" + "脑子转得快"。 机器智能在沿着同一条路前进。

3/ 先说市场已经讲过的故事：HBM LLM 推理的 decode 阶段是典型的 memory-bound 任务。 每生成一个 token，都要把整套 KV cache 从显存里搬一遍。 带宽不够 → 昂贵的 GPU 直接闲置。 这就是为什么 GPU 每升一代，HBM 的带宽和容量都在追着涨。

4/ 市场没怎么讲的故事：1M context 不是在 GPU 集群里组装的 我们天天说的"1M context"，并不是在 AI 推理集群中拼出来的。 它的真正组装地点，是 跑 Agentic 系统的传统服务器（CPU + 大 DRAM）。

5/ 那些传统服务器在做什么？ • 加载用户的长期 / 短期记忆 • 加载 agent 的系统规范（system prompt） • 加载 skill / tool / subagent 的说明 • 拼到超过 1M token 时，还要做压缩 这一整套，全部跑在 Agentic 服务器的 DRAM 里。

6/ 对比过去的互联网 / 移动互联网 过去几乎不处理用户上下文。 只有搜索 / 推荐 / 广告才会留一点用户画像， 数据量大概只有现在 Agentic 系统的 1/20，甚至 1/100。

7/ 供应链已经在反映这件事 服务器的 CPU : DRAM 配比，正从 传统的 1 core : 4 GB 升级到 1 : 16，并继续往上走。

8/ 但远不止"4 倍存储"那么简单 Agentic 状态下，单颗 CPU 能服务的用户数，只有过去的几分之一。 当整个 IT 都切到 Agentic： • CPU 数量：增长 几倍 ~ 十几倍 • DRAM 总量：增长 几十倍 ~ 上百倍

9/ 结论 Agentic AI 是一次以 "存储 + 并行计算" 为核心的范式迁移。 软件范式变了，硬件范式也跟着变。 只有真正读懂技术的人，才会理解： 这一轮存储不是周期，是范式。

10/ 时间维度 考虑到： • 人群渗透率还很低 • 单用户使用深度还很浅 未来至少 5 年，看不到这轮存储需求的周期顶部。 （拉长时间看万物皆周期，但这一轮远没到拐点）

$MU $DRAM $SNDK

[fin @fi56622380]

AI半导体终局推演2026(I)
当新token经济学范式从GPU算力转移到HBM

本文从从GPU架构进化路线本质出发，解释这个市场长久以来担心的问题:
每个GPU的HBM内存需求为什么一定会是指数增长，为什么HBM需求指数增长不会停滞?

并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽

同时讨论了，为什么GPU的天花板被HBM的两个发展维度所决定

HBM周期性这个话题争议一直很大，乐观派认为AI带来的需求比以前要大的多，但市场主流仍然认为前几次上升周期也有需求每年20%+增长，这次又有什么不一样呢？AI不影响HBM和传统DRAM一样有commodity属性，一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。

我们可以从算力芯片架构视角,从第一性原理出发，来拆解和推演一下这个问题：为什么这次真的不一样

-------------------------------
历史：CPU算力时代

很久以来，我们都处在CPU主导算力的时代，CPU的最高级KPI就是performance，跑的更快，所以每一代的CPU都用各种方法来提高跑分，最开始是频率上升，后来是架构演进superscaler等等

这个时候为什么DDR不需要很快的技术进步速度？比如DDR3到DDR5竟然经历了15年之久

因为这个时期的DDR的角色是纯粹的辅助，而且辅助功能极弱，以业界经验，DDR的速度即便是提高一倍，CPU的performance一般只能提高不到20%这个量级

为什么DDR带宽速度提高了用处不大？两个原因

1. CPU设计了各种架构去隐藏 DDR延迟，比如superscaler，加大发射宽度，用海量的ROB和register renaming来提高并行度隐藏延迟，一级缓存cache，二级缓存cache，削弱了DDR的带宽速度需求

2. CPU workload对DDR带宽要求并不高，大部分日常负载比如打开网页，DDR带宽是严重过剩的，甚至云端负载

也就是说，在CPU时代，DDR的带宽速度是不太有所谓的，DDR4和DDR5除了少数游戏就没啥差别，甚至JEDEC标准也进步缓慢。

另外，绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可，app的size增长没那么快，导致对DDR的容量需求也较为缓慢。

所以最近十年来，平均每台电脑上的DDR容量大概从7~8GB变成了23GB，十年只增长了3倍。

而这部分升级缓慢直接影响了营收，size容量计价是赚钱的主要方式，速度的提高只是技术升级，提高size的单价，这两个的升级需求都不大，需求主要是随着电脑/手机数量增长而增长

所以DRAM在带宽速度和容量这两个维度上，一直是都是芯片产业锦上添花性质的附属品，DDR升级带来的边际效用是很低的，跟CPU时代的最高KPI几乎没什么直接联系

--------------------------------------------
而到了genAI 大模型为主导的新时代，计算范式转移让最高级KPI起了根本变化

GPU发展到AI推理的时代，不再像CPU那样只看跑分，最高级的KPI不再是算力TOPS/FLOPS，而是token的成本，特别是单位成本/单位电力下的overall token throuput

其次是token吞吐速度，因为在agent时代，很多任务变成了串行，token吞吐速度成了用户体验的重要瓶颈。

这也是为什么老黄发明AI工厂概念的原因：最低成本的输出最多token，同时尽量提高token吞吐速度

AI训练时代，老黄的经济学是TCO(total cost ownership)，买的GPU越多，省的越多

而老黄在推理时代的token经济学是：

AI推理的毛利润很可观，所以逻辑已经转换成：Nvidia GPU是这个世界上让token单价最便宜的GPU，买的GPU越多，赚的越多

最高的KPI变成了Pareto frontier曲线，在提高token 吞吐throughput和提高token速度两个维度上尽量优化
（见图一）

NVIDIA 的 token factory 代际进步，其实是在把整条 Pareto frontier 往右上推，这就是是AI推理这个时代最重要的KPI

----------------------------------

接下来是本文最重要的逻辑链，如何从token吞吐量指数型增长的本质出发，推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长

单卡GPU推理单线程batch size = 1的时代，token吞吐只有一个维度，就是HBM的带宽速度，带宽速度越高，token吞吐越大

但进入NVL72的年代，推理不再是单卡GPU时代，而是72个GPU + 36个CPU整个系统级别的token工厂，把HBM带宽和算力用满，获得极致的token吞吐量

Token 吞吐throughput的增长，依赖两个东西：同时批处理的请求数 X 每个user请求的平均token速度

也就是batch size X per user token 速度

以Rubin NVL72为例，在平均token速度是100 token/s的情况下，同时批处理1920个请求，得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW（0.12MW）的功率，所以得到单位MW能处理1.6M token/s

（见图一）

所以，我们需要想方设法提高这两个参数：批处理数量batch size和per user token的平均速度，这两者相乘就是我们的最高KPI，也就是token的吞吐量

-------
第一个参数：batch size的增长，瓶颈在HBM size

批处理量里的每一个请求req，都会自带kv cache，这部分kv cache是需要存在HBM里的，大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取，所以必须放在HBM里，比如一个大模型的层数是80层，那么每一个token的生成阶段，都需要读取80次HBM里的kv cache

随着批处理数量batch size的增长，会带来hot kv cache的线性增长

又因为这个批处理量的所有请求的hot kv cache，都要放在HBM上，这也就带来了HBM size必须要随着批处理量batch size线性增长

就像是机场接驳车，登机口尽量快的接旅客到飞机，HBM size小了，相当于接驳车size小了，就得多接一趟

结论是：批处理量的数量batch size，瓶颈依赖于HBM size的增长

---------
第二个参数：每个user请求的平均token速度，瓶颈在HBM带宽

大模型decode阶段的速度，瓶颈取决于HBM的带宽速度，因为每生成一个 token,都要把激活的权重和kv cache 读很多遍

LPU的出现，在batch不那么大的情况下，把激活权重这个部分搬到了SRAM上，但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高，生成每一个token的速度也就越快，基本上是线性对应的

就像是机场接驳车，登机口尽量快的接旅客到飞机，hbm本身带宽速度就像是接驳车的车门有多宽，门越宽，旅客上接驳车越快

GPU的其他配置，都是在适配batch的增长以及要让token compute的速度配平HBM的增长，甚至会用多余的算力来获得部分的带宽（比如部分带宽压缩技术）

—-----
在那个接驳车的比喻例子里

接驳车的车厢大小 = HBM Size（容量）： 决定了一次能装下多少名旅客（也就是能同时装下多少个请求的 KV Cache）。车厢越大，一次能拉载的旅客（Batch Size）就越多。如果车太小，想拉100个人就得分两趟，系统整体的吞吐量就上不去。

接驳车的车门宽度 = HBM Bandwidth（带宽）： 决定了旅客上下车的速度。门越宽，大家呼啦啦一下全上去了（Decode/生成Token的速度极快）。如果门很窄，哪怕车厢巨大能装200人，大家也得排着队一个一个挤上去，全耗在上下车的时间里了。

旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度)

—---------------------------

至此，我们从逻辑上推演出了token经济学的硬件需求第一性原理：

Token throughput = HBM size X HBM Bandwidth
AI推理这个时代的最高KPI，实际上是高度依赖于HBM的两个维度的进步的

如果要维持token throuput每一代两倍的增长，实际上意味着，每一代的单GPU上，HBM size X HBM BW带宽之积要增长两倍！

这也是历史上第一次，HBM内存的size可以影响最高的KPI token throughput！

要验证这个理论，可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput，和HBM size X HBM BW 放在同一个图里比较
（见图二）

可以发现，这两个曲线的走势在对数轴上惊人的一致

HBM size x HBM带宽增长的甚至要比token吞吐量更快，毕竟HBM决定的是天花板，实际上这个天花板增长的利用率utilization是很难达到100%的，也就是说，HBM size x HBM 带宽就算增长1000倍，其他算力和架构的配合下，很难把这1000倍的天花板潜力全部榨干

这条曲线不是巧合，而是系统最优化的必然解

throughput = batch × Bandwidth，这就是token factory 经济学最绕不开的第一性原理

—--------
软件的影响呢？软件的优化会不会降低带宽的需求？降低HBM的需求？

这跟硬件是独立两个维度的，这好像在问，如果CPU上的软件优化了之后跑的更快，是不是CPU就十年不用发展了？反正软件跑的更快了嘛

这样的话，CPU厂还能赚得到钱吗？CPU想要存活下去，只有一条路可走，在标准benchmark，不考虑软件优化，每一代CPU必须要跑分更高，不然就卖不出去
GPU也是一样，软件优化如何，和自己的token吞吐量KPI每年都要大幅进步，是两回事

只要token的需求继续增长，对token throuput的追求就绝不会停止，那么对HBM size X HBM 带宽的追求也不会停止

如果HBM size和HBM 带宽发展慢了，老黄一定会亲自到御三家逼着他们技术升级，因为这就是老黄gpu的天花板，天花板要是钉死了不进步，老黄的GPU还能卖出去吗？

当然了，Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分，比如LPU就是一个很好的尝试，把Pareto frontier从另一个角度改善了很多 （右半边高token速度的部分）

—--------------------------------------

HBM内存已然告别了那个随波逐流的旧时代，在这条由指数级需求铺就的单行道上，以一种近乎宿命的方式走到了产业史诗的主舞台中央

推理范式第一性原理演化到这一步，只要老黄还要卖GPU，HBM就必须翻倍，而且必须代代翻倍。这是supply side的内生压力，与AI需求无关，与宏观周期无关，与hyperscaler的心情也无关

剩下的问题，只有一个：

当需求被物理锁定为指数增长的时候，供给侧的三个玩家，会不会还像过去三十年那样，亲手把自己再拖回一次周期的泥潭？

[硅谷王川 Chuan @Svwang1]

睡眠不足不深，是导致健康体系坍塌的一个关键因素。70%的睾酮分泌都是在睡眠中产生，生长激素的分泌也需要深度睡眠。睾酮直接刺激成骨细胞 (osteoblast) 的增殖，抑制破骨细胞的活跃，对于维持骨密度起到关键作用。

而骨密度持续下降，最终就变成骨质疏松。骨质疏松在没有发展到骨折之前，其症状包括身高缩水，驼背，慢性腰酸背痛，握力下降，肌肉萎缩，牙齿松动，等等。

如何获得充足和深度的睡眠？拒绝内卷，坚守自己自由支配的时间，早睡早起，早晨沐浴阳光以调整昼夜节律，有足够时长足够强度的有氧和力量训练。

否则，被周围环境裹挟，白天久坐而缺乏运动，很晚还在吃喝或者内卷，晚上失眠，睾酮分泌下降，白天精神不振，更不愿运动，内分泌更加紊乱，睡眠质量更差，这个恶性循环是无法被药物逆转的。

[科技混子Chris @ChrisSlacker]

我把出生日期和时间告诉了Claude

它以令人不安的精准度分解了我的整个人生。
没有星座运势。没有塔罗牌。只有纯粹的人工智能。

这是7个你应该尝试的提示 ↓

[Chidanand Tripathi @thetripathi58]

A physicist who spent 30 years studying why massive engineering systems fail realized one terrifying truth:

Optimizing anything other than the primary bottleneck is an absolute waste of time.

His name is Eliyahu M. Goldratt, the man who famously revolutionized modern operations management. He argued that we obsess over making individual teams faster and completely ignore the actual flow of the system.

Here are 4 operational frameworks he used to build elite, hyper-efficient organizations:

[Mr Panda @PandaTalk8]

https://t.co/coqzXrQWnT

[Nainsi Dwivedi @NainsiDwiv50980]

Most Claude Code setups fail before the first prompt.

Not because of skill —
because there’s no structure.

No CLAUDE.md
No skills
No hooks
No agents
No workspace memory

So Claude keeps guessing.
And you keep re-explaining.

Power users don’t rely on prompts.
They build an environment Claude can think inside.

This kind of setup turns Claude from:
“help me write this”
into
“ship this entire feature.”

If you're serious about Claude Code, save this.

You’ll want it when your workflow starts breaking.

[硅谷王川 Chuan @Svwang1]

很多时候，研究并严格执行不做什么的行为清单，比研究做什么的重要性要高几个数量级，而且也简单很多。

比如饮食，不做的行为清单是：

一，烟酒不沾。所有的烟酒都有害，没有例外。那些所谓红葡萄酒对心脏有好处的说法，纯属商家营销，缺乏严谨临床数据。

二，不喝可乐和果汁（白开水最好喝），不吃甜食，不吃各种糕点，避免各种调味汁和酱。

三，尽量少吃外卖，少下馆子。餐馆里的食品原料，糖分更多，各种不可控的，看不到的，对身体有害的原料更多。

四，晚饭到睡觉之间的间隔至少三个小时。

五，如果不确信，默认选项是少吃，不吃。

把这些做到了，再来谈营养学，才有意义，否则就是本末倒置，自我安慰，隔靴搔痒。

[Fairest Of Them All @Very_Fair_Man]

They call it a one-night-stand but it often gets to many nights, court cases and sometimes a homicide investigation. Stay safe, y'all ❤️🤩