rheo

勇气是人类的赞歌

[fin @fi56622380]

AI半导体终局推演2026(II)

当半导体结构性演进到AI推理主线，内存和存储成为了最大瓶颈，市场对内存和存储最大的怀疑就是：

HBM/DRAM/SSD会不会摆脱传统周期性？

依赖HBM指数增长的GPU架构路线进化路线，会不会停止？什么时候停止？

长鑫扩产的影响有多大？会不会把这个市场重新带入周期泥潭？

本篇尝试去建立一个框架来梳理这几个问题

—---------—---------
万物皆周期，而内存的周期性又特别强，最大的来源在于扩产周期过长，无法快速扩产和需求短缺时期错配

摆脱传统周期性几种可能的方式

1. 定制化：产品不可互换，产能不能随便转移，需要签长约。

2. 结构性的指数级需求增长：需求曲线本身很陡峭，而且供给一直追不上。

3. 技术迭代快速升级：每一代产品都快速淘汰上一代。
满足任何一条，就能部分摆脱传统周期；满足两到三条，就能摆脱大部分传统周期

根据这个框架， HBM在三条里，大概占了两条半

1. 定制化，需要签长约（较弱，算半条）

HBM 确实有定制化和Nvidia codesign的成分，但并不是很强。真正定制的部分只在封装和 base die，上面那十几层 DRAM die 仍然是完全 JEDEC 标准化的。

比如当 Samsung 的 HBM3E 在 NVIDIA 的 qualification 上没过、份额从大约 60% 一路跌到 20% 的时候，它并没有把这批产能砸在手里报废，而是转手就供给了 Google 的 TPU、AMD. 物理上，给 NVIDIA 的 HBM3E 和给 AMD 的 HBM3E，是同一个东西。 所以产能仍然是部分可以自由转移的。

HBM4之后的定制化更多一些，包括在 base die 上集成定制逻辑和/或缓存。更复杂的方式是将 HBM4E 内存控制器和定制 die-to-die 接口直接放入逻辑 base die

SemiAnalysis 提到 OpenAI、NVIDIA 和 AMD 各自都在做定制 HBM 的工作，但这指的是 base die 的定制，上面的 DRAM 层仍然是标准的。

部分定制化的特性，HBM主要在封装上需要合作，这也导致了客户必须签长约，但产能也确实可以转移，所以HBM 能勉强算半条。

2. 结构性的指数需求增长（满足）

最直观的原因，就是Nvidia token factory token throughput的硬件升级需求，导致了HBM带宽的升级换代极快，以及HBM size需求的指数增长

这一条其实就是上一篇AI半导体终局推演2026(I)的结论：
token throughput = HBM size × HBM 带宽，每一代翻倍。

HBM size per GPU大概每年增长40%以上

这条需求曲线的陡峭程度，是DRAM供给端 14% 的 wafer 增长，乘以 9% 的 density 提升，很难追上的

在硬件领域，因为attn阶段KV cahce的极高带宽和极高memory size的要求，也导致了HBM独特的地位。即便是HBM涨价三五倍，把钱花在HBM上带来的边际token throughput提升，仍然比花在其他地方要划算的多。

其他几个Memory路线，SRAM，HBF，CXL，PIM，目前都无法在HBM的主力赛道kv cache/attention上正面竞争，起码未来5年甚至更长时间，不太可能找到替代路线

3. 技术迭代快速升级（满足）

DDR3时代过了15年，仍然只是DDR5时代，而HBM的升级换代的速度基本上是两年一代，比传统DDR要快很多很多，而且近来还有加速的趋势，HBM size x HBM BW每一代翻倍，目前是完全符合这个规律的

每两年一代HBM升级，NV GPU速度基本是指数型上升：2TB/s ->3.5TB/s->4.8TB/s ->8TB/s->22TB/s，而且HBM的速度和推理token throughput是完全线性正比的，上一代HBM的边际使用成本会不划算，大家都有动机去尽量用最新的产品，虽然更贵，但是带来的收益(token throughput)是更多的

Token factory时代的逻辑是，技术升级（HBM带宽）的越多，赚的越多

这个速度差，造成了一个和 CPU 类似的局面：旧产品快速贬值，于是囤货的价值在变低，比如说，HBM3的价值贬值的非常快，今天基本上主流产品不会用了

所以HBM 厂商的理性选择，从拼当前的产能去占市场（quantity competition），变成了在稳定性和HBM速度上拼技术，拼下一代在 NVIDIA 平台上的 qualification 份额（quality competition），从而避免了在传统周期的下行波段，大家都不愿减产掉市场份额的囚徒困境。

—--------------—--------------

HBM和传统DRAM比较，三个条件里满足了两个半，那么HBM能摆脱传统周期性吗？

内存周期性的来源，主流叙事是，DRAM 有Commodity属性（无差异化 → 价格战 →库存可囤积），所以有周期性。

而Commodity属性本身并不产生周期，它只是一个振幅放大器

特别是DRAM领域里，曾经产生过囚徒困境，在下行周期三星曾经扩产抢市场份额，谁先减产谁吃亏，导致谁也不敢轻易减产，最后大家都亏损惨烈

实际上周期性的主要结构性来源是供给周期太长，很容易和需求周期错位。建一座 fab 要 3 年，投资上百亿美元，一旦决策就不可逆，而需求增长会有不稳定性，每次出现新范式增长，比如云服务，移动互联网手机，疫情线上需求，会有爆发式增长，而过了两年增长会放缓，供给高于需求，降价过猛，就变成了亏钱周期

万物皆周期，HBM这一条同样是无法避免，但只要token需求仍然是指数型增长，结构性的指数增长会减弱周期性，因为需求可预测度更好，而且一旦降价，客户就有增大HBM size的需求（从而增大token throughput），加上HBM有一点定制化要求导致都是长约，从而从周期性转化成成长周期性，而且这一轮周期会特别长

周期性：上行周期赚的多，下行周期亏的多
成长周期性：上行周期赚的多，下行周期赚的少

另外，HBM/DRAM在这三条摆脱传统周期的条件的基础上，还有一条重要优势：

4. 因为DRAM密度增长scaling越来越慢，以及HBM升级换代导致DRAM堆叠倍数的增加，供给端的扩产难度持续增加

2000年附近，DRAM每片wafer上DRAM bit密度每年增长大概45%，也就是说，就算晶圆wafer数量不扩产，每年的供给端DRAM bit仍然可以增长45%

十年前，DRAM bit每年密度增长降到了20%，而现在，DRAM bit每年密度增长降到了9%。以前DRAM扩产甚至不怎么需要新建厂房就能得到每年20~30%的bit volume上升，现在DRAM要扩产，更多的是靠wafer数量的增长，也就是新建厂房和clean room。

另外一个HBM快速扩产难度在于，HBM3e大概需要3倍的DRAM wafer晶圆，而HBM4由于堆叠密度的增加，大概需要4倍的DRAM wafer晶圆数量，相当于HBM bit相对于DRAM bit一直变得更难制造，单位DRAM wafer数量制造的HBM bit越来越少，相当于在通缩

----------------------------------

HBM未来有一天，会不会从成长周期性，变回传统周期性？最重要的因素是结构性指数增长，那么
AI推理时代，这个依赖HBM指数增长的GPU架构路线进化路线，会不会停止？什么时候停止？

token throughput = HBM size × HBM 带宽，这个HBM指数增长的第一性原理里的HBM size的增长原因正是KV cache的增长。KVCache的特性以及Attention的特性,也是非常契合HBM的。甚至让HBM领先于其他的技术路线, 能够最大化地让KVCache和Attention 阶段的利用率。

换言之， 如果KV cache从架构上不存在了，那么HBM size指数增长逻辑也会受到挑战

所以这个问题的本质其实是，这一轮以 Transformer 为代表的 attention 机制、以及由它衍生的 KV cache 机制，会不会消失？退潮之后会不会被取代？

从历史规律来看：每一次AI模型架构革命，真正被保留下来的，是那些在数学上具有某种普适性的 primitive 操作

举个例子：FFN（前馈网络，也就是模型里大量的 MLP 层）是 2012 年深度学习时代的产物，但它一路活到了今天的大语言模型里，并且仍然占据着模型相当大的参数量。它为什么能活下来？因为这也是一种universal approximation theorem（通用逼近定理）：任何足够宽的 MLP 都能逼近任意连续函数

Attention 大概率也是这样一个会被保留的 primitive。因为它解决的是一个同样 基础的问题：序列sequence 中任意两个位置之间的 dynamic routing（动态路由），让一个序列里任意两个位置都能按需建立联系。这个能力一旦被验证有效，就很难被丢弃

所以即便未来架构从纯 Transformer 向混合架构演进，或者向世界模型演进，但attention 层依然会存在，KV cache（或者它经过 latent compression 之后的等价物）依然需要，HBM依然会作为推理核心之一，这个依赖HBM指数增长的GPU KV cache架构路线进化路线，不会停止

—---------------—---------------

那么DRAM呢？在未来有没有摆脱传统周期性的可能？

HBM摆脱周期性在市场上有一定共识，但DRAM摆脱周期性，市场目前基本没有共识

还是回到刚才的框架，三个摆脱传统周期的条件里，DRAM是没有定制化的，所以就只能看技术迭代速度，最关键的还是要看，有没有结构性的指数增长，答案是有的

在 AI token factory 这个概念里，结构性指数增长的确实主要是 HBM。但事情在 2025 年年底之后起了变化：随着 agentic CPU开始释放潜力，CPU 附带的那部分 DRAM 需求，正在成为 DRAM 新的结构性指数增长来源

—------

这部分的增长逻辑分两层：第一层是CPU 服务器TAM的快速增长，第二层是每个服务器CPU core配备的DRAM用量的因为agentic flow快速增长

服务器CPU TAM的快速增长的4个逻辑在4月的CPU专篇详细写过，简单的说：

1. AI 加速器集群里CPU和GPU配比从传统的1：4变成1：2，甚至可能往1：1迈进

2. Agentic flow里CPU处理的延迟占比很高，50~90%成为重要瓶颈，需要同步扩容

3. AI coding让SDE的效率大幅提升，代码量数量级增长，软件API调用指数级增长，直接转化为这部分CPU hours指数级上升

4. Sandbox为保障数据安全与隔离，如Analytical Agent 需为每个任务复制大量数据库和用户上下文，导致内存(DRAM)和CPU核心的严重浪费，而且这个浪费问题五年甚至更久无法解决。另外CPU hours 在技术上很难通过优化的方法来通缩

这也就是为什么，上上个季度，AMD的财报说CPU TAM到2030年会到60B，两个月前，AMD/ARM把CPU TAM的2030年预测翻倍到120B，一个月前，Nvidia再次把CPU TAM的2030年预测翻倍到200B

而上个星期，Bernstein再次提升2030 CPU TAM指引到223B。在我看来，2031 CPU TAM未来上修到400B是没有太大悬念的事情，唯一的悬念是几个巨头会什么时候宣布上修这个指引

再说说第二层，为什么每个服务器CPU core配备的DRAM用量在agentic时代快速增长？

1. Agent 是带状态的长驻进程，不是无状态的请求-响应

传统 web/SaaS 是 stateless 的：请求进来，分配内存，处理完内存立刻回收。而一个 Agent 任务可以跑 一分钟到一个小时，这整段时间里，它的 message history、system prompt、工作记忆、长期记忆、工具结果 buffer 全部常驻 DRAM

和 CPU hours 一样，每个任务的内存足迹因为 stateful 和 sandbox 隔离(每个任务复制数据库和上下文)的要求，技术上很难压缩

2. 上下文窗口在指数级变长，每个会话的工作集随之膨胀，并发度 × 单会话memory footprint，乘数放大

context window 从 32K → 256K → 1M，reasoning / test-time compute 的序列长度爆炸，未来还会继续增大。每个活跃会话常驻的 messages 随 context 长度线性增长

现在把两层乘起来。

第一层，CPU server 的 TAM，朝 2030~2031 看大概是 5–7 倍的量级(60B → 120B → 200B → 223B，我认为还会到 400B)

第二层，每颗 CPU 的 DRAM 配比，大概 3–4 倍(4~8GB → 16~32 GB/core)，但这个增长可能大部分是一次性红利

两个独立变量相乘，server 侧的 DRAM 需求是数量级的增长

2030年，即便按保守的300B CPU TAM，一个CPU core按$50来算，agent时代最保守按16GB/core，这算出来新增量最少都是96EB，而今年的DRAM总产量只有47EB，明年勉强60EB，这是非常惊人的增量

虽然这个agentic CPU带来的DRAM指数级增长，在第二层很大程度上是一次性红利，但持续时间会持续很久很久，因为这个短缺的缺口实在是太大了

—--------

回到文章开头那个框架。三个摆脱传统周期的条件里，第一条DRAM 定制化，基本可以忽略

而第二条：一个结构性指数级、而且很难逆转的需求来源是成立的。commodity DRAM 现在也具备了部分摆脱传统周期性的资格。没有 HBM(两条半)那么彻底，但已经是实质性的变化

第三条，技术迭代速度，DRAM的节奏也跟以前不一样了

因为以前的DRAM技术迭代速度是严重依赖消费电子的，DDR的进步对于performance用处并不大，但可预见的未来里，碳基消费的传统DRAM，会远远小于硅基消费（CPU服务器）DRAM的用量

以前DRAM的速度升级带来的边际效用是很低的，但现在因为CPU服务器对memory的需求增大，以及端侧AI对DDR速度的要求也增大，比如苹果为了跑本地大模型，LPDDR速度越来越快

速度升级的边际效用高了不少，所以DDR6和LPDDR6的速度迭代需求比以前提升了太大了，这在图里也可以看到，LPDDR6/DDR6的迭代时间缩短了，而且速度斜率，重新开始抬头

以前新一代DDR/LPDDR技术出来，大家的反应都很冷淡，等降价了才会用

而现在LPDDR6出来，各家恨不得都在抢着能尽量早上就尽量早，因为速度的提升带来的performance提升是触手可及的

------

另外，DDR 的供给还要被 HBM 额外抽一道税。HBM 每年的扩产速度太快，导致每年都有一批原本可以做 commodity DDR 的 wafer 被拉去做 HBM，而 HBM 的转换比极低，HBM3E 大约要 3 片 DDR wafer 的产能才能做出等量的 bit，HBM4 是4 片。所以每年大约有 3% 到 5% 的 DDR bit 增长，是被这个 HBM bit tax直接吃掉的

所以DRAM bit volume虽然未来每年能增长24%左右（14%来自wafer增长，9%来自每个wafer的DRAM密度增长），但算上HBM bit tax之后，传统的、非 HBM 的 commodity DDR，每年的 bit growth 大概只有 20%（约 10% 的 wafer 增长 × 约 9% 的 node density 提升）

—---------------------

中国长鑫扩产的影响有多大？如果不讲武德拼命扩产，会不会把这个市场重新带入周期泥潭？

长鑫这几年的扩产速度还是很快的，2025年还是每个月20万晶圆，2026年北京晶圆厂及新增生产线的贡献就能到32~35万。

正在建设中的上海工厂一期和二期，一期预计到2027年每月新增10万片晶圆产能，二期预计到2028年每月新增10万片晶圆产能，也就是说，2027年每个月42万晶圆，2028年能到每个月50万晶圆。

但需要注意的是，长鑫的dram bit 密度大概只有御三家的一半左右，所以长鑫的每个月50万晶圆wafer能产出的dram bit volume只有其他家的一半，这里计算wafer per month的时候，就按等效一半来算

把这个折扣打上之后，长鑫对整个DRAM行业的冲击还是小了很多，从2025年年底到2028年年底，长鑫对DRAM bit产能CAGR的影响大概只有1.5%，全行业的DRAM产能CAGR大概从12.7%升到14.2%

DRAM月产能(kwspm) 2025E → 2028E CAGR

Samsung 685K → 920K 10.3%
SK Hynix 519K → 725K 11.8%
Micron 340K → 560K 18.1%
非中国其他 150K → 218K 13.3%
中国(密度折半) 117K → 274K 32.8%
—————————————————
含中国总计 1811K → 2697K 14.2%
无中国总计 1694K → 2423K 12.7%

就算是长鑫未来还能保持增产速度，2030年对全行业等效产能每年DRAM bit volume增产CAGR的影响，大概也不到3%，从20% CAGR变成23% CAGR，仅此而已

另外，长鑫被光刻机所限制，而DDR6 需要更高速率（14400 MT/s 起步）和更高密度,御三家做 DDR6 大概率会用 1c 或更先进节点（~12nm 以下），已经全面用 EUV。长鑫可能会在DDR6上速率受限，密度也只有一半。

—----------------

即便是成长性周期，为什么DRAM的这轮超级周期会持续很长时间，起码五年看不到头？

第一个原因是，刚才谈到的CPU服务器需求端的巨量增长带来的结构性DRAM需求指数增长，这里结合DRAM供给端的bit volume CAGR大概稳定20%增长，就可以很清晰的看到，DRAM未来几年的缺口为什么越来越大：

非HBM的传统DRAM供给端大概是每年增长20%，而需求端，按2026年60B CPU TAM，每个CPU消耗DRAM平均8GB/core，每个core $30~35来算，需求是16EB

2030年按400B CPU TAM，每个CPU消耗DRAM平均16GB/core，每个core $80来算(CPU涨价超过一倍)，需求是80EB，这部分DRAM的增长CAGR大概是50%，远远超过目前的估算

不同于HBM是直接和token throughput挂钩，从而和GPU赚钱效率直接挂钩，DRAM不够对于agent flow的影响主要是速度，比如说，8GB/core和16GB/core比起来，部分workload速度可能降低30%，部分低价值task实在要等等也能忍，结构性指数增长的动机很强，但需求不如GPU那么刚性

Semianalysis说今年的DRAM缺口式个位数百分数，明年是超过10%。从agent CPU数量激增导致的DRAM结构性来看，这个缺口每年都会继续加大，在2030年之前看不到降低的可能

—----

另外一个DRAM能延续强势很久的逻辑是，因为DRAM涨价之后，被涨价消灭的那部分需求，不是真的消失了，只是延迟了，需求蓄水池太多了。

所谓蓄水池，是指那些"内存一旦降价就会立刻被释放出来的潜在需求"。它们的存在，意味着即便供给阶段性跟上了，价格也很难崩，因为总有新的需求从蓄水池里涌出来接盘：

内存换算力/速度是一个蓄水池：

有大量本来需要靠额外内存来优化速度和算力的需求，在内存太贵时被压着，一旦内存降价就会被释放出来。

比如 Nvidia的CPX prefill 加速，本来的设计初衷是用额外的低成本GDDR7，来做一个专门的prefill加速器，结果LPDDR/GDDR都太贵了，比涨价前的HBM还贵，这个方案的ROI就不划算了，但等到普通内存降价，这样类似CPX的优化方案就还会回来

低价值task是一个蓄水池：内存涨价导致token价格居高不下时，高价值的 task 被优先保留，低价值的 task 被延后；内存一降价，这些被延迟的需求就回来了。

端侧 AI 是一个蓄水池：AI PC 的内存配置可能从 24GB 一路涨到 128GB。苹果已经明确要求最新的端侧AI满血版需要从8GB升级到12GB内存

常规消费电子、Agent PC、低端手机，因为内存涨价而减少的需求，全都是蓄水池。

这么多蓄水池叠在一起，构成了一个极厚的需求缓冲垫。这就是为什么 DDR 这轮的结构性增长，后劲会比市场想象的要强。

—-----

还有一个DRAM价格很难大幅下降的原因在于，HBM和DRAM产能可以互相转换，所以整个DRAM complex是一起re-rate的

在上行期DRAM的利润率远超HBM，HBM的涨价幅度甚至变成了由DRAM去推动。今年新签约的HBM4的价格，就是当期DRAM的价格 x 4，也就是正常堆叠倍数对应HBM4的价格

一旦DRAM降价毛利下滑，因为HBM的长约透明性，利润率都是有保障的，HBM就会间接抽走更多的DRAM产能，HBM的降价也会让GPU厂商更有动力尽可能的升级HBM size，这样也间接保障了DRAM的价格地板

DRAM的结构性指数增长的需求有了，density scaling放缓扩产难度在增加，厂商扩产计划都很谨慎，长鑫这几年带来的影响也是有限的，再加上需求的蓄水池非常庞大，这四个原因导致了，在可预见的至少五年甚至更长时间内，DRAM是很难进入周期低谷的。

—--------------

NAND SSD有希望摆脱传统周期性吗？

NAND 的结构性增长动力没有 DDR 那么强，今年的缺货主要原因是几个主要玩家的生产纪律保持的很好，并没有大规模扩产，每年的产能增加主要来源于技术改进：NAND堆叠层数的增加

第一个结构性增长来自AI，主要来自 KV cache 的 offloading，把HBM溢出的warm/cold KV cache 卸载到 NAND SSD上。

但神奇的事情是，这个kv cache offloading的增长甚至还没有大规模发生，SSD就已经缺的比DRAM还严重了，涨价也比DRAM要更多。等到明年Rubin CMX放量，加上KV cache offloading大规模应用，SSD的缺货也会因为这个结构性增长而增长

第二个，另一个去年年度总结里说到的未来可期的AI视频带来的结构性增量，今年已经有出圈的态势了

Seedance体量在以一年十倍到四十倍的速度增长。目前它还卡在缺卡算力不足的阶段，需求被算力压着没完全释放。但等到缺卡阶段过去，AI 视频对NAND存储的结构性需求增长，会持续相当长的一段时间。

第三个结构性增长也同样来自于agent flow带来的Sandbox使用量的指数级增长，Sandbox为保障数据安全与隔离，如Analytical Agent 需为每个任务复制大量数据库和用户上下文，导致内存(DRAM)和CPU核心的严重浪费，同样会带来大量的SSD的浪费（需求）

第四个也许在2030年之后发挥作用的结构性增长，来自于HBF路线需要用到SSD，在不少投行分析中被寄予厚望，但这个技术路线还有些遥远，主要角色定位只能作为存放大模型的weights，写一次权重然后做只读，而且必须要和GPU/HBM封装在一起（48TBps/96TBps），否则靠PCIE7/8速度太慢完全无法用，只能说未来可期，下一篇AI半导体终局推演2026(III)会有更详细的分析

总之，NAND SSD的结构性增长没有HBM那么强，但是胜在便宜，价格到2027年也只有$0.8/GB，是同期DRAM的四十分之一，所以也算是多级缓存里的万金油属性，结构性增长来源太广泛了

也就是说，不存在DRAM/HBM单独涨价繁荣，而SSD不涨价的情况，因为如果这样的情况发生，那么大家就会想办法用SSD去承载DRAM/HBM的部分功能，用更低的成本实现类似的效果。HBM、DRAM、NAND 不是三个独立故事，而是同一 AI memory hierarchy 在不同温度层的结构性增长

结构性指数增长的需求有了，NAND SSD摆脱周期了吗？ 那么就要看NAND SSD厂家的生产纪律了，唯一可能不遵守生产纪律的，只有长存。毕竟这是一个囚徒困境，一旦有一家不讲武德拼命扩产，整个NAND产业要扩产的难度比DRAM简单的多。

但最起码的，这一轮NAND同样是超级周期，几个结构性指数增长带来的需求，下行期推迟到2030年问题不大

[fin @fi56622380]

AI半导体终局推演2026(I)
当新token经济学范式从GPU算力转移到HBM

本文从从GPU架构进化路线本质出发，解释这个市场长久以来担心的问题:
每个GPU的HBM内存需求为什么一定会是指数增长，为什么HBM需求指数增长不会停滞?

并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽

同时讨论了，为什么GPU的天花板被HBM的两个发展维度所决定

HBM周期性这个话题争议一直很大，乐观派认为AI带来的需求比以前要大的多，但市场主流仍然认为前几次上升周期也有需求每年20%+增长，这次又有什么不一样呢？AI不影响HBM和传统DRAM一样有commodity属性，一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。

我们可以从算力芯片架构视角,从第一性原理出发，来拆解和推演一下这个问题：为什么这次真的不一样

-------------------------------
历史：CPU算力时代

很久以来，我们都处在CPU主导算力的时代，CPU的最高级KPI就是performance，跑的更快，所以每一代的CPU都用各种方法来提高跑分，最开始是频率上升，后来是架构演进superscaler等等

这个时候为什么DDR不需要很快的技术进步速度？比如DDR3到DDR5竟然经历了15年之久

因为这个时期的DDR的角色是纯粹的辅助，而且辅助功能极弱，以业界经验，DDR的速度即便是提高一倍，CPU的performance一般只能提高不到20%这个量级

为什么DDR带宽速度提高了用处不大？两个原因

1. CPU设计了各种架构去隐藏 DDR延迟，比如superscaler，加大发射宽度，用海量的ROB和register renaming来提高并行度隐藏延迟，一级缓存cache，二级缓存cache，削弱了DDR的带宽速度需求

2. CPU workload对DDR带宽要求并不高，大部分日常负载比如打开网页，DDR带宽是严重过剩的，甚至云端负载

也就是说，在CPU时代，DDR的带宽速度是不太有所谓的，DDR4和DDR5除了少数游戏就没啥差别，甚至JEDEC标准也进步缓慢。

另外，绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可，app的size增长没那么快，导致对DDR的容量需求也较为缓慢。

所以最近十年来，平均每台电脑上的DDR容量大概从7~8GB变成了23GB，十年只增长了3倍。

而这部分升级缓慢直接影响了营收，size容量计价是赚钱的主要方式，速度的提高只是技术升级，提高size的单价，这两个的升级需求都不大，需求主要是随着电脑/手机数量增长而增长

所以DRAM在带宽速度和容量这两个维度上，一直是都是芯片产业锦上添花性质的附属品，DDR升级带来的边际效用是很低的，跟CPU时代的最高KPI几乎没什么直接联系

--------------------------------------------
而到了genAI 大模型为主导的新时代，计算范式转移让最高级KPI起了根本变化

GPU发展到AI推理的时代，不再像CPU那样只看跑分，最高级的KPI不再是算力TOPS/FLOPS，而是token的成本，特别是单位成本/单位电力下的overall token throuput

其次是token吞吐速度，因为在agent时代，很多任务变成了串行，token吞吐速度成了用户体验的重要瓶颈。

这也是为什么老黄发明AI工厂概念的原因：最低成本的输出最多token，同时尽量提高token吞吐速度

AI训练时代，老黄的经济学是TCO(total cost ownership)，买的GPU越多，省的越多

而老黄在推理时代的token经济学是：

AI推理的毛利润很可观，所以逻辑已经转换成：Nvidia GPU是这个世界上让token单价最便宜的GPU，买的GPU越多，赚的越多

最高的KPI变成了Pareto frontier曲线，在提高token 吞吐throughput和提高token速度两个维度上尽量优化
（见图一）

NVIDIA 的 token factory 代际进步，其实是在把整条 Pareto frontier 往右上推，这就是是AI推理这个时代最重要的KPI

----------------------------------

接下来是本文最重要的逻辑链，如何从token吞吐量指数型增长的本质出发，推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长

单卡GPU推理单线程batch size = 1的时代，token吞吐只有一个维度，就是HBM的带宽速度，带宽速度越高，token吞吐越大

但进入NVL72的年代，推理不再是单卡GPU时代，而是72个GPU + 36个CPU整个系统级别的token工厂，把HBM带宽和算力用满，获得极致的token吞吐量

Token 吞吐throughput的增长，依赖两个东西：同时批处理的请求数 X 每个user请求的平均token速度

也就是batch size X per user token 速度

以Rubin NVL72为例，在平均token速度是100 token/s的情况下，同时批处理1920个请求，得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW（0.12MW）的功率，所以得到单位MW能处理1.6M token/s

（见图一）

所以，我们需要想方设法提高这两个参数：批处理数量batch size和per user token的平均速度，这两者相乘就是我们的最高KPI，也就是token的吞吐量

-------
第一个参数：batch size的增长，瓶颈在HBM size

批处理量里的每一个请求req，都会自带kv cache，这部分kv cache是需要存在HBM里的，大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取，所以必须放在HBM里，比如一个大模型的层数是80层，那么每一个token的生成阶段，都需要读取80次HBM里的kv cache

随着批处理数量batch size的增长，会带来hot kv cache的线性增长

又因为这个批处理量的所有请求的hot kv cache，都要放在HBM上，这也就带来了HBM size必须要随着批处理量batch size线性增长

就像是机场接驳车，登机口尽量快的接旅客到飞机，HBM size小了，相当于接驳车size小了，就得多接一趟

结论是：批处理量的数量batch size，瓶颈依赖于HBM size的增长

---------
第二个参数：每个user请求的平均token速度，瓶颈在HBM带宽

大模型decode阶段的速度，瓶颈取决于HBM的带宽速度，因为每生成一个 token,都要把激活的权重和kv cache 读很多遍

LPU的出现，在batch不那么大的情况下，把激活权重这个部分搬到了SRAM上，但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高，生成每一个token的速度也就越快，基本上是线性对应的

就像是机场接驳车，登机口尽量快的接旅客到飞机，hbm本身带宽速度就像是接驳车的车门有多宽，门越宽，旅客上接驳车越快

GPU的其他配置，都是在适配batch的增长以及要让token compute的速度配平HBM的增长，甚至会用多余的算力来获得部分的带宽（比如部分带宽压缩技术）

—-----
在那个接驳车的比喻例子里

接驳车的车厢大小 = HBM Size（容量）： 决定了一次能装下多少名旅客（也就是能同时装下多少个请求的 KV Cache）。车厢越大，一次能拉载的旅客（Batch Size）就越多。如果车太小，想拉100个人就得分两趟，系统整体的吞吐量就上不去。

接驳车的车门宽度 = HBM Bandwidth（带宽）： 决定了旅客上下车的速度。门越宽，大家呼啦啦一下全上去了（Decode/生成Token的速度极快）。如果门很窄，哪怕车厢巨大能装200人，大家也得排着队一个一个挤上去，全耗在上下车的时间里了。

旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度)

—---------------------------

至此，我们从逻辑上推演出了token经济学的硬件需求第一性原理：

Token throughput = HBM size X HBM Bandwidth
AI推理这个时代的最高KPI，实际上是高度依赖于HBM的两个维度的进步的

如果要维持token throuput每一代两倍的增长，实际上意味着，每一代的单GPU上，HBM size X HBM BW带宽之积要增长两倍！

这也是历史上第一次，HBM内存的size可以影响最高的KPI token throughput！

要验证这个理论，可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput，和HBM size X HBM BW 放在同一个图里比较
（见图二）

可以发现，这两个曲线的走势在对数轴上惊人的一致

HBM size x HBM带宽增长的甚至要比token吞吐量更快，毕竟HBM决定的是天花板，实际上这个天花板增长的利用率utilization是很难达到100%的，也就是说，HBM size x HBM 带宽就算增长1000倍，其他算力和架构的配合下，很难把这1000倍的天花板潜力全部榨干

这条曲线不是巧合，而是系统最优化的必然解

throughput = batch × Bandwidth，这就是token factory 经济学最绕不开的第一性原理

—--------
软件的影响呢？软件的优化会不会降低带宽的需求？降低HBM的需求？

这跟硬件是独立两个维度的，这好像在问，如果CPU上的软件优化了之后跑的更快，是不是CPU就十年不用发展了？反正软件跑的更快了嘛

这样的话，CPU厂还能赚得到钱吗？CPU想要存活下去，只有一条路可走，在标准benchmark，不考虑软件优化，每一代CPU必须要跑分更高，不然就卖不出去
GPU也是一样，软件优化如何，和自己的token吞吐量KPI每年都要大幅进步，是两回事

只要token的需求继续增长，对token throuput的追求就绝不会停止，那么对HBM size X HBM 带宽的追求也不会停止

如果HBM size和HBM 带宽发展慢了，老黄一定会亲自到御三家逼着他们技术升级，因为这就是老黄gpu的天花板，天花板要是钉死了不进步，老黄的GPU还能卖出去吗？

当然了，Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分，比如LPU就是一个很好的尝试，把Pareto frontier从另一个角度改善了很多 （右半边高token速度的部分）

—--------------------------------------

HBM内存已然告别了那个随波逐流的旧时代，在这条由指数级需求铺就的单行道上，以一种近乎宿命的方式走到了产业史诗的主舞台中央

推理范式第一性原理演化到这一步，只要老黄还要卖GPU，HBM就必须翻倍，而且必须代代翻倍。这是supply side的内生压力，与AI需求无关，与宏观周期无关，与hyperscaler的心情也无关

剩下的问题，只有一个：

当需求被物理锁定为指数增长的时候，供给侧的三个玩家，会不会还像过去三十年那样，亲手把自己再拖回一次周期的泥潭？

[Thierry from arvy 🇨🇭 @ThierryBorgeat]

10 numbers every investor should know by heart:

6.9%
Real annualised return of stocks over 200 years. After inflation.

72
Divide by your return rate = years to double your money.
At 8%: 9 years. At 12%: 6 years.

40%
Of your total long-term stock return comes from reinvested dividends.
Spend them instead and you burn 40% of your compounding engine.

2%
Average annual inflation.
Over 30 years it cuts your cash’s purchasing power in half.
Over 50 years it destroys 73% of it.

10
The number of best trading days per year.
Miss them over 20 years and you lose half your returns.
Most fell during bear markets.

0.98
Correlation between S&P 500 and earnings growth over 30 years.
In the short term, sentiment rules.
In the long term, fundamentals always win.

4%
Safe withdrawal rate in retirement.
Historically lasts 30+ years without running out.

−14%
Average intra-year drawdown of the S&P 500.
Every year. Normal. Expected. Ignore it.

+36.4%
Average S&P 500 return in the 12 months after a midterm election year bottom.
The most reliable seasonal pattern in markets.

100%
Percentage of 20-year rolling periods that delivered positive real returns.
Every single one. In 150 years of data.

Save these.
They are worth more than most financial advice you will ever pay for.

[Macro_Lin @LinQingV]

铜箔在走玻纤布走过的路。高阶先涨，挤掉低阶供给，低阶跟着涨。

三大CSP的AI服务器平台同时转向HVLP4。英伟达Rubin平台全线导入，亚马逊Trainium 3的UBB和switch tray升级，Google从V8x开始所有新平台全面转向。券商的需求测算，英伟达CCL需求从Q1的50万张/月到年底90万张，亚马逊30到80万张，Google 50到120万张。对应HVLP4需求从284吨/月拉到1,676吨/月。

问题是，全球主要厂商合计HVLP级总产能大约1,300吨/月，光是三家CSP对HVLP4的需求到年底就要1,676吨。卡在哪？日本Tyo-mifune的表面处理设备全球市占八成，别人想扩也扩不动，产能扩充上限约1,500吨/月。而且每一代HVLP制程转换大约10%的良率折损，有效产能比纸面数字还少一截。券商估算整体缺口13%到14%，Q2已经确认涨价，下半年可能还有第二波。

龙头三井和金居都在退出RTF产品，全力转HVLP。产能往高阶搬，低阶供给被抽空，低端电子铜箔的涨价周期才刚开始。

[Macro_Lin @LinQingV]

台积电又要赢麻了。几乎所有的芯片架构师都在往推理芯片里塞更多的SRAM。Google TPU v8i 384MB，Groq LPU单颗500MB，微软Maia 200 272MB。这个逻辑是对的，推理的decode阶段是memory-bound的，每生成一个token都要把权重从显存里读一遍，SRAM比HBM快一个数量级，片上SRAM越多，token生成越快。

问题是SRAM吃硅片面积，而且这个面积几乎不随制程进步而减少。台积电3nm节点的高密度SRAM bit cell面积跟5nm完全一样，整整一代没有缩小。到2nm用GAA晶体管终于有了改善，但主要是外围电路在缩，bit cell本身的进展有限。

这意味着什么？推理芯片对SRAM的需求在翻倍甚至三倍增长，但每平方毫米能塞进去的SRAM容量几乎没怎么变。结果就是die面积被SRAM撑大，384MB SRAM在2nm下光SRAM本身就要占掉80-100mm²以上，占一颗大芯片面积的10-15%。Die越大，每片wafer切出的good die越少，良率越低，单颗成本越高。

面积问题之外还有产能问题。这些推理芯片全部挤在台积电2nm节点上，跟Apple、AMD、高通抢同一条产线。Google一家到2028年TPU出货规划就超过3500万颗。同时这些芯片还需要配大容量HBM，CoWoS先进封装产能已经紧张到部分客户开始评估Intel的替代方案。

先进逻辑节点和先进封装，两条线同时绷紧。Groq的LPU走三星4nm算是分流了一部分压力，部分客户也开始评估Intel的EMIB和Foveros作为CoWoS的替代。但对大多数推理芯片来说，台积电2nm加CoWoS仍然是唯一选项，产能争夺只会越来越激烈。

AMD的3D V-Cache指了一条可能的出路，把SRAM单独做成die用成熟节点生产，再3D堆叠到逻辑die上面。如果推理芯片的SRAM需求继续往GB级别走，这可能是绕开SRAM缩放困境的唯一路径。但3D堆叠又绕回了先进封装的瓶颈。

推理时代的硬件瓶颈，依然在存储密度和封装产能。

[괴짜 @gmpnavi]

https://t.co/rUTb9qcWFT

[Ethan Kho @ethanrkho]

"85% accuracy on Wall Street will get you 100% fired."

Brett Caughran (@FundamentEdge) has managed analysts at Citadel, D.E. Shaw & tiger cub funds.

His take on AI and the future of junior analysts:

"There's almost no better time to be starting a career as a fundamental investor. These tools let junior investors get to the juicy part of the investment process more quickly."

We cover:
- Why the junior analyst role is transforming faster than any point in the last 20 years — and why the juniors who adapt will reach the real work of investing years sooner
- The old grunt work that's already dead — and what's replacing it
- Why billion-dollar funds won't cut analyst headcount, but the job description is changing dramatically
- “Should I still learn Excel modeling?" — yes, because you can't debug what you don't understand
- Why creativity & tenacity are becoming the new differentiators over raw quantitative skill
- How multi-manager alpha factories scaled from $10B to $60B+ while sustaining double-digit returns — proof that more information hasn't compressed alpha
- Why reading a 10-K with pen and paper still matters even when AI can summarize it in seconds
- The most underrated skill in the best investors he's worked with: genuine curiosity

Thanks so much to Brett (@FundamentEdge) for coming on Odds on Open!

Highlights:
00:00 Intro
01:29 Frameworks for developing a differentiated variant perception
05:16 Financial drivers vs. narrative cycles: The Focus 5 framework
08:29 Analyzing the stock vs. business: Bayesian updating in public markets
12:52 AI as an intellectual power tool vs. consensus "alpha slop"
17:21 Accelerating the hunch-to-hypothesis pipeline with AI sniff tests
21:52 The evolution of junior analysts: From data entry to primary research
28:46 Why market microstructure and behavioral alpha prevent index efficiency
38:44 Training junior analysts: Earning the right to use power tools
48:28 LLMs as orchestration tools for human primary research
54:55 Teachable scientific process vs. revealed investment judgment
57:54 Common threads across Multi-Managers, Single Managers, and Tiger Cubs
59:49 Curiosity as a meta-skill and the art of system thinking

[kache @yacineMTB]

https://t.co/AMeBVtRJne

[Goshawk Trades @GoshawkTrades]

https://t.co/DP2EGpXyi9

[Anita AGI/acc @Anitahityou]

https://t.co/anlfNQ9qHC

[Derya Unutmaz, MD @DeryaTR_]

In just two days, using OpenAI Codex app GPT-5.4, I created a fully functional flow cytometry data analysis software, ~20,000 lines of code from scratch! This is a highly sophisticated and specialized biology software tool that every immunologist relies on. The best part is that I can continuously improve it and add new features that are not even available in comparable commercial software, which can cost thousands of dollars per user!

For those not familiar with what flow cytometry software is, here is the detailed explanation from Grok:

Flow cytometry analysis software is like a super-smart graphing calculator for biologists and doctors who study cells.

What the machine does firstImagine you have a sample of blood or tissue with millions of cells. The flow cytometer machine lines the cells up single-file like cars on a highway and shoots lasers at each one as it zooms by (thousands of cells per second). The lasers tell the machine things like:How big is the cell?
How “grainy” or complicated is it inside?
Does it have certain “flags” (proteins) stuck on it? (These flags light up in different colors, like red, green, purple tags.)

The machine spits out a huge computer file full of raw numbers — no pictures, just data.
What the software is forThe analysis software takes that messy pile of numbers and turns it into clear pictures and answers you can actually understand. Think of it as the “translator” or “artist” that draws the story from the data.With a few clicks you can see:Colorful dot plots or graphs that show different groups of cells (like “these blue dots are healthy immune cells, these red dots are cancer cells”).

Exactly what percentage of the cells are a certain type (e.g., “78% of the cells in this blood sample are fighting the infection”).
How strongly a cell is “glowing” with a certain color tag (which tells you how much of a protein it’s making).
Side-by-side comparisons of a patient’s sample before and after treatment.

The magic trick scientists use every dayThe most common thing they do is called “gating.” It’s like drawing a circle around a group of similar dots on the graph and saying, “Only look at these cells.” The software instantly counts everything inside that circle and gives you the numbers. You can keep drawing smaller and smaller circles to zoom in on very specific cell types — kind of like zooming into a crowd photo until you only see people wearing red hats and glasses.

[gemchanger @gemchange_ltd]

https://t.co/bVArkKPyv1

[KP_Wing @xukunpeng24]

Agent 想要什么？

别看各类技术文章吹的天花乱坠，从第一性原理出发，现在所有的 agent 依旧是
由 reasoning, action, observation 构成的 ReAct 架构。

有了这个认识后，回答这个问题就很简单了。

第一，更大参数的 LLM 作为大脑
第二，清晰的权限设计作为脚手架
第三，稳定外部 api 能拿到反馈进行迭代

基于这三个要素去看爆火的 openclaw, skill, 工作流就会清晰多了

[Ray Wang @wangray]

https://t.co/0hb1JZShcI

[Roan @RohOnChain]

https://t.co/T4iLCcOBMx

[Goshawk Trades @GoshawkTrades]

https://t.co/CGchMFD5AN

[米斯特姚 @mryao90]

不用自己写新闻行情、地缘政治、突发事件监控器了，这是一个监控全球热点突发新闻，金融市场，AI科技，美联储信息，加密货币等聚合到一起的行情监控开源项目 https://t.co/reyODYceT7 不过这个作者没有写readme，他应该也是用AI写的，里面有一份https://t.co/Ioor29Glor 是给ai看的手册，你可以丢给自己的AI让他根据这份文档帮你去编译启动，非常方便

[gemchanger @gemchange_ltd]

https://t.co/YbXzSpFE31

[Andrej Karpathy @karpathy]

It is hard to communicate how much programming has changed due to AI in the last 2 months: not gradually and over time in the "progress as usual" way, but specifically this last December. There are a number of asterisks but imo coding agents basically didn’t work before December and basically work since - the models have significantly higher quality, long-term coherence and tenacity and they can power through large and long tasks, well past enough that it is extremely disruptive to the default programming workflow.

Just to give an example, over the weekend I was building a local video analysis dashboard for the cameras of my home so I wrote: “Here is the local IP and username/password of my DGX Spark. Log in, set up ssh keys, set up vLLM, download and bench Qwen3-VL, set up a server endpoint to inference videos, a basic web ui dashboard, test everything, set it up with systemd, record memory notes for yourself and write up a markdown report for me”. The agent went off for ~30 minutes, ran into multiple issues, researched solutions online, resolved them one by one, wrote the code, tested it, debugged it, set up the services, and came back with the report and it was just done. I didn’t touch anything. All of this could easily have been a weekend project just 3 months ago but today it’s something you kick off and forget about for 30 minutes.

As a result, programming is becoming unrecognizable. You’re not typing computer code into an editor like the way things were since computers were invented, that era is over. You're spinning up AI agents, giving them tasks *in English* and managing and reviewing their work in parallel. The biggest prize is in figuring out how you can keep ascending the layers of abstraction to set up long-running orchestrator Claws with all of the right tools, memory and instructions that productively manage multiple parallel Code instances for you. The leverage achievable via top tier "agentic engineering" feels very high right now.

It’s not perfect, it needs high-level direction, judgement, taste, oversight, iteration and hints and ideas. It works a lot better in some scenarios than others (e.g. especially for tasks that are well-specified and where you can verify/test functionality). The key is to build intuition to decompose the task just right to hand off the parts that work and help out around the edges. But imo, this is nowhere near "business as usual" time in software.

[rheo @RiveryLee]

The belief that AI agents will be “usable by everyone” is a cognitive mirage—like believing money printing can make everyone rich. Yes they’ll be widely accessible, but their real power extends far beyond that.