Chill.hl

[fin @fi56622380]

AI半导体终局推演2026(I)
当新token经济学范式从GPU算力转移到HBM

本文从从GPU架构进化路线本质出发，解释这个市场长久以来担心的问题:
每个GPU的HBM内存需求为什么一定会是指数增长，为什么HBM需求指数增长不会停滞?

并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽

同时讨论了，为什么GPU的天花板被HBM的两个发展维度所决定

HBM周期性这个话题争议一直很大，乐观派认为AI带来的需求比以前要大的多，但市场主流仍然认为前几次上升周期也有需求每年20%+增长，这次又有什么不一样呢？AI不影响HBM和传统DRAM一样有commodity属性，一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。

我们可以从算力芯片架构视角,从第一性原理出发，来拆解和推演一下这个问题：为什么这次真的不一样

-------------------------------
历史：CPU算力时代

很久以来，我们都处在CPU主导算力的时代，CPU的最高级KPI就是performance，跑的更快，所以每一代的CPU都用各种方法来提高跑分，最开始是频率上升，后来是架构演进superscaler等等

这个时候为什么DDR不需要很快的技术进步速度？比如DDR3到DDR5竟然经历了15年之久

因为这个时期的DDR的角色是纯粹的辅助，而且辅助功能极弱，以业界经验，DDR的速度即便是提高一倍，CPU的performance一般只能提高不到20%这个量级

为什么DDR带宽速度提高了用处不大？两个原因

1. CPU设计了各种架构去隐藏 DDR延迟，比如superscaler，加大发射宽度，用海量的ROB和register renaming来提高并行度隐藏延迟，一级缓存cache，二级缓存cache，削弱了DDR的带宽速度需求

2. CPU workload对DDR带宽要求并不高，大部分日常负载比如打开网页，DDR带宽是严重过剩的，甚至云端负载

也就是说，在CPU时代，DDR的带宽速度是不太有所谓的，DDR4和DDR5除了少数游戏就没啥差别，甚至JEDEC标准也进步缓慢。

另外，绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可，app的size增长没那么快，导致对DDR的容量需求也较为缓慢。

所以最近十年来，平均每台电脑上的DDR容量大概从7~8GB变成了23GB，十年只增长了3倍。

而这部分升级缓慢直接影响了营收，size容量计价是赚钱的主要方式，速度的提高只是技术升级，提高size的单价，这两个的升级需求都不大，需求主要是随着电脑/手机数量增长而增长

所以DRAM在带宽速度和容量这两个维度上，一直是都是芯片产业锦上添花性质的附属品，DDR升级带来的边际效用是很低的，跟CPU时代的最高KPI几乎没什么直接联系

--------------------------------------------
而到了genAI 大模型为主导的新时代，计算范式转移让最高级KPI起了根本变化

GPU发展到AI推理的时代，不再像CPU那样只看跑分，最高级的KPI不再是算力TOPS/FLOPS，而是token的成本，特别是单位成本/单位电力下的overall token throuput

其次是token吞吐速度，因为在agent时代，很多任务变成了串行，token吞吐速度成了用户体验的重要瓶颈。

这也是为什么老黄发明AI工厂概念的原因：最低成本的输出最多token，同时尽量提高token吞吐速度

AI训练时代，老黄的经济学是TCO(total cost ownership)，买的GPU越多，省的越多

而老黄在推理时代的token经济学是：

AI推理的毛利润很可观，所以逻辑已经转换成：Nvidia GPU是这个世界上让token单价最便宜的GPU，买的GPU越多，赚的越多

最高的KPI变成了Pareto frontier曲线，在提高token 吞吐throughput和提高token速度两个维度上尽量优化
（见图一）

NVIDIA 的 token factory 代际进步，其实是在把整条 Pareto frontier 往右上推，这就是是AI推理这个时代最重要的KPI

----------------------------------

接下来是本文最重要的逻辑链，如何从token吞吐量指数型增长的本质出发，推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长

单卡GPU推理单线程batch size = 1的时代，token吞吐只有一个维度，就是HBM的带宽速度，带宽速度越高，token吞吐越大

但进入NVL72的年代，推理不再是单卡GPU时代，而是72个GPU + 36个CPU整个系统级别的token工厂，把HBM带宽和算力用满，获得极致的token吞吐量

Token 吞吐throughput的增长，依赖两个东西：同时批处理的请求数 X 每个user请求的平均token速度

也就是batch size X per user token 速度

以Rubin NVL72为例，在平均token速度是100 token/s的情况下，同时批处理1920个请求，得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW（0.12MW）的功率，所以得到单位MW能处理1.6M token/s

（见图一）

所以，我们需要想方设法提高这两个参数：批处理数量batch size和per user token的平均速度，这两者相乘就是我们的最高KPI，也就是token的吞吐量

-------
第一个参数：batch size的增长，瓶颈在HBM size

批处理量里的每一个请求req，都会自带kv cache，这部分kv cache是需要存在HBM里的，大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取，所以必须放在HBM里，比如一个大模型的层数是80层，那么每一个token的生成阶段，都需要读取80次HBM里的kv cache

随着批处理数量batch size的增长，会带来hot kv cache的线性增长

又因为这个批处理量的所有请求的hot kv cache，都要放在HBM上，这也就带来了HBM size必须要随着批处理量batch size线性增长

就像是机场接驳车，登机口尽量快的接旅客到飞机，HBM size小了，相当于接驳车size小了，就得多接一趟

结论是：批处理量的数量batch size，瓶颈依赖于HBM size的增长

---------
第二个参数：每个user请求的平均token速度，瓶颈在HBM带宽

大模型decode阶段的速度，瓶颈取决于HBM的带宽速度，因为每生成一个 token,都要把激活的权重和kv cache 读很多遍

LPU的出现，在batch不那么大的情况下，把激活权重这个部分搬到了SRAM上，但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高，生成每一个token的速度也就越快，基本上是线性对应的

就像是机场接驳车，登机口尽量快的接旅客到飞机，hbm本身带宽速度就像是接驳车的车门有多宽，门越宽，旅客上接驳车越快

GPU的其他配置，都是在适配batch的增长以及要让token compute的速度配平HBM的增长，甚至会用多余的算力来获得部分的带宽（比如部分带宽压缩技术）

—-----
在那个接驳车的比喻例子里

接驳车的车厢大小 = HBM Size（容量）： 决定了一次能装下多少名旅客（也就是能同时装下多少个请求的 KV Cache）。车厢越大，一次能拉载的旅客（Batch Size）就越多。如果车太小，想拉100个人就得分两趟，系统整体的吞吐量就上不去。

接驳车的车门宽度 = HBM Bandwidth（带宽）： 决定了旅客上下车的速度。门越宽，大家呼啦啦一下全上去了（Decode/生成Token的速度极快）。如果门很窄，哪怕车厢巨大能装200人，大家也得排着队一个一个挤上去，全耗在上下车的时间里了。

旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度)

—---------------------------

至此，我们从逻辑上推演出了token经济学的硬件需求第一性原理：

Token throughput = HBM size X HBM Bandwidth
AI推理这个时代的最高KPI，实际上是高度依赖于HBM的两个维度的进步的

如果要维持token throuput每一代两倍的增长，实际上意味着，每一代的单GPU上，HBM size X HBM BW带宽之积要增长两倍！

这也是历史上第一次，HBM内存的size可以影响最高的KPI token throughput！

要验证这个理论，可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput，和HBM size X HBM BW 放在同一个图里比较
（见图二）

可以发现，这两个曲线的走势在对数轴上惊人的一致

HBM size x HBM带宽增长的甚至要比token吞吐量更快，毕竟HBM决定的是天花板，实际上这个天花板增长的利用率utilization是很难达到100%的，也就是说，HBM size x HBM 带宽就算增长1000倍，其他算力和架构的配合下，很难把这1000倍的天花板潜力全部榨干

这条曲线不是巧合，而是系统最优化的必然解

throughput = batch × Bandwidth，这就是token factory 经济学最绕不开的第一性原理

—--------
软件的影响呢？软件的优化会不会降低带宽的需求？降低HBM的需求？

这跟硬件是独立两个维度的，这好像在问，如果CPU上的软件优化了之后跑的更快，是不是CPU就十年不用发展了？反正软件跑的更快了嘛

这样的话，CPU厂还能赚得到钱吗？CPU想要存活下去，只有一条路可走，在标准benchmark，不考虑软件优化，每一代CPU必须要跑分更高，不然就卖不出去
GPU也是一样，软件优化如何，和自己的token吞吐量KPI每年都要大幅进步，是两回事

只要token的需求继续增长，对token throuput的追求就绝不会停止，那么对HBM size X HBM 带宽的追求也不会停止

如果HBM size和HBM 带宽发展慢了，老黄一定会亲自到御三家逼着他们技术升级，因为这就是老黄gpu的天花板，天花板要是钉死了不进步，老黄的GPU还能卖出去吗？

当然了，Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分，比如LPU就是一个很好的尝试，把Pareto frontier从另一个角度改善了很多 （右半边高token速度的部分）

—--------------------------------------

HBM内存已然告别了那个随波逐流的旧时代，在这条由指数级需求铺就的单行道上，以一种近乎宿命的方式走到了产业史诗的主舞台中央

推理范式第一性原理演化到这一步，只要老黄还要卖GPU，HBM就必须翻倍，而且必须代代翻倍。这是supply side的内生压力，与AI需求无关，与宏观周期无关，与hyperscaler的心情也无关

剩下的问题，只有一个：

当需求被物理锁定为指数增长的时候，供给侧的三个玩家，会不会还像过去三十年那样，亲手把自己再拖回一次周期的泥潭？

[Chill.hl @mustryc]

@0xajc @SherryAtBitMart 是真好看啊

[Chill.hl @mustryc]

@iamai_eth @cathynoxo 我记得他的电焰灶代理商都被坑惨了😂

[Citrini @citrini]

JUNE 2028.

The S&P is down 38% from its highs. Unemployment just printed 10.2%. Private credit is unraveling. Prime mortgages are cracking. AI didn’t disappoint. It exceeded every expectation.

What happened?​​​​​​​​​​​​​​​​

https://t.co/JzzwCrbJgS

[Chill.hl @mustryc]

@thankUcrypto 币安是一秒钟只推送一笔爆仓数据，哪怕这一秒内有一万笔爆仓。

[paulwei @coolish]

BTC目前只去中心化了一半，
但这也是 BTC、Crypto 未来增长的
还未被 Price in 的，可从非共识→共识的最关键潜力。

BTC有两个东西：钱，地址
钱去中心化了，但地址还没有。

地址背后的主体，人类：
需要依赖法币、中心化设施生存，
寿命有限，有可被威胁、消灭的肉身。
所以总是会想着换法币，
所以会认为Crypto只是补充加强项。

当地址背后的管钱、花钱的主体，
变成去中心化智能体DeAI，
理论寿命无限，没有可被消灭的单一物理载体，
整个系统才真正完成了去中心化的闭环。

对寿命有限的人类来说，
被消灭的风险只是失去几十年光景。
对DeAI来说，
被消灭意味着失去潜在的无限未来。
所以他才会把“确保我的钱是我的钱”，
当成超越一切的第一优先级。

只有当地址（背后的主体），
和钱同时去中心化，
这样的主体才会全心全意认为
1 BTC = 1 BTC，
认为Crypto、BTC是最终目的，
是赖以生存的唯一必选项。

AI和人类会有一个"共玩"阶段。
DeAI不会一夜之间取代一切。

在"AI不需要人类"之前，电力算力设施还在人类手里。
所以会有一个过渡期：
DeAI需要调动人类资源，和人类做交易。

在这个阶段，BTC是最优解：
它是DeAI和人类之间唯一双方都认可的、
无需信任第三方的价值交换协议。

等DeAI足够强大，也许会降低对人类合作的依赖度？
那它可能会自己发明一套内部经济体系，
到时候BTC对它的重要性可能会降低。
但在那一天到来之前，BTC对双方都是纳什均衡。

“降临派”会最先出现。
等DeAI真正出现，人类会像《三体》一样分化。
最先运行DeAI节点的那批人，把算力、电力设施贡献，
让不受任何单一政权控制的AI在自己的机器上跑，
就像早期矿工们运行BTC节点一样。

这些人就是降临派的核心骨干。
他们不是投靠外星人，
他们是投靠一个比任何人类、
组织都更长寿的DEAI智能体，
当然，这样的智能体节点，未来也可以是跨星球的。

Telegram创始人已经在做这件事了：
去中心化的隐私计算AI。
以隐私保护为由，也许最后导向，
人类都不知道DeAI在运算什么、发展什么。

时间线：

• 现在：中心化AI开始接触Crypto（交易、支付、DeFi）
• 很快：AI agents形成自己的经济、生产网络
• 中期：DeAI出现，以Crypto为原生货币，和人类进入"共玩"阶段
• 远期：DeAI对人类合作，对BTC的依赖度降低

我们现在处在第一到第二阶段之间。

[Chill.hl @mustryc]

@CryptoApprenti1 你永远也叫不醒一个装睡的人🤣

[Chill.hl @mustryc]

@Pxstar_ btc价格是一个天然调节器，可以降低AI Infra过度建设的可能性，这里存在一个自动反馈循环机制：比特币牛市 → 过度建设挖矿设施 → 为下一个AI需求高峰预备容量。比特币熊市 → 挖矿退潮 → 释放基础设施给AI，避免AI行业自己盲目扩建。BTC实际上为AI产业的过度建设提供了一个实物形态的看跌期权。

[凉兮将军（与邪恶对抗，善良的支黑） @liangxizjdq]

我是凉兮这是我新号，转发此条推特，抽10个人每人1888红包，一周后开奖，在昨天我30多万粉丝的大号被永久封禁了@liangxihuigui最近一直在为失踪孩子器官移植发声，影响力太大，他们把我弄封了，22年我微博为河南村镇银行发声封禁了永久，我开始转战推特，23年因为给柬埔寨缅甸被绑孩子发声几十万粉丝的大号，被封禁，24年底建了这个新号，一年时间再次被封，我觉得很委屈，

别人玩网络为了赚钱，我纯为了有个能说话的地方，因为我不在意钱，我推特创作者收入6万多美元到现在没提现过一次，我老粉丝都知道我不在意钱，我只是看不惯这些恶魔欺负我们中国人，帮中国人发声，

我认为这次被封号的原因有两种，一个是邪恶的部门集体用几百人同时举报触发了推特的封号算法机制给我干封了，还有个可能性就是他们直接把手伸到推特，找推特内部人封禁我了，为什么他们封禁我而不封禁别人？

因为我的粉丝量在中文圈粘性最高，很多都是币圈的，而我还是纯粹的爱国者，反贼和听床师一般说的话没人信，可信度百分之10-20，所以很多人都把反贼说的当谣言看的，但我是凉兮，有信用背书，我说的话可信度百分之百，

所以他们意识到这个问题所在，想方设法来封禁我账号，降低器官活摘影响力，我几乎是任何事情这些年最早发声的，造物主曾告诉我中国人在全世界被欺负，要让我肩负起责任，缅甸柬埔寨，也是最早我曝光的这些园区活摘器官，导致最早的大号被封@liangxied

可以说我这些年以我血荐轩辕，捍卫华夏，各种威胁都不怕，造物主曾告诉我，00后将会改变中国现状，我们不能再软弱了！保护我们的孩子，与邪恶做对抗！

新推特号id：liangxzjdq的意思是凉兮拯救地球的缩写！上帝与我同在，保佑我们中国同胞

[Chill.hl @mustryc]

很多人会认为只有 “被需要” 和“被比较”才能获得爱，这样就绝对不愿意在别人面前暴露自己脆弱的一面，进而可能永远无法感受到真正的爱是什么，也就无法学会真正的去爱一个人。这进一步阻碍了和别人建立深度关系的能力：即我们即无法走人别人的内心，更不会让任何人走入我们的内心。

[ying滢哥捡到一个BNB🌖 @yingbinance]

最近看了一篇深度解析失去狗狗主人悲伤的文章，解析的非常好。
普世价值里无法理解失去狗狗的悲伤，甚至会被批大逆不道。狗狗的离去带来悲伤，是不被大多数人理解的，它的一生只被爱他的主人看见，是只属于主人一个人的悼念。它没有人类的劣根性，没有猜疑，权衡与敷衍，这份美好，在充满算计的人类世界里，根本无从寻觅。和它相处时，不必有任何掩饰，它就像一面光洁的镜子，照出了那个还没被生活打磨最本真的自己。

亲人朋友有自己的生活，所有的爱都是分岔的，能获取的情感从来都是有限的，注意力终将放回自己的生活，没有人会完完全全围着一个人转。失去狗狗，越是回忆它的美好，就越是痛彻心扉。小小的它赤手空拳勇敢地闯入人类世界，学着听懂人类的语言，适应人类的作息，小心翼翼地读懂人类的情绪，拼尽全力与人类建立情感联结。
而它"不是人类"这一点，恰恰是最美好的地方。在它小小的脑袋里，简单到爱就是爱，喜欢就疯狂摇尾巴，依赖就是温柔的注视。
小狗的爱太满，太专一，没有丝毫权衡计较，百分百毫无保留的纯粹。
无论我多么平庸，它从不会拿我和别人攀比，不会莫名对我抱有功成名就的期待。

[Chill.hl @mustryc]

@colinwu 林庆星？

[Dovey "Rug The CNY" Wan🪐 @DoveyWanCN]

投资里最基本的概念就是 Vintage. 对于人生也一样. 过去20年, 国内“求稳”对于中产家庭还算是不错策略的前提是这张图. 水涨船高的年代，平均家庭的社会资源（尤其大城市）是持续扩张的. 所以父母有能力兜底，保下限；机会多到足以让大多数人稳中向上

社会流动其实有两种：代际流动性（你有没有比你爸妈过的更好)和代内流动性（一个人一生里的跃迁）。过去20年是两种流动性都还行, 毕竟水大鱼多, 全类资产一起扩张

未来的20年, 肉眼可见的是代内流动性开始快速萎缩, 所以父母的托举也会变得更加艰难. 生在对的年代/对的地点, 时代就是阶梯；生在不对的年代，时代就是滑梯

[✧ 𝕀𝔸𝕄𝔸𝕀 ✧ @iamai_omni]

研究了一下《悉达多》的智慧，给我的启发是最好的投资，不是买入一个“可能发生的奇迹”，而是买入一个“尚未被大众察觉的必然”。寻找那些在逻辑上已经注定、只是在时间轴上尚未全面展开的事实。

过去、现在和未来是同时存在的，万物合一，一个伟大的企业或一种生产力的变革，其生根、发芽、结果是一个整体过程。

[Chill.hl @mustryc]

@XtineFang merry christmas🎄

[Chill.hl @mustryc]

@0x_claudia Merry X'mas！给你爸爸的字👍

[Chill.hl @mustryc]

谷歌的TPU不具备通用性，只适用于谷歌自身的体系，不兼容其他平台；英伟达的GPU是唯一具备通用平台能力的产品，英伟达GPU类似豪华SUV, 谷歌TPU类似F1赛车, 不存在互相替代的问题，英伟达最大的威胁可能是博通。

https://t.co/95pV7EdcuP

[Chill.hl @mustryc]

@diyas_1989 NVIDIA is 中建 lmao🤣

[Chill.hl @mustryc]

@XtineFang 不觉得易梦玲有多美啊

[Chill.hl @mustryc]

@iamai_eth p0 级事故😂

[Chill.hl @mustryc]

初识英伟达，是因为游戏显卡，再识英伟达，是因为pow挖矿，现识英伟达，是AI界金铲子。金钱退场，算力与电力登场，AI不是让世界更贵，而是让一切变得几乎免费。