NadiaSama

懒逼死宅一个

[NadiaSama @_NadiaForever_]

@sukie234 sub2api 中转 claude pro 很容易封号的😅

[fin @fi56622380]

AI半导体终局推演2026(I)
当新token经济学范式从GPU算力转移到HBM

本文从从GPU架构进化路线本质出发，解释这个市场长久以来担心的问题:
每个GPU的HBM内存需求为什么一定会是指数增长，为什么HBM需求指数增长不会停滞?

并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽

同时讨论了，为什么GPU的天花板被HBM的两个发展维度所决定

HBM周期性这个话题争议一直很大，乐观派认为AI带来的需求比以前要大的多，但市场主流仍然认为前几次上升周期也有需求每年20%+增长，这次又有什么不一样呢？AI不影响HBM和传统DRAM一样有commodity属性，一旦在需求顶峰扩产遇上需求下行又会重蹈���辙。

我们可以从算力芯片架构视角,从第一性原理出发，来拆解和推演一下这个问题：为什么这次真的不一样

-------------------------------
历史：CPU算力时代

很久以来，我们都处在CPU主导算力的时代，CPU的最高级KPI就是performance，跑的更快，所以每一代的CPU都用各种方法来提高跑分，最开始是频率上升，后来是架构演进superscaler等等

这个时候为什么DDR不需要很快的技术进步速度？比如DDR3到DDR5竟然经历了15年之久

因为这个时期的DDR的角色是纯粹的辅助，而且辅助功能极弱，以业界经验，DDR的速度即便是提高一倍，CPU的performance一般只能提高不到20%这个量级

为什么DDR带宽速度提高了用处不大？两个原因

1. CPU设计了各种架构去隐藏 DDR延迟，比如superscaler，加大发射宽度，用海量的ROB和register renaming来提高并行度隐藏延迟，一���缓存cache，二级缓存cache，削弱了DDR的带宽速度需求

2. CPU workload对DDR带宽要求并不高，大部分日常负载比如打开网页，DDR带宽是严重过剩的，甚至云端负载

也就是说，在CPU时代，DDR的带宽速度是不太有所谓的，DDR4和DDR5除了少数游戏就没啥差别，甚至JEDEC标准也进步缓慢。

另外，绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可，app的size增长没那么快，导致对DDR的容量需求也较为缓慢。

所以最近十年来，平均每台电脑上的DDR容量大概从7~8GB变成了23GB，十年只增长了3倍。

而这部分升级缓慢直接影响了营收，size容量计价是赚钱的主要方式，速度的提高只是技术升级，提高size的单价，这两个的升级需求都不大，需求主要是随着电脑/手机数量增长而增长

所以DRAM在���宽速度和容量这两个维度上，一直是都是芯片产业锦上添花性质的附属品，DDR升级带来的边际效用是很低的，跟CPU时代的最高KPI几乎没什么直接联系

--------------------------------------------
而到了genAI 大模型为主导的新时代，计算范式转移让最高级KPI起了根本变化

GPU发展到AI推理的时代，不再像CPU那样只看跑分，最高级的KPI不再是算力TOPS/FLOPS，而是token的成本，特别是单位成本/单位电力下的overall token throuput

其次是token吞吐速度，因为在agent时代，很多任务变成了串行，token吞吐速度成了用户体验的重要瓶颈。

这也是为什么老黄发明AI工厂概念的原因：最低成本的输出最多token，同时尽量提高token吞吐速度

AI训练时代，老黄的经济学是TCO(total cost ownership)，买的GPU越多，省的越多

而老黄在推理时代的token经济学是：

AI推理的毛利润很可观，所以逻辑���经转换成：Nvidia GPU是这个世界上让token单价最便宜的GPU，买的GPU越多，赚的越多

最高的KPI变成了Pareto frontier曲线，在提高token 吞吐throughput和提高token速度两个维度上尽量优化
（见图一）

NVIDIA 的 token factory 代际进步，其实是在把整条 Pareto frontier 往右上推，这就是是AI推理这个时代最重要的KPI

----------------------------------

接下来是本文最重要的逻辑链，如何从token吞吐量指数型增长的本质出发，推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长

单卡GPU推理单线程batch size = 1的时代，token吞吐只有一个维度，就是HBM的带宽速度，带宽速度越高，token吞吐越大

但进入NVL72的年代，推理不再是单卡GPU时代，而是72个GPU + 36个CPU整个系统级别的token工厂，把HBM带宽和算力用满，获得极致的token吞吐量

Token 吞吐throughput的增长，依赖两个东西：同时批处理的请求数 X ���个user请求的平均token速度

也就是batch size X per user token 速度

以Rubin NVL72为例，在平均token速度是100 token/s的情况下，同时批处理1920个请求，得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW（0.12MW）的功率，所以得到单位MW能处理1.6M token/s

（见图一）

所以，我们需要想方设法提高这两个参数：批处理数量batch size和per user token的平均速度，这两者相乘就是我们的最高KPI，也就是token的吞吐量

-------
第一个参数：batch size的增长，瓶颈在HBM size

批处理量里的每一个请求req，都会自带kv cache，这部分kv cache是需要存在HBM里的，大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取，所以必须放在HBM里，比如一个大模型的层数是80层，那么每一个token的生成阶段，都需要读取80次HBM里的kv cache

随着批处理数量batch size的增长，会带来hot kv cache的线性增长

又因为这个批处理量的所有请求的hot kv cache，都要放在HBM上，这也就带来了HBM size必须要随着批处��量batch size线性增长

就像是机场接驳车，登机口尽量快的接旅客到飞机，HBM size小了，相当于接驳车size小了，就得多接一趟

结论是：批处理量的数量batch size，瓶颈依赖于HBM size的增长

---------
第���个参数：每个user请求的平均token速度，瓶颈在HBM带宽

大模型decode阶段的速度，瓶颈取决于HBM的带宽速度，因为每生成一个 token,都要把激活的权重和kv cache 读很多遍

LPU的出现，在batch不那么大的情况下，把激活权重这个部分搬到了SRAM上，但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高，生成每一个token的速度也就越快，基本上是线性对应的

就像是机场接驳车，登机口尽量快的接旅客到飞机，hbm本身带宽速度就像是接驳车的车门有多宽，门越宽，旅客上接驳车越快

GPU的其他配置，都是在适配batch的增长以及要让token compute的速度配平HBM的增长，甚至会用多余的算力来获得部分的带宽（比如部分带宽压缩技术）

—-----
在那个接驳车的比喻例子里

接驳车的车厢大小 = HBM Size（容量）： 决定了一次能装下多少名旅客（也就是能同时装下多少个请��的 KV Cache）。车厢越大，一次能拉载的旅客（Batch Size）就越多。如果车太小，想拉100个人就得分两趟，系统整体的吞吐量就上不去。

接驳车的车门宽度 = HBM Bandwidth（���宽）： 决定了旅客上下车的速度。门越宽，大家呼啦啦一下全上去了（Decode/生成Token的速度极快）。如果门很窄，哪怕车厢巨大能装200人，大家也得排着队一个一个挤上去，全耗在上下车的时间里了。

旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度)

—---------------------------

至此，我们从逻辑上推演出了token经济学的硬件需求第一性原理：

Token throughput = HBM size X HBM Bandwidth
AI推理这个时代的最高KPI，实际上是高度依赖于HBM的两个维度的进步的

如果要维持token throuput每一代两倍的增长，实际上意味着，每一代的单GPU上，HBM size X HBM BW带宽之积要增长两倍！

这也是历史上第一次，HBM内存的size可以影响最高的KPI token throughput！

要验证这个理论，可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput，和HBM size X HBM BW 放在同一个图里比较
（��图二）

可以发现，这两个曲线的走势在对数轴上惊人的一致

HBM size x HBM带宽增长的甚至要比token吞吐量更快，毕竟HBM决定的是天花板，实际上这个天花板增长的利用率utilization是很��达到100%的，也就是说，HBM size x HBM 带宽就算增长1000倍，其他算力和架构的配合下，很难把这1000倍的天花板潜力全部榨干

这条曲线不是巧合，而是系统最优化的必然解

throughput = batch × Bandwidth，这就是token factory 经济学最绕不开的第一性原理

—--------
软件的影响呢？软件的优化会不会降低带宽的需求？降低HBM的需求？

这跟硬件是独立两个维度的，这好像在问，如果CPU上的软件优化了之后跑的更快，是不是CPU就十年不用发展了？反正软件跑的更快了嘛

这样的话，CPU厂还能赚得到钱吗？CPU想要存活下去，只有一条路可走，在标准benchmark，不考虑软件优化，每一代CPU必须要跑分更高，不然就卖不出去
GPU也是一样，软件优化如何，和自己的token吞吐量KPI每年都要大幅进步，是两回事

只要token的需求继续增长，对token throuput的追求就绝不会停止，那么对HBM size X HBM 带宽的追求也不会停止

如果HBM size和HBM 带宽发展慢了，老黄一定会亲自到御三家逼着他们技术升级，因为这就是老黄gpu的天花板，天花板要是钉死了不进步，老黄的GPU还能卖出去吗？

当然了，Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分，比如LPU就是一个很好的尝试，把Pareto frontier从另一个角度改善了很多 （右半边高token速度的部分）

—--------------------------------------

HBM内存已然告别了那个随波逐流的旧时代，在这条由指数级需求铺就的单行道上，以一种近乎宿命的方式走到了产业史诗的主舞台中央

推理范式第一性原理演化到这一步，只要老黄还要卖GPU，HBM就必须翻倍，而且必须代代翻倍。这是supply side的内生压力，与AI需求无关，与宏观周期无关，与hyperscaler的心情也无关

剩下的问题，只有一个：

当需求被物理锁定为指数增长的时候，供给侧的三个玩家，会不会还像过去三十年那样，亲手把自己再拖回一次周期的泥潭？

[Omar (mainnet arc) @acceleratooooor]

Here's how to triage:

1. Go to https://t.co/bfAEiJ6emr

2. Security → Access and data control → API controls → App access control → Manage Third-Party App Access

3. Search for client ID:
110671459871-30f1spbu0hptbs60cb4vsmv79i7bbvqj

if found → revoke / block

[NadiaSama @_NadiaForever_]

@Bitwux 很可惜，这兄弟没啥钱川普应该不会搭理他。

[NadiaSama @_NadiaForever_]

@nilslang Yeah, it’s clear the big players are manipulating the market, and Polymarket is just letting it happen?

[NadiaSama @_NadiaForever_]

@Murphychen888 好的谢谢我试下。

[NadiaSama @_NadiaForever_]

@Murphychen888 你是转到国内银行卡么，我之前一直用的支付宝。支付宝收款的时候会提示让你写资金用途啥的，如果是自己转自己还是只能选工资😅

[NadiaSama @_NadiaForever_]

@Crypto_Cat888 可以看看《异类》。书里面有专门一章讲这个

[NadiaSama @_NadiaForever_]

@fxtrader 作者原文 https://t.co/Zod7jAdVk2

[Eric Berger @SciGuySpace]

Here's why I think SpaceX is going public soon.

https://t.co/KEZIjhEsTH

[fin @fi56622380]

今天Amazon裁员3万人，比2022年行业收缩期裁的还厉害，原因很简单

买GPU的钱capex不够，导致AWS增速下降，被市场严厉的惩罚了，只能砍工资来省钱买GPU，让财报好看一点，营造一个AWS增速触底的故事

每一个互联网公司的SDE打工人，都应该买入Nvidia/amd作为风险对冲，弥补自己被GPU挤出价值链的风险

-------------------------
进入2024~2025年，美国SDE们就业差的主要因素已经不再是21年的大幅过度扩张，也不再是薪资更低的海外技术中心抢饭碗，暂时还不是AI提效造成需求降低，而是来了一个新的大boss：GPU capex

GPU capex在互联网公司正在创造一种诡异的繁荣性萧条：

公司业绩增速很好看，股价也节节高升，但是员工的工资���支成了管理层腾挪不开的问题，每个人都要担心自己的工作，同时因为持续性裁人，留守的员工的工作压力越来越大，人心惶惶，和大萧条时代无异

这不是传统的行业萧条，而是资本在人力与算力之间的激进再分配

Amazon这次裁员3万人，大概从两个月前就有风声了，年中perf review往年都是7月，这次到8月中下才开始，RTO的政策，也是裁员的重要考虑因素(借口)。AGI组肯定是一个都不动，PXT, device and service, 运营，都会是重灾区，按惯例AWS应该会晚一点再裁，等到AWS reinvent之后再裁，人尽其用

而在故事的另一端，AWS Q2的未完成订单（backlog）达到1950亿美元，同比增长25%。 这说明客户想买但AWS交付不了，需求持续火爆，GPU买的不够快不够多

在AI服务器供应跟不上需求爆炸性增长的时代，opex(工资)换capex就能带来公司的业绩提升，资本会毫不留情的惩罚一切不把这条路线贯彻到底的CSP/Hyperscaler

Meta开启每半年5%悄悄裁员模式基础之上，刚刚裁掉AI org的600人，而且还悄悄裁掉了很多部门的director，也是同一个逻辑：AI data center不够用，一年之内对未来18个月的capacity计划上修了三次，每次以为高估了需求，都会在几个月之后才痛苦的发现原来是低估了

互联网公司内部真的不需要人了吗？当然不是，招人的budget砍掉之后，只能倒逼公司内部增效来弥补

目前最激进的互联网大公司各种手段都用上了，内部tool耗费大量人力做各种agent功能，一键部署鼓励vibe，定了KPI每个部门AI��用率要达标，各级汇报AI使用进度和案例，还规定互相定期交流学习

一顿操作猛如虎，目标仅仅只是希望把大家的工作效率提升~20%，而已

接下来可能会发生什么？

为了增速，为了竞争，当公司提效遇到瓶颈，裁员也裁到只剩大动脉了，opex已经榨不出油水了，公司下一步只会继续牺牲现金流，甚至像ORCL一样，开始为了增速而不惜冒风险举债

Nvidia/AMD也会继续用手里的巨额现金推动投资，支持合作伙伴投入AI capex，就像openAI做的那样

这一切最大的受益者都会是半导体全产业链公司，未来可能会出现一个新常态：半导体公司的利润率会反超互联网公司

但他们也承担了最大的风险：当VC/Hyperscaler的前期投资看到token需求减缓时，甚至只是需求增长速度减缓(不再是一年数倍)，一定也会毫不留情的砍单，这个传导的速度会非常快，会比半导体公司的投产周期要快的多

这一步什么时候会出现，一个参考指标是，企业渗透率接近50%的时候。

2000年3月互联网泡沫破灭时候，美国互联网渗透率大概在52%左右(另有一组数据时43%)

目前互联网大厂的genAI daily user渗透率正在从50%向90%迈进，而广大行业公司的AI采用率不到10%，增速暂时是有保障的，每一代科技革命增速最快的时候就是全社会公司采用率10%迈向50%的阶段

Cisco泡沫的历史不会简单重现，我相信这一轮信息比上一轮要充足太多太多，一直会有足够多的泡沫怀疑论者警醒，至少会让泡沫破灭的时候不会那么惨烈

[投资TALK君 @TJ_Research]

不少人都觉得真的衰退来临了，等着市场下跌，等着美联储打开降息，等着QE，我直接ALL IN。那么问题来了，有没有可能市场预判了我们的预判？这样看来市场不会跌了？哈哈哈。（这并不是我要表达的）
其实有这类想法的判断基础也是相信真要有问题，美联储能把市场救起来。那何不放弃对于“真要有经济问题，美股会不会下跌和下跌多少”的判断？因为无非
1. 跌5%，新高
2. 跌10%，新高
3. 不跌（市场预判了我们的预判）
只不过不少人希望做到的是跌之前，我空仓，跌下去，我杠杆ALL IN。我就问一个问题，4月8日你杠杆ALL IN了吗？如果没有，那放弃这个想法吧。我认为衰退是最不用担心的风险也是基础这个想法，美联储能救起来，只要他们站在市场这边，不用怕。

[NadiaSama @_NadiaForever_]

@0xitislt @phyrexni 技术问题延期了 https://t.co/Eo2Sq9nY3n

[Binance Wallet @BinanceWallet]

Dear community,

Due to a slight project delay, the TGE launch will be rescheduled to a later time whenever project team is ready. Our team is actively addressing the final details and will announce the new start time shortly.

Thank you for your patience and continued support — stay tuned for the latest updates!

[NadiaSama @_NadiaForever_]

@shufen46250836 感谢分享🙏

[NadiaSama @_NadiaForever_]

@DragonKingcn @follow_clues 孙割说FDUSD已经资不抵债了。https://t.co/ya33f6Zxef

[H.E. Justin Sun 👨‍🚀 🌞 @justinsuntron]

Protect users and protect HK

First Digital Trust (FDT) is effectively insolvent and unable to fulfill client fund redemptions. I strongly recommend that users take immediate action to secure their assets. There are significant loopholes in both the trust licensing process in Hong Kong and the internal risk management of its financial system. I urge regulators and law enforcement to take swift action to address these issues and prevent further major losses. Hong Kong’s reputation as a global financial center is at stake, and similar financial fraud incidents must never happen again.

https://t.co/9Y1ivYcveJ

Join me live on X for my press conference regarding this story – April 3, 2025 / 14:00–16:00 (GMT+8)

[NadiaSama @_NadiaForever_]

@luyaoyuan backpack 能否担当此重任😇

[Web3Caff Research (外捕研究) @web3caff_zh]

面向 #Web3 从业者与爱好者的「重磅级」法律参考手册再次迎来更新！至此这份《中国大陆涉及区块链与虚拟货币相关法律法规整理及重点提要》已经更新至 2025 年，目前已经收录 22 份相关法律文件，其中重点提要相关文字信息超 1.8 万字（请收藏好这份手册，页面保持更新）。https://t.co/ckvlqyp1Xs

[NadiaSama @_NadiaForever_]

@sunshine77496s 你好单个地址的盈亏是怎么看的

[NadiaSama @_NadiaForever_]

@Mtyl_7th 感谢分享