ZM

铸造 发行 流通

[Serenity @aleabitoreddit]

Names like:

- $ASX
- Sumitomo Electric
- $JBL
- $VICR
- $GFS
- $AAOI
- AlChip
- $TSEM
- $FN
- Furukawa Electric
- $CLS
- $NBIS
- $NOK
- $AMKR
- $LITE
- $COHR

Off the top of my head.

So basically, AI exposure trading in the $10-100B range.

Likely have compelling ROI right now compared to indexes or $ARM to $MRVL that ran quite a bit?

(Just a disclosure, only have financial interest in NBIS/TSEM/AAOI above)

I mention a lot of smaller ideas, but that’s just to chase outsized returns.

Still feels like many of these have room to go.

[墓碑科技 @mubeitech]

说加州计票像第三世界，可能侮辱了第三世界。

看几个魔幻的现实。
文图拉县，还剩8.6万张选票没数完。
官方通知：下一次更新是下周二。
区区8万多张票，要拖上好几天。

洛杉矶市长选举的计票情况同样反常。
目前的计票进度是64%，领先者Spencer Pratt多出了3.3万票。
听起来赢面很大，但事实并非如此。
博彩市场的真金白银，全押在了目前落后的候选人身上。
为什么？因为官方放话了：未来几周，还有几十万张票要慢慢数。
只要时间够久，剧情随时能反转。

这并非因为预算不够或人手短缺。
记者跑去了洛杉矶的计票中心。
14.4万平方英尺的巨大场地，年度预算高达3.36亿美元，上千个编制岗位。
结果周四工作日一看：成排的空桌子，大片区域几乎没人。

负责这个摊子的人叫Dean Logan，洛杉矶县书记官。
年薪45万美元，堪比福奇。
这位操盘手可是有历史战绩的。
当年他在华盛顿州管计票，290万张总票数，经历了一系列漫长的重新计票，最后民主党候选人以129票的微弱优势险胜。

很多人问：为什么不能学学佛罗里达？
选举日当天几小时出结果，投票站关门后的票一律不收。
加州坚持不改。
坚持大规模邮寄选票，坚持不需要查验身份（Voter ID）。
联邦检察官已经下场调查， 这种机制创造了严重的结构性漏洞。
但州长纽森的回应很轻松：这叫确保每一张选票都算数。

这其实是一盘很大的棋。
民主党一直力推废除选举人团制度，走向全国普选票决胜。
一旦真的废除，加州这种永远最后报票的机制就会成为决定性的筹码。
在全美选情焦灼时，一个不查ID、可以花几周时间慢慢数票的最大票仓，将成为左右大局的终极筹码。
这意味着，只要把规则制定得足够冗长复杂，就能永远把握最终的解释权。

[Sriram Krishnan @sriramk]

🇺🇸🚀 SOME NEWS: I'll be leaving my role at the White House at the end of this month. After a break I’ll be working on helping tackle some of the large challenges facing America on AI (more on that later).

It is hard to express how big a privilege it has been to serve the American people and how grateful I am to have had the opportunity to do so.

First and foremost, it has been an honor to serve under President @realDonaldTrump . Without his leadership, we would not be leading in the AI race.

Second, I owe a lot to the person I’ve worked mostly closely with over the last 18 months - @DavidSacks . His continuing advocacy for America winning on AI has been and continues to be crucial.

Some key public accomplishments from last year I’m proud of

1. Architecting and publishing the American AI Action Plan - charting the course for America to win on AI and helping execute on that for the last year.

2. The AI acceleration partnerships to help American AI stack win globally.

3. The National AI Policy Framework for Artificial Intelligence executive order (forming the basis for working with the Hill this year)

4. Advocating for the American AI stack with our allies globally (the AI summits in France and India, state visits to the UK, the Middle East and more)

So what’s next?

The past 18 months have given me a front row seat to this critical moment on AI facing America and our allies. Whether it is energy, data centers or a clear path for Americans to experience the benefits of AI, there are many tough issues we all need to navigate together. I plan on building institutions that help tackle some of those challenges for America and its allies.

I want to thank many others who have helped along the way in the administration : Kevin Hassett, @mkratsios47 , CoS @SusieWiles47 , VP @JDVance , @StevenCheung47 , Sec Bessent, Sec Lutnick, Sec Rubio and @jacobhelberg , @USWREMichael , Josh Gruenbaum, Watson Fagan, Ryan Baasch, Jeff Kessler, Alexei Bulazel, DepSec Landau, DepSec Dabar, Will Scharf, Taylor Budowich, @JamesBlairUSA , @elonmusk and many, many others. You know who you are and I know I’ll continue to see you a lot more.

Most of all, I want to thank @aarthir on supporting everything and being part of this unexpected but amazing journey from last January. None of this would be possible without her.

This journey has been the privilege of a lifetime and shown me how special this country is and how it needs all of us to contribute in anyway we can - and I plan on continuing to do just that.

🇺🇸

[拖拉机 @tuolaji2024]

Rubin把内存从55TB砍到28TB，但成本才省了10%，760万降到680万。这说明内存在Rubin的BOM里没那么值钱，换句话说，英伟达拿到了非常低价的长协价，GPU、PCB（11.67万美元/柜）、光模块、散热才是大头。英伟达砍内存是最"划算"的取舍：省出来的钱全砸到互连上了。

这个决定背后的信号比决定本身更重要。英伟达不是不想用192GB，是HBM/DRAM供应跟不上Rubin的出货节奏。它选择降规格保出货量，说明Rubin量产的时间压力比市场想的大。

SOCAMM用量砍半，HBM需求增速要下修。但对光模块和PCB完全没影响，TCO从4.16降到3.90美元/GPU/小时，降了6%，对CSP 们来说Rubin更便宜了，可能加速采购决策，rubin 不能等，不出货，全球的人工智能叙事都要因为泡沫而爆炸。

所以结论很简单：存储短期还是缺的不行，光互联的逻辑被这个决定进一步确定，中国的易中天们的 H1 财报才是未来估值抬升的下一个叙事开启，2000 的中际旭创可能也不远了，千元千亿的易天东剑等都是后来居上。

[qinbafrank @qinbafrank]

老黄点名了下一个将达到万亿美金市值的公司，相比这个Murphy（MRVL的CEO）今天演讲以及他与来黄的对话更值得一看。Murphy用近一个小时的时间，系统阐述Marvell如何押注数据基础设施、为什么光互联将成为AI时代的关键技术，以及这场从铜缆到光纤的转型将如何重塑整个数据中心架构，看完murphy的演讲，相信能对光互联的技术演化有更深的理解和认识，梳理下Murphy的演讲要点：
1、十年豪赌：如何成为数据中心之王
Murphy演讲从一段自我剖白开始。2014年加入Marvell 时，这家公司60%的收入来自消费电子市场，数据中心业务占比不到10%。也正是在那个时刻，他做出了一个大胆的判断——半导体行业的下一个增长周期，将由 Google、Amazon、Microsoft、Meta 等平台公司驱动，核心需求是“以大规模移动、存储、处理和保护数据的半导体技术”。

这个判断在当时并不被广泛认可。“数据基础设施”甚至还不是一个被行业承认的市场类别，只是 Marvell 用来描述未来愿景的内部术语。但 Murphy 和他的团队展现了惊人的执行力：通过一系列精准的并购和剥离，Marvell 在十年间投入了约285亿美元（225亿美元收购+60亿美元内部研发-40亿美元资产剥离），系统性地构建了从毫米到千公里、覆盖 AI 基础设施全栈的连接技术平台。

这些并购包括2018年收购 Cavium 强化计算和网络能力；2019年收购 Avera 建立定制芯片业务、收购 Aquantia 增强连接产品组合；
2021年以100亿美元收购 Inphi 获得世界级数据中心连接技术；
以及最近12个月内收购 Celestica AI 的光子结构技术和 Xcon 的 scale-up 交换能力。

结果是惊人的：Marvell 从2014年的25亿美元营收增长到2026财年预计的110亿美元，最近几年增速更是达到每年40%。根据上周财报电话会议后的华尔街共识预期，2027财年 Marvell 营收将达到164亿美元。更关键的是，数据中心业务占比已从不到10%飙升至上季度的75%以上。

2、连接性：AI 基础设施的真正瓶颈
Murphy 在演讲中抛出了一个核心问题：什么定义了 AI 基础设施的性能？大多数人会想到处理器、GPU、制程节点（3nm、2nm 甚至未来的1.4nm、1.6nm），或者高带宽内存。这些当然重要，但 Murphy 指出，这些都不是系统的决定性特征。

“因为一个处理器，无论它有多快、连接了多少内存，对于今天的 AI 工作负载来说根本不够。你需要数万个、最终是数百万个处理器作为一个单一的大规模计算引擎协同工作。这就是为什么这种规模的计算从根本上是一个连接性挑战。”Murphy 说道，“而且越来越多地，正是连接性的架构和特性定义了系统的性能。”

这个判断得到了英伟达 CEO 黄仁勋的呼应。在 Murphy 邀请下登台的黄仁勋强调，AI Agent 的计算模式是“分解和分布式的”（disaggregated and distributed）——当你把一个计算问题分解成许多部分，并分布到整个数据中心时，连接性就成为必需品。“我们分解和分布式计算，使其运行在这些巨大的集群上，这样我们就能聚合总计算量、总内存和总带宽。而使这一切成为可能的，就是连接性。”黄仁勋说，“这就是为什么 Matt 做得这么好，为什么 Marvell 如此关键。”

Murphy 进一步解释了连接性瓶颈的演变逻辑：过去几年，AI 基础设施先后解决了计算瓶颈（英伟达引领的 GPU 革命）和内存瓶颈（HBM 高带宽内存的规模化），现在瓶颈正在再次转移。“现在是连接性将定义基础设施的极限，就像计算和内存一样。”他引用了与最大客户的对话：“世界上最大的超大规模云服务商现在正在重新构想他们的整个网络架构。他们认识到，扩展 AI 基础设施现在首先是一个连接性挑战。”

随着推理模型、专家混合架构（mixture of experts）、生成式 AI 的持续演进，更多数据必须在基础设施中移动，需要更高的带宽和更低的延迟。当工作负载不再适合单个数据中心时，就需要建设更大的数据中心或整个数据中心园区，以及它们之间的所有高速连接。“因此，连接性成为扩展计算的关键推动力，我们的客户越来越认识到光学是前进的方向。”Murphy 说。

3、从千公里到毫米：Marvell 的全栈连接布局
Murphy 用一张图展示了 AI 基础设施跨越的所有距离——从数据中心之间的数百甚至上千公里，到封装内部的毫米级距离。每一个距离都需要不同的解决方案、不同的技术、不同的工程团队，甚至不同的供应链。“这些不是同一问题的变体，而是根本不同的工程挑战。”

1）跨数据中心连接（数百至上千公里）
这需要非常专门的相干调制（coherent modulation）技术，核心是专用的数字信号处理器（DSP）。Marvell 是全球少数几家能够构建这种相干 DSP 的公司之一，已经领导了从100Gbps 到400Gbps 再到800Gbps 的代际演进。Murphy 在现场展示了一个相干光模块实物——这是一个极其复杂的工程产品，包含了 Marvell 最复杂的先进制程 CMOS DSP 芯片、第四代硅光子技术（已量产十年），以及用硅锗工艺设计的自研宽带模拟组件。“今年晚些时候，我们将采样世界上首个1Tbit、2nm 制程的相干光学解决方案。”Murphy 宣布。

2）数据中心内部连接（数百米）
数据中心内部包含成排的计算服务器，每个机架顶部通常有一个交换机，机架级交换机连接到脊柱和核心交换机，通过光纤电缆形成整个数据中心的网络结构。这部分使用的是更节能的 PAM4调制技术。Marvell 构建了业界领先的 PAM4 DSP 解决方案，以及高速模拟组件（包括跨阻放大器 TIA 和激光驱动器），并引领了从25Gbps、100Gbps、200Gbps、400Gbps 到800Gbps 的每一次重大转型。去年，Marvell 开始量产业界领先的1.6Tbps PAM4解决方案。在以太网交换方面，Marvell 拥有从51.2Tbps 到51.2Tbps 的完整产品组合，并在 ComputeX 当天宣布了专为 AI 数据中心设计的新一代102.4Tbps 以太网交换机，具有业界最低功耗。

3、机架内部连接
目标是以全互联（any-to-any）配置连接尽可能多的处理器——每个处理器都能直接与其他每个处理器通信。英伟达的 NVLink 72（因机架内连接72个 GPU 而得名）首次将这种架构推向市场。这需要完全不同的交换类别，以及通过机架内铜背板驱动超高速信号的能力。“今天，这不是光学的领域，这是铜的领域。”Murphy 说。核心差异化因素是电气 SerDes 技术而非光学。Marvell 拥有目前领先的200Gbps 电气 SerDes，并已在过去几年中演示了面向未来的400Gbps 技术，这些 SerDes 被集成到客户的定制芯片、XPU 以及 Marvell 自己的 scale-up 交换机中。

4）封装内部连接（毫米级）
当今最先进的芯片内部有多个 chiplet，2.5D 或3D 封装本质上是一种连接技术，允许这些 chiplet 在封装内非常靠近地放置，并通过超高速短距离 die-to-die 接口通信。Marvell 拥有领先的 die-to-die SerDes 和先进封装能力，使客户能够构建业界最复杂、最独特的多 die 芯片。

Murphy 强调，拥有所有这些能力“在一个屋檐下”是不寻常的、独特的。“当我们去竞争时，通常在每个类别中我们面对的是不同的竞争对手。但这就是我们的独特之处——我们是一站式商店，是整个连接堆栈的领导者。”

4、铜墙将移：光互联的物理必然性
Murphy 演讲的核心洞察集中在一个概念上：铜墙（Copper Wall）。他用一张图清晰地展示了当前 AI 基础设施中的连接分界线——左侧是光学连接（使用光纤电缆传输光信号，两端有复杂的电子设备驱动和调制激光），右侧是电气连接（使用铜缆、PCB 上印刷的铜走线，或封装内部的微观铜布线）。中间是“铜墙”，定义了信号在必须转向光学连接之前可以通过铜传输的最长距离。

“这是一个重要的区别，因为铜很简单、成本低，正如 Jensen 所说，你想尽可能长时间地使用它，这非常实用。但光学更复杂，需要激光器、光子学、复杂的电子设备。”Murphy 说，“而铜墙，我今天要告诉你们的是，它即将移动。它将再次移动，并将接管机架本身。这正在为光学行业创造需求的爆炸式增长。”

这不是偏好问题，而是物理定律。信号通过铜缆传输的距离与带宽成反比——每次带宽翻倍，距离就必须减半。Murphy 给出了具体数据：当今世界上最高速的生产系统运行在每通道200Gbps。在这个带宽下，电缆长度限制在大约1.5米。相比之下，100Gbps 系统可以使用约3米的电缆。而机架的高度约为2米，考虑到机架内部的所有布线，2.5米正好是极限。“所以当我们转向1.6Tbps 时，我们不能再用铜完全连接机架了。墙正在移动，而且是现在。”

Murphy 强调，这不是遥远的未来：“今后，即使是机架内的连接也将变成光学的。整个行业都知道这一点即将到来，所以我们一直在为这一刻做准备——不仅仅是 Marvell，而是整个行业。你可以在台湾看到这一点，在供应链和正在发生的产能爬坡中。”

铜墙每向右移动一步，连接数量至少增加一个数量级。“这正在创造我提到的需求爆炸，光学供应链需要大规模扩展并做好准备。”Murphy 回顾了20年前的类似转型：当时数据中心内部的最先进技术是10Gbps，整个数据中心都使用铜缆，光学基本上只是电信技术，保留用于非常长的距离。但当墙移动时，光学行业迎接了挑战，今天世界上所有的超大规模数据中心都是光学连接的。这次转型催生了新的解决方案——针对数据中心内部优化的 PAM4技术，而 Marvell 是那里的关键创新者之一。

5、CPO：光互联的下一个前沿
当光学进入机架内部时，需要的新技术叫做共封装光学（Co-Packaged Optics, CPO）。Murphy 花了相当篇幅详细阐述这一技术：“CPO 是一种将光学连接一直带到封装本身、紧邻计算的技术，无论是定制计算还是交换芯片。”

CPO 要解决的根本挑战是密度和功耗。机架内的连接数量是机架之间连接数量的10倍。“如果我们只是尝试使用数据中心机架间使用的相同光学技术，你不会有足够的功率，不会有足够的物理空间，无法容纳所有这些标准光学模块和电缆——这根本行不通，不可能。”Murphy 解释道。

CPO 的概念是将光纤直接带到封装，将驱动光纤信号的电子设备与定制计算或交换芯片紧密耦合。“这是一个巨大的变化，而且很难，因为你要结合芯片行业中一些最先进的技术：领先制程 CMOS、硅光子学、先进封装、光互连，所有这些都在一个小型紧密集成的系统中制造。复杂性非常高，但这是继续扩展带宽并克服我谈到的铜限制同时降低功耗的唯一方法。”

Murphy 强调这不是未来主义的东西，而是正在发生的现实。他在现场进行了实物展示：一边是传统的以太网交换机——当天宣布的102.4Tbps Teralink 交换机，可以看到板中央的交换芯片，PCB 内部的铜走线将信号传输到前面板，所有光学模块都插在那里。另一边是基于 CPO 的交换机——封装中央仍然是交换芯片（51.2Tbps 交换机），但边缘周围是16个3.2Tbps 光学引擎。“16乘以3.2，你得到51.2Tbps。所以光纤现在直接连接到这些引擎，而不是前面板。我们完全消除了 PCB 上的铜走线。光直接从封装中出来。这是一个非常非常复杂的工程作品。”Murphy 说。

Marvell 为 CPO 投入了十多年：硅光子学、光学 DSP、所有周围的模拟宽带组件，以及实现这一切所需的所有先进封装。“这一切实际上都需要在 CPO 中汇聚。”Murphy 说。

6、英伟达的背书与 NVLink Fusion 合作
Murphy 特别强调了与英伟达的战略合作扩展。几个月前宣布的合作中，英伟达向 Marvell 投资了10亿美元，双方正在扩展跨多个维度的合作，包括光学、光子学和 NVLink Fusion。黄仁勋亲自登台与 Murphy 对话，这本身就是一个强有力的信号。

黄仁勋详细解释了 NVLink Fusion 的战略意义：“有时候，也许云服务提供商想要设计自己的定制芯片。在我们之间，我们也在 NVLink Fusion 上合作，这使得你可以使用相同的系统架构，内部有 Marvell 的一些半定制芯片、大量互连、硅光子和光学技术。我们可以创建一个本质上分解、分布和异构的数据中心。”

关键是系统架构保持一致。“他们的网络技术可以利用大量英伟达的堆栈。CPU 可以是 Vera，但它可以利用大量你们的堆栈。所以 NVLink Fusion 是关于采用英伟达的技术和我们的平台、Marvell 的技术和平台，然后我们融合它。这就是为什么它被称为 fusion。”黄仁勋说。

Murphy 追问了铜到光学的转型时间表。黄仁勋的回答非常务实：“我们应该尽可能长时间地使用铜，但铜有其限制——带宽和距离的限制。所以最终正确的策略是：尽可能长时间地用铜进行 scale up。之后，用光学进一步 scale up，用光学 scale out，用光学跨越连接。所以你在必须的地方使用光学，在可以的地方使用铜。”

但黄仁勋随即给出了乐观的市场预测：“底线是，在未来五到十年，我们将使用大量的铜，也将使用大量大量的光学。这些数据中心现在是基础设施的一部分。我说 AI 现在有用、有用的 AI 已经到来的原因是，现在 AI 是有利可图的，token 是有利可图的。当 token 生产有利可图时，每个人都想制造更多 token，这就是为什么 Marvell 的需求如此之高，我们的需求也如此之高。因为每个人都想生产更多 token，因为它被 Agent 到处使用。”

7、无距离数据中心：光互联的终极愿景
Murphy 在演讲的最后部分描绘了一个激进的未来愿景：他当数据传输全部变成光学时，距离实际上不再重要。“这是一个深刻的变化。”说。

今天的服务器、机架和整体数据中心架构都是围绕距离的约束设计的，软件工作负载也围绕这些相同的约束进行了优化。但如果距离不再重要呢？

首先，scale-up 网络的规模可以从72个或144个 XPU/GPU 扩展到1000个或更多，全部光学互连。“对工作负载的影响是巨大的。今天，AI 工作负载必须分解成适合 scale-up 集群的更小子问题，因为在集群外部通信今天更慢、带宽低得多。但光学互连系统可以管理数量级更大的工作负载。”

其次，服务器本身可以被解构。现代 AI 服务器由一定数量的 CPU、XPU、内存和网络接口组成，它们都在同一系统上的原因是距离——CPU 和 XPU 需要以非常高的带宽访问内存，这意味着它们需要紧挨着坐在板上，铜走线作为它们之间的连接。“但在这些连接都是光学的未来，距离实际上不重要。你可以想象一个完全解构的架构——XPU 在一个系统中，内存在另一个系统中，巨大的 CPU 在另一个系统中。”

这解锁了另一种可能性：今天系统中 CPU 和 XPU/GPU 的比例是固定的，必须在系统构建和部署时定义。但没有两个工作负载需要完全相同的比例，这意味着在任何给定时间，计算或内存的某些部分可能未被充分利用——这要花钱。“但一旦我们将系统分解为独立的计算池和内存池，并且它们都是光学互连的，我们就可以动态组合专用系统，然后针对任何工作负载进行优化。”

Murphy 的终极愿景是“全球光学互连的数据基础设施”：“我们今天拥有的这些系统中的刚性边界开始消失。计算现在可以被池化，内存可以被池化，基础设施可以大规模动态组合。架构师第一次可以开始围绕模型的需求设计 AI 系统，而不是围绕互连的限制。”

他将这个愿景命名为“无距离数据中心”（data center without distance）：“计算、内存、网络和光子学作为一个统一系统运行，数据中心中的数百万资源可以像一台机器一样协同工作，一个由工作负载需求定义的架构，而不是连接性的限制。我们相信这是计算基础设施的下一个时代，Marvell 正在帮助构建使这一切成为可能的连接基础。”

最后再多说点，
Marvell的核心竞争力集中在两个细分领域。
1、定制芯片（ASIC/XPU）设计。 Marvell与博通是全球两大定制AI加速器设计巨头。大厂自研芯片的趋势正在加速——比如微软的Maia 200推理芯片、亚马逊的Trainium系列，背后都有Marvell的参与。TrendForce的预测数据值得留意：2026年定制AI芯片销售增速预计为45%，而同期GPU的增速仅为16%。不是GPU不行，而是超大规模云厂商在推理端的成本压力正在推动它们加速自研定制方案。

2、数据中心互连产品线。 这是Marvell更深的一条护城河。根据其财报，光学互连产品收入保持两位数季度环比增长，数据中心交换机业务预计2027财年将突破5亿美元。Marvell过去十年通过一系列并购累计投入约360亿美元，围绕连接搭建了涵盖定制芯片、高速交换器、光模块、硅光子和先进封装的完整技术平台。

[Reed @cryptoquant42]

人类负责的是：目标设定、意义赋予、判断"我们要建什么、为什么建"。

这实际上是个非常好的分工——AI处理的是"怎么做"的执行复杂性，人类处理的是"为什么做"的意志问题。

[BlockBeats｜We're hiring! @BlockBeatsAsia]

GTC 大会上黄仁勋公开的「财富密码」，纯文字版直接看这里⬇️⬇️

-AI Clouds（云服务商）
firmus、Indosat、GMO、NAVER Cloud、SHARON、YTL AI Cloud、CoreWeave、Lambda、NEBIUS、NSCALE、GMI、ResetData、Visionbayai、YOTTA、Iren、Mistral AI

-AI Factory Software（工厂软件）
ddn、emeraldai、MIRANTIS、Netris、OpenNebula、phaidra、RAFAY、Red Hat、Spectro Cloud、TrendAI、VAST、WEKA

-Design and Construction（设计与建造）
AVEVA、Bochtel、Cādence、DS DASSAULT SYSTÈMES、etap、Jacobs、PROCORE、ptc、SIEMENS

-Energy and Cooling（能源与冷却）
ABB、CATERPILLAR、DELTA、EATON、ENGIE、GE VERNOVA、HITACHI、MITSUBISHI ELECTRIC、nationalgrid、Schneider Electric、Silicon Valley Power、TRANE TECHNOLOGIES、VERTIV

-Infrastructure and Facilities（基础设施与机房）
AIRTRUNK、BDx、CDC、CSQUARE、DAYONE、Digital Edge、DIGITAL REALTY、EQUINIX、NEXTDC、NTT、Princeton Digital Group、stfy、ST Telemedia Global Data Centres

-Compute Systems（计算硬件）
ASUS、Dell Technologies、FOXCONN、GIGABYTE、HPE、Lenovo、PEGATRON、QCT、SUPERMICRO、Wistron、wiwynn

[小互 @xiaohu]

NVIDIA GTC 2026 全记录

中英文双语

[qinbafrank @qinbafrank]

聊聊SpaceX上市后限售股的解禁节奏以及影响，非常规“分阶段+绩效挂钩”释放，不是传统180天一刀切。SpaceX在最新的S-1文件里中设计了阶梯式锁定期，目的是避免一次性大量抛售冲击股价：
1）IPO后首个财报（Q2财报，7-9月之间大概率8月中上旬发布）后，可释放20%符合条件的限售股。（如果股价较IPO价格上涨30%，额外多释放10%）；
2）随后按固定时间表分批：IPO后70/90/105/120/135天各释放约7%；
3）Q3财报后可能再释放一批（约28%）；
4）剩余部分在IPO后180天（约12月中旬）全部解禁；
5）老马本人及部分核心投资者额外签署366天（约1年）锁定期，不参与早期释放。其他员工/早期投资者按上述阶梯执行。
整体设计比传统IPO更灵活，旨在“计量式”供应流动性，平滑解禁对市场的冲击。

基于上面的信息再多聊几点：
1、可以看出在6月12IPO之后到8月中旬这两个月是没有任何解禁的，如果股价要表现大概率是这段时间。注意老马设定了一个绩效标准，8月中上旬发布财报时，如果SpaceX股价比IPO价格高30%，则可以额外解锁10%的限售股。

2、IPO后15个交易日即可纳入纳斯达克100指数，这里需要注意的是：考虑新股刚上市并不是充分流通，纳斯达克惠安流通市值的三倍来计算进入指数的权重。举个例子，SpaceX在上市后流通盘5%，如果15个交易日总市值是1.8万亿美金，流通市值900亿美金，那么按照2700亿美金来计算进入纳斯达克100指数的权重，这个权重比例自然也就影响指数ETF这些被动资金的配置比例。

随着Q2财报公布，之后逐步释放，流通比例越高，计入到指数里的权重也越高。可以说是用指数ETF的被动资金买盘来承接阶梯解锁的抛压。

3、对市场的影响体现在哪些方面？
1）看媒体报道，SpaceX的目标IPO估值定在 1.75万亿至2万亿美元，计划募资约 750亿美元。这在历史上属于较大规模的IPO，机构和散户认购时需要从现有持仓中调配资金，客观上会形成一定流动性抽取效应。估计未来一两周路演期内，这种资金轮动效应可能已提前有所体现。

2）真正的安全期在IPO后的两个月内，具体看Q2财报公布的时间。上市后到首批解禁前（约2个月时间），低流通+指数纳入的供需环境可能支撑一定价格表现；

再加上其业务本身质地也很不错，发射和星链业务妥妥现金牛，25年盈利80亿美金。亏损的xAI业务因为把数据中心租给Authropic每年能带来150亿美金的现金流，也能抹平AI业务的亏损，之前这里https://t.co/m6TOi7Que3有聊过，其实对市场来说预期是不错的。

3）SpaceX的解禁节奏是“前松后紧”的；
Q2财报后到年底，解禁供应逐步放量（尤其绩效条件若触发），叠加高估值背景（约95倍营收），市场需逐步消化真实卖压。虽然整体设计比传统解禁一刀切更温和，但是毕竟体量太大，股价波动也绝对会放大，这个时期需要谨慎。

[墓碑科技 @mubeitech]

花了 5 年时间，前 NASA 宇航员才摸清俄罗斯同行上天到底图什么。

说这话的是美国参议员 Mark Kelly。
他曾在 NASA 服役，和俄罗斯宇航员共事了整整 15 年。
其中很多人，甚至成了他私交不错的朋友。

但他发现，在太空中大家的驱动力完全不同。
对美国人、英国人来说，第一动机永远是任务成功。
大家希望组织赢，希望自己的国家赢。

但在俄罗斯宇航员的动机清单上，任务成功只能排到第四位。

排第一的，是面子和掌控感。
自己是不是名义上的一把手，事情看起来漂不漂亮，这比实际效果重要得多。

排第二的，是找背锅侠。
一旦操作失误，责任该扣在谁头上。
俄罗斯任务控制中心甚至专门有个岗位，时刻盯着随时可能出现的错误。

排第三的，是顺手牵羊。
Kelly 回忆，俄罗斯人对此非常坦诚。
他们内部有种心照不宣的逻辑：如果你没从手头的活里捞点什么，反而会变成那个被否定的人。

最后，排在第四的，才是任务本身能不能成功。

这不是太空失重造成的特殊现象。
当一个体系不再依靠创造价值来分配利益，局内人的聪明才智，自然会全部转向权力表演、推诿免责和内部掏空。

[墓碑科技 @mubeitech]

2011年，爱泼斯坦和 Peter Thiel 联手盯上了比特币。

他们试图把这个去中心化的网络，重新拉回权贵们的掌控之中。
手段很直接，派代理人打入内部。

代理人叫 Brock Pierce。
这个人后来成了全球最大稳定币 Tether 的联合创始人。
他的任务是搞乱比特币社区。

他试图说服圈内大佬，假称澳洲人 Craig Wright 就是中本聪。
甚至骗过了核心开发者 Gavin Andresen 给这个假身份站台。
那个冒充者最近刚被判了一年监禁，但分化目的达到了。

社区被混淆，分叉出了 Bitcoin Cash 这种更中心化的替代品。
更致命的布局在稳定币上。
Tether 后来卖给了 Bitfinex，它其实是央行数字货币的入门诱饵。

背后是一整套由风投驱动的财富抽取工具。
David Sacks 等硅谷大佬跟进，推动各类稳定币和银行法案。
他们要把稳定币变成带有监控和审查功能的警察网络。

现在华尔街也全面下场了。
Michael Saylor 在公司财库里囤积比特币。
BlackRock 开始发行 ETF。
和爱泼斯坦网络有交集的 Howard Lutnick，搞起了比特币抵押借贷。

这帮人给你准备了华尔街包装，准备了债务包装。
你可以买加密币，可以用稳定币，可以炒 ETF。
他们什么都答应，就是不希望你自己拿冷钱包，拥有完全自托管的比特币。

但真实的底层账本还在运行。
全球维持着 2.5 万个自托管节点。
而全球最大的主权比特币矿工，是伊朗。

他们直接用核能驱动挖矿。
当华尔街试图用金融衍生品把账本锁进铁笼时，真正的算力博弈，早就回归到了地缘底层的能源争夺上。

[Moonlight🌙月光 @Moon1ightSt]

Anthropic CEO Dario Amodei 的前女友 Jade Wang

最近因为一张合照，突然被网友疯狂讨论

结果没想到

Dario前女友已经结婚了

她的现任老公 Kenton Varda 直接亲自出来发声了 😳

而且，这位现老公本身也是 AI 圈的人，目前在 Cloudflare 工作

他发了一长串内容，重点大概是

女方虽然出生在上海，但从小在芝加哥长大，是美国人

非常优秀，曾在 NASA 工作，甚至拥有安全许可等级，知道很多“不能说的国家机密”

她确实在 2012 年和 Dario 交往过，但那时候 Dario 甚至还没开始做 AI

女主本人还是神经科学家、工程师、创业者、天使投资人，同时也是诗人

最近她做了一个专门给 AI 阅读的诗歌网站

世界上果然是有全才的女生！

左边：Anthropic CEO Dario Amodei 和华裔前女友Jade合照

右边：前女友的现老公

[美股OK哥 @artinmemes]

Reddit美股热度排行(5月28日)，对标东方财富股吧，散户风向标。游戏硬件厂 CRSR 杀入ai服务器，连续暴涨上榜二

(实时榜单见我主页置顶)

1. $MU (美光科技)，提及1191次
2. $CRSR (Corsair Gaming)，提及551次
3. $NVDA (英伟达)，提及418次
4. $SPY (标普500ETF)，提及379次
5. $MSFT (微软)，提及309次
6. $SNOW (Snowflake)，提及207次
7. $NBIS (Nebius Group)，提及178次
8. $META (Meta)，提及173次
9. $ASTS (AST太空移动)，提及164次
10. $MRVL (美满电子)，提及142次
11. $CRM (赛富时)，提及121次
12. $AMD (超威半导体)，提及116次
13. $RKLB (火箭实验室)，提及110次
14. $RDDT (Reddit)，提及110次
15. $QQQ (纳指100ETF)，提及83次
16. $ONDS (Ondas Holdings)，提及76次
17. $ZS (Zscaler)，提及74次
18. $LUNR (IntZ scale Machines)，提及68次
19. $DTE (DTE能源)，提及67次
20. $BB (黑莓)，提及67次
21. $NOW (ServiceNow)，提及65次
22. $SNDK (闪迪)，提及61次
23. $HOTH (霍斯医疗)，提及59次
24. $TSLA (特斯拉)，提及55次
25. $IREN (艾瑞斯能源)，提及53次
26. $NOK (诺基亚)，提及50次
27. $AM (Antero Midstream)，提及48次
28. $GRPN (Groupon)，提及38次
29. $DELL (戴尔)，提及36次
30. $PLTR (Palantir)，提及36次

[麦通MSX @MSX_CN]

MSX 今日上新｜4 支美股代币上线 📈

无人机不只拍风景，也开始飞进国防预算。

🛩️ $UMAC.M
Unusual Machines：美国本土无人机电子部件制造商。
Q1 2026 营收同比 +296%，NDAA 合规部件接住国产替代需求。

🚀 $KTOS.M
Kratos：低成本消耗型喷气战斗无人机与高超音速系统公司。
$20 亿积压订单在手，XQ-58A Valkyrie 对准有人-无人协同作战。

🧠 $PDYN.M
Palladyne AI：国防自主 AI 与蜂群自主软件公司。
SwarmOS 被两家一级国防主承包商纳入提案，切入无人机、导弹和卫星跨域协同。

🛫 $MRLN.M
Merlin：自主飞行软件平台公司。
SOCOM C-130J 自主化合同天花板达 1.05 亿美元，瞄准大型飞机自主飞行。

📝 国防科技不只拼更贵的装备，
也拼谁能更快部署、更低成本、更自主执行。

🚀 5 月 28 日，MSX 现货上线。

#MSX #麦通 #链上美股用麦通 #美股 #国防科技 #无人机

[Chris Lee @ViewsOfChris]

“18到25岁的你，正赶上一辈子最大的运气，AI的到来！” - a16z 联合始创人马克•安德森 #AI

[fin @fi56622380]

华为τ scaling定律营销策略，无非是more than moore的广义摩尔定律的另一种说法而已

作为芯片架构师，我更感兴趣的，还是芯片密度提升，ppt上41%能耗提升和12.7%性能提升，到底是怎么实现的

看完了论文，感觉华为这次创新，本质上是用设计复杂度高 + 高制造成本 + 超前散热，一定程度弥补了工艺差距

-----------------

1. 华为芯片堆叠带来的等效密度提升，是虚假宣传还是真的，是不是工艺突破？有没有实打实的好处？

等效密度提升的来源，是两片芯片用hybrid bonding技术绑在一起，投影面积理论上能减小一半，但第一代不是全芯片双层折叠，而是选择性折叠关键logic，所以只有大概53%的芯片面积实现了折叠(密度155->238)，等到后面几代折叠面积会逐渐增大，到2030年接近全折叠（密度155->292）

这2026第一代等效密度从 2025 年 155 MTr/mm² 跳到 2026 年 238 MTr/mm²，时钟频率也提升了12.7%，功耗比提升41%，表面上看似乎和工艺突破没有什么区别，但有一点重要区别就是leakage power华为从头到尾没有提，只要工艺节点不变，gate leakage、junction leakage 不会因为 3D stacking 自动改善

2030年到2031年的等效密度突变，大概率是来自于2层堆叠到3层堆叠，正如2025到2026年的等效密度突变，时钟频率突变，来自单层到2层折叠

所以从leakage没提这个事来看，这个2031年等效1.4nm，和工艺节点上的突破没有联系。

本质上是用设计复杂度高 + 高成本 + 超前散热 + 超前部署advanced packaging，一定程度弥补了工艺差距

-----------
那么这样看起来虚假的等效密度提升，有用处吗？好处在哪里？

有的，设计上topology折叠，原来要跑几毫米的水平走线，折叠后变成了几十微米。降低了super buffer/bus的长度，降低了clock tree的深度（clock depth -42%、clock wire -28%），clock skew也带来了改良(-25%)，这对动态功耗的改善是实实在在的。部分critical path的缩短，也让时钟频率的上升更容易

所以ppt roadmap上performance的提升，从2025年到2026年上升了12.7%，大部分都是来自于时钟频率的上升（12.7%）

所以好处基本上是topology拆分电路逻辑设计上带来的提升

既然没有实质上的工艺提升，华为芯片堆叠带来等效密度提升的trade off代价在哪里？

三个代价：散热超前发展，设计复杂度高，制造成本变高

最大的代价就是热密度的同步上升，理论上logic on logic都是CPU execution发热最严重的区域，这部分折叠起来相当于功耗密度直接翻倍，但算上41% power efficiency改善，功耗密度仍只比非堆叠方案高40%左右。所以第一代只能对最关键的部分做折叠，大概只占全芯片面积的53%。

所以散热技术也被逼的超前发展，直接上毫米级的MEMS风扇，做micro-cooling fan。

另外的代价就是设计复杂度的变高，critical path的折叠，哪个部分的logic能折叠，折叠之后又会带来从前端到后端的巨大变化要推翻重来

现有的所有EDA工具也不可能支持3D topology，论文自己也承认，full-scale LogicFolding需要全新的3D-native EDA toolchain，把多层stacked dies当作单一连续设计实体处理。哪些logic能折叠、折叠后的inter-die timing closure怎么做，Physical Design（PD）也是难点

制造成本也会更高，被迫超前部署advanced packaging封装，1.5~2um的hybrid bonding + logic on logic都是很有挑战需要显著更高的成本
以前一层wafer做一次光刻；现在两层wafer分别做光刻再bonding，加上hybrid bonding的overlay控制（论文要求<0.5μm）、TSV、KOZ keep-out zone、冗余修复、良率乘法损失，每颗芯片的制造成本和测试成本都要显著上升

--------------------------

2. Tau scaling这个说法，scaling的到底是什么，这个scaling技术路线是不是一次性的design topology红利？潜力如何？持续进步的空间在哪里？

τ Scaling的核心主张是：用时间常数τ替代几何线宽作为全栈优化目标，在器件、电路、芯片、系统四个层级分别压缩特征延迟

公式本身没有任何新物理。"关注瓶颈延迟"是所有架构师都在做的事情。整个行业都知道互联RC是延迟瓶颈，TSMC每一代工艺都在用low-k dielectrics/semi-damascene等手段降RC。把一个众所周知的优化方向包装成"定律"是显然的营销宣传手段，本质是More than Moore的广义摩尔定律的另一种说法

抛开marketing，华为目前所谓RC delay的改善，本质上是芯片堆叠之后，topology距离缩短，让匹配的effective RC都变小，不是RC工艺常数

至于scaling的意思，是能持续发展的一条roadmap。这里的持续改善路径指的是，全芯片堆叠的层数越来越多，从25~30年的2层堆叠，到31年开始的3层堆叠，以后甚至会考虑4层堆叠

第一代折叠技术甚至不是全芯片双层折叠，而是选择性折叠关键logic，所以只有大概53%的芯片面积实现了折叠(密度155->238)，等到后面几代折叠面积会逐渐增大，到2030年接近全折叠（密度155->292）。2031年的roadmap之所以会出现一个阶跃，就是因为那是从2层折叠到3层折叠的时间点。

但需要注意的是，这个scaling方法的边际效应是逐渐缩小的，折叠成双层的收益是100%，2->3层的收益就只有50%，如果2035年再从3->4层堆叠，收益就只有33%了

另外随着堆叠层数变高，上面说到的三个挑战，散热，设计复杂度，成本，都是越来越大

---------------------

3. 华为的芯片堆叠，是不是TSMC/AMD已经有的hybrid bonding技术？华为做到的是cache on logic，cache on cache，还是logic on logic，logic on logic最大的散热问题是怎么解决的？

是已经有的技术没错，但同时也是把现有技术指标做到了领先也是真的，3D堆叠本身不是新技术，TSMC的hybrid bonding量产还是6um，华为论文给出Kirin 2026的hybrid bonding pitch是1.5μm

我在刚刚看到华为的堆叠消息之后，第一反应也是怀疑和AMD的3D V cache类似，它主要把 SRAM cache 叠在 已经有的L3 cache 区域上，通常会避免直接堆在最热的 CPU execution logic 上，就是避免散热问题，毕竟SRAM 的功耗密度和热点特性与high-activity logic 不一样，如果最热的logic on logic堆叠，散热恐怕会碰到困难

但看了更多数据之后，clock buffer -56%、clock depth -42%、clock wire -28%，这些只有在core内部的clock distribution被重构时才可能发生。纯SRAM stacking不会碰core内部的clock tree。另外如果只是cache on cache，大概率是不需要单独MEMS微型风扇额外散热的，证据普遍都指向logic on logic方式

华为这个技术的精妙之处在于，logic on logic 折叠之后热密度并没有翻倍，而是因为topology的好处，能耗下降了30%，这样热密度只上升了40~50%

而第一代没有完全把整个最热的execution logic 100%堆叠起来，论文也明确说selectively applied along key critical paths，只是大概53%有选择性关键路径会堆叠起来，可能颗粒度都没有那么好，只是IP堆叠在IP上，那么热密度上升也许能维持在20%以内

但这条道路继续前行，超前发展的散热就成了必然，现在是MEMS微型毫米级的主动散热风扇，紧贴处理器传导效率高，和华为手机一样，散热堆料特别足，而且技术领先同行。

以后怕是要把HBM7/8的微流道散热技术提前用起来了，毕竟HBM7/8要上24+层堆叠，华为很可能要在提前用上下个世代的散热技术了

-------------------------

4. 从架构角度来说，最重要的问题，华为41%的power efficiency（能耗比）提升，到底是怎么实现的？为什么AMD的3D V cache没有这么大的提升？

首先确定41%的定义。论文只说"SoC performance-core power efficiency improved by 41%"，没有给出benchmark名称、Voltage/Freq点、温度条件、功耗边界。但PPT roadmap上有一个关键线索：ISO-Power Performance的数字，2025年是2.75，2026年是3.1，提升12.7%

这个时钟频率提升12.7%完全一致，可以理解为，同功耗的性能提升是12.7%，绝大部分是时钟频率提升带来的

至于能耗比上优化的猜测是，LogicFolding缩短critical path → 在固定Vdd下Fmax从2.75GHz提升到3.1GHz → 这意味着在原来的2.75GHz频率下，有了约12.7%的timing headroom → 这个空间在iso-performance模式下可以换成更低的Vdd

另外的能耗比的提升，可能也来自于电路折叠之后，cache hit latency的下降。从业界经验来看，一般L2/L3 cache hit latency下降10%，CPU整体性能会有至少5%的提升

ppt里显示SRAM latency下降30%，估计会有一部分转化为cache hit latency的下降

AMD的3D V cache没有这么大的提升，主要是因为AMD的底层logic die并没有重新设计，3D cache的延迟latency不仅没有减小反而加大，只是增加了cache大小，收益不如latency下降那么明显。

另一方面，clock skew的下降,critical路径变短，造成电路timing变好，意味着华为可以使用更低的vdd（猜测甚至能低7~8%），以及路径缩短所带来的RC的下降(考虑到clock buffer -56%、wire -28%、SRAM pJ/bit -24%这些数字，比如C_eff下降10~15%合理)，再加上clock tree的整体缩短和下降，确实是有可能在部分Voltage/Freq点做到同性能下，做到30%的功耗下降的，而30%的功耗下降换算过来就是41%的power efficiency

对比苹果和高通，每一代手机芯片在iso-power下单核性能一般提升10-20%，iso-performance下功耗一般降30-40%，这是V/F曲线的特性决定的，所以从经验上来说，数字是对的上的。

所以这个power efficiency（能耗比）的提升，从现有的数字上来说可以从topology推导出来是合理的，可能真的和工艺节点没有太大关系

----------------------------

5. 这个技术路线有没有可复制性，其他家会不会效仿？

短期内不会大规模效仿，因为性价比和风险收益比来说不好。长期来看，这个方向所有人都在走，只是名字不一样

华为做LogicFolding的根本驱动力是制裁，工艺节点被卡在7nm，只能在封装，散热，和设计层面想办法弥补。华为也为此付出了不小的代价：散热成本，设计复杂度，以及制造成本更高（包括良率）。这是一个被逼出来的路线，不是一个自然选择

其他玩家在用TSMC就能做到正常的经济迭代，是没有必要冒着这个风险，去超前迭代散热技术和设计复杂度的

长期来看，Intel的Foveros、TSMC的SoIC、AMD的MI300的3D stacking都在朝同一个方向走。如果继续追最先进节点的经济性持续恶化，那么"固定一个成熟节点+3D topology optimization"的路线会越来越有吸引力

散热方面，MEMS微型风扇和微流道也会成为未来HBM散热的主流

-------------------

总结一下，华为这次的创新，绝对是值得尊重的，在制裁环境下，用极高的设计复杂度和成本，在一个被锁定的工艺节点上大胆重新设计，榨出了一次大的topology红利，虽然它有天花板。每多加一层的边际收益递减（堆叠1->2层, 2->3层, 3->4层，提升百分比变小），leakage无法解决，散热越来越难，3D EDA工具链更是全新的挑战。

但这个Tau scaling不是一条可以走十年的指数增长路径，每次爬完一个台阶，下一个台阶更难爬，而且台阶更矮收益更小，华为以后想缩小差距，还得再想想靠什么其他的路线

[fin @fi56622380]

AI半导体终局推演2026(I)
当新token经济学范式从GPU算力转移到HBM

本文从从GPU架构进化路线本质出发，解释这个市场长久以来担心的问题:
每个GPU的HBM内存需求为什么一定会是指数增长，为什么HBM需求指数增长不会停滞?

并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽

同时讨论了，为什么GPU的天花板被HBM的两个发展维度所决定

HBM周期性这个话题争议一直很大，乐观派认为AI带来的需求比以前要大的多，但市场主流仍然认为前几次上升周期也有需求每年20%+增长，这次又有什么不一样呢？AI不影响HBM和传统DRAM一样有commodity属性，一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。

我们可以从算力芯片架构视角,从第一性原理出发，来拆解和推演一下这个问题：为什么这次真的不一样

-------------------------------
历史：CPU算力时代

很久以来，我们都处在CPU主导算力的时代，CPU的最高级KPI就是performance，跑的更快，所以每一代的CPU都用各种方法来提高跑分，最开始是频率上升，后来是架构演进superscaler等等

这个时候为什么DDR不需要很快的技术进步速度？比如DDR3到DDR5竟然经历了15年之久

因为这个时期的DDR的角色是纯粹的辅助，而且辅助功能极弱，以业界经验，DDR的速度即便是提高一倍，CPU的performance一般只能提高不到20%这个量级

为什么DDR带宽速度提高了用处不大？两个原因

1. CPU设计了各种架构去隐藏 DDR延迟，比如superscaler，加大发射宽度，用海量的ROB和register renaming来提高并行度隐藏延迟，一级缓存cache，二级缓存cache，削弱了DDR的带宽速度需求

2. CPU workload对DDR带宽要求并不高，大部分日常负载比如打开网页，DDR带宽是严重过剩的，甚至云端负载

也就是说，在CPU时代，DDR的带宽速度是不太有所谓的，DDR4和DDR5除了少数游戏就没啥差别，甚至JEDEC标准也进步缓慢。

另外，绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可，app的size增长没那么快，导致对DDR的容量需求也较为缓慢。

所以最近十年来，平均每台电脑上的DDR容量大概从7~8GB变成了23GB，十年只增长了3倍。

而这部分升级缓慢直接影响了营收，size容量计价是赚钱的主要方式，速度的提高只是技术升级，提高size的单价，这两个的升级需求都不大，需求主要是随着电脑/手机数量增长而增长

所以DRAM在带宽速度和容量这两个维度上，一直是都是芯片产业锦上添花性质的附属品，DDR升级带来的边际效用是很低的，跟CPU时代的最高KPI几乎没什么直接联系

--------------------------------------------
而到了genAI 大模型为主导的新时代，计算范式转移让最高级KPI起了根本变化

GPU发展到AI推理的时代，不再像CPU那样只看跑分，最高级的KPI不再是算力TOPS/FLOPS，而是token的成本，特别是单位成本/单位电力下的overall token throuput

其次是token吞吐速度，因为在agent时代，很多任务变成了串行，token吞吐速度成了用户体验的重要瓶颈。

这也是为什么老黄发明AI工厂概念的原因：最低成本的输出最多token，同时尽量提高token吞吐速度

AI训练时代，老黄的经济学是TCO(total cost ownership)，买的GPU越多，省的越多

而老黄在推理时代的token经济学是：

AI推理的毛利润很可观，所以逻辑已经转换成：Nvidia GPU是这个世界上让token单价最便宜的GPU，买的GPU越多，赚的越多

最高的KPI变成了Pareto frontier曲线，在提高token 吞吐throughput和提高token速度两个维度上尽量优化
（见图一）

NVIDIA 的 token factory 代际进步，其实是在把整条 Pareto frontier 往右上推，这就是是AI推理这个时代最重要的KPI

----------------------------------

接下来是本文最重要的逻辑链，如何从token吞吐量指数型增长的本质出发，推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长

单卡GPU推理单线程batch size = 1的时代，token吞吐只有一个维度，就是HBM的带宽速度，带宽速度越高，token吞吐越大

但进入NVL72的年代，推理不再是单卡GPU时代，而是72个GPU + 36个CPU整个系统级别的token工厂，把HBM带宽和算力用满，获得极致的token吞吐量

Token 吞吐throughput的增长，依赖两个东西：同时批处理的请求数 X 每个user请求的平均token速度

也就是batch size X per user token 速度

以Rubin NVL72为例，在平均token速度是100 token/s的情况下，同时批处理1920个请求，得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW（0.12MW）的功率，所以得到单位MW能处理1.6M token/s

（见图一）

所以，我们需要想方设法提高这两个参数：批处理数量batch size和per user token的平均速度，这两者相乘就是我们的最高KPI，也就是token的吞吐量

-------
第一个参数：batch size的增长，瓶颈在HBM size

批处理量里的每一个请求req，都会自带kv cache，这部分kv cache是需要存在HBM里的，大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取，所以必须放在HBM里，比如一个大模型的层数是80层，那么每一个token的生成阶段，都需要读取80次HBM里的kv cache

随着批处理数量batch size的增长，会带来hot kv cache的线性增长

又因为这个批处理量的所有请求的hot kv cache，都要放在HBM上，这也就带来了HBM size必须要随着批处理量batch size线性增长

就像是机场接驳车，登机口尽量快的接旅客到飞机，HBM size小了，相当于接驳车size小了，就得多接一趟

结论是：批处理量的数量batch size，瓶颈依赖于HBM size的增长

---------
第二个参数：每个user请求的平均token速度，瓶颈在HBM带宽

大模型decode阶段的速度，瓶颈取决于HBM的带宽速度，因为每生成一个 token,都要把激活的权重和kv cache 读很多遍

LPU的出现，在batch不那么大的情况下，把激活权重这个部分搬到了SRAM上，但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高，生成每一个token的速度也就越快，基本上是线性对应的

就像是机场接驳车，登机口尽量快的接旅客到飞机，hbm本身带宽速度就像是接驳车的车门有多宽，门越宽，旅客上接驳车越快

GPU的其他配置，都是在适配batch的增长以及要让token compute的速度配平HBM的增长，甚至会用多余的算力来获得部分的带宽（比如部分带宽压缩技术）

—-----
在那个接驳车的比喻例子里

接驳车的车厢大小 = HBM Size（容量）： 决定了一次能装下多少名旅客（也就是能同时装下多少个请求的 KV Cache）。车厢越大，一次能拉载的旅客（Batch Size）就越多。如果车太小，想拉100个人就得分两趟，系统整体的吞吐量就上不去。

接驳车的车门宽度 = HBM Bandwidth（带宽）： 决定了旅客上下车的速度。门越宽，大家呼啦啦一下全上去了（Decode/生成Token的速度极快）。如果门很窄，哪怕车厢巨大能装200人，大家也得排着队一个一个挤上去，全耗在上下车的时间里了。

旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度)

—---------------------------

至此，我们从逻辑上推演出了token经济学的硬件需求第一性原理：

Token throughput = HBM size X HBM Bandwidth
AI推理这个时代的最高KPI，实际上是高度依赖于HBM的两个维度的进步的

如果要维持token throuput每一代两倍的增长，实际上意味着，每一代的单GPU上，HBM size X HBM BW带宽之积要增长两倍！

这也是历史上第一次，HBM内存的size可以影响最高的KPI token throughput！

要验证这个理论，可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput，和HBM size X HBM BW 放在同一个图里比较
（见图二）

可以发现，这两个曲线的走势在对数轴上惊人的一致

HBM size x HBM带宽增长的甚至要比token吞吐量更快，毕竟HBM决定的是天花板，实际上这个天花板增长的利用率utilization是很难达到100%的，也就是说，HBM size x HBM 带宽就算增长1000倍，其他算力和架构的配合下，很难把这1000倍的天花板潜力全部榨干

这条曲线不是巧合，而是系统最优化的必然解

throughput = batch × Bandwidth，这就是token factory 经济学最绕不开的第一性原理

—--------
软件的影响呢？软件的优化会不会降低带宽的需求？降低HBM的需求？

这跟硬件是独立两个维度的，这好像在问，如果CPU上的软件优化了之后跑的更快，是不是CPU就十年不用发展了？反正软件跑的更快了嘛

这样的话，CPU厂还能赚得到钱吗？CPU想要存活下去，只有一条路可走，在标准benchmark，不考虑软件优化，每一代CPU必须要跑分更高，不然就卖不出去
GPU也是一样，软件优化如何，和自己的token吞吐量KPI每年都要大幅进步，是两回事

只要token的需求继续增长，对token throuput的追求就绝不会停止，那么对HBM size X HBM 带宽的追求也不会停止

如果HBM size和HBM 带宽发展慢了，老黄一定会亲自到御三家逼着他们技术升级，因为这就是老黄gpu的天花板，天花板要是钉死了不进步，老黄的GPU还能卖出去吗？

当然了，Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分，比如LPU就是一个很好的尝试，把Pareto frontier从另一个角度改善了很多 （右半边高token速度的部分）

—--------------------------------------

HBM内存已然告别了那个随波逐流的旧时代，在这条由指数级需求铺就的单行道上，以一种近乎宿命的方式走到了产业史诗的主舞台中央

推理范式第一性原理演化到这一步，只要老黄还要卖GPU，HBM就必须翻倍，而且必须代代翻倍。这是supply side的内生压力，与AI需求无关，与宏观周期无关，与hyperscaler的心情也无关

剩下的问题，只有一个：

当需求被物理锁定为指数增长的时候，供给侧的三个玩家，会不会还像过去三十年那样，亲手把自己再拖回一次周期的泥潭？

[0xkevin (🖤 , 💙) @0xKevin00]

@aleabitoreddit 太牛了 https://t.co/Lcwx2uMhaU

[墓碑科技 @mubeitech]

“几年后，我们现在称为 AI 的东西，会被直接叫做‘商业’。”

说这句话的人，是美国新任美联储主席 Kevin Warsh。
他正准备做一套让市场警醒的动作。
在经济明显繁荣的时候，直接切入降息通道。

按传统经济学常识，经济一热就该引发通胀。
央行里的旧模型，很多还停留在 1978 年的逻辑里。
这些旧系统认定，增长必须被加息抑制，否则物价就会失控。

但 Warsh 看到的是另一盘账。
他在华尔街日报写专栏，直接给 AI 定了性：结构性通缩。
技术正在渗透进真实企业的最前线。
自动化和大模型会让几乎所有环节的成本降下来。
这导致整个美国正处在价格结构性下降的早期。

这个操作手法，华尔街见过一次。
时间是 1995 年。
当时的格林斯潘看到了计算机普及带来的生产力跃升。
他选择了放任经济全速运转，逆向操作降息。
随后，美国迎来了一波长达七年的扩张期。

时隔三十年，类似的参数再次输入了华盛顿的决策层。
资本市场正在为一轮由技术降本驱动的宽货币周期重新定价。

[0xkevin (🖤 , 💙) @0xKevin00]

用 AI 重走了一遍马斯克的人生低谷，如果换成你，会在哪一刻选择放弃

AI retraced @elonmusk ‘s lowest moments in life. If you were him, at which point would you have given up?