LotusDecoder

@LotusDecoder

Focus Personal AI && inner life. 2× DGX Spark · M4 Max 128GB

Joined December 2023

2.6K Following

8.7K Followers

12.6K Posts

LotusDecoder retweeted

fin

@fi56622380

about 4 hours ago

AI半导体终局推演(IV) 开源模型的兴起对半导体有什么样的影响？会不会降低半导体的营收? 这可能是最近半年市场争辩非常激烈的问题开源模型token占比可能已经超过两成而且在加速，价格只有闭源旗舰几分之一。每一轮新开源模型发布，市场都要重新算一遍：token越来越便宜，模型公司还赚得到钱吗？模型公司不赚钱，谁来买那么多卡？这个问题如果从静态角度看待，确实是矛盾的：一方面，更便宜的模型会让更多人使用AI，所以需要更多算力另一方面，开源会把OpenAI和Anthropic的价格打下来，模型公司赚不到钱，谁来为后面几年的巨额CapEx买单？ -------------------------- 一、开源会伤害半导体吗？把市场的担心拆开，其实是两种说法。第一种：开源会把premium token的价格也拉下来。闭源两家（OpenAI和Anthropic）的ARR受损，靠融资、靠借钱“透支未来”去买算力的能力，也会跟着下降。第二种：开源靠价格战抢市场，抢走太多份额，但自己的营收和毛利太低，整个模型层对半导体的支付能力被拉低，开源厂商自己的融资和发展速度也会受影响。开源token也是token，消耗的同样是真实的算力，相似尺寸的模型，开源的算力消耗还要少一些，比如DeepSeek有sparse attention这类优化。但对半导体来说，真正重要的不是开源还是闭源，而是用卡的人赚不赚钱。毛利率是影响大家抢购芯片热情最重要的因素，几乎没有之一毛利够高，抢到就是赚到，买得越多赚得越多毛利超过70%，买的GPU一年回本，每一个GPU都是印钞机。毛利如果只有50%，也可以承担更多融资的风险，去贷款买得更多所以问题就变成了：开源会不会把毛利率打下来？如果只看静态的token价格，答案似乎是会：价格一直在跌。但我们不能以静态的眼光看问题，看token经济学，需要一个动态的framing -------------------------- 二、token经济学的动态平衡：成本降得和价格同样快 token一直在降价，这是事实。但成本降得同样快，这也是事实。毛利在维持，成本在下降，售价在下降，用量在上升这是全文最核心的判断：每一代模型、每一代硬件迭代之后，都会回到一个新的平衡。我们可以叫做token经济学的动态平衡。我们不能以静态的眼光看问题，token的指数型通缩，是AI时代的动态背景板还是那句话，AI时代的token优化进步十年加速六个数量级，软件/算法加速三个数量级，硬件加速三个数量级老黄在2023年就讲过，硬件和软件，每十年加速一百万倍，靠的是互联、内存、封装、PCB、架构、制造的全方位进步，合起来一百万倍相当于软件，硬件各自每十年加速1000倍这条定律在过去十年得到了应验：硬件过去十年进步的1000倍，细细分解一下，半导体工艺大概有3倍提升，类似DP4/HMMA/IMMA这样的复杂指令加速了大概10倍，从数据精度类型方面的优化是8~16倍（FP32 -> BF4, MX4），以及sparsity方面的优化都有帮助到现在看硬件提升速度仍然在维持：HBM的带宽和size升级换代在加速，Advanced Packaging各种3D架构花样翻新，光互联的带宽指数提升，延迟和功耗下降，功耗标准以及散热技术的快速提升，都在配合维持这个历史的背景板落到具体： 1. 硬件每一代都让token throughput翻倍，Blackwell对H100甚至是4倍，也就是让token的单价降一半，Vera Rubin最近也开始了测试，从GTC到hotchip上的展示来看，token throughput基本上也是能翻倍的 2. 软件对同一代模型，每年甚至每半年，再让价格降一半甚至3/4，KV cache压缩、模型层的各种优化都在持续进步。 token本身也在变得更值钱，5.5这一代的token efficiency大幅提高，同样的任务消耗的token更少，而单个token的质量还在变好只要有竞争，大家都会拼命在相同效果下降低成本，所以边际毛利主要靠软硬件的持续优化来维持即便是开源模型，毛利也能保持在非常可观的程度 -------------------------- 单GW unit economy的硬件账本把这件事落到一个GW上算，会更直观。市场可能低估了目前token 的整体毛利。最新B300跑前沿旗舰模型，推理效率非常高，1GW一年能卖出80B以上的token revenue。到了Vera Rubin，单位电力的token throughput至少还能再提升50%到100%，每GW能卖到120B甚至更高。每GW的毛利率还会继续上升。当然，明年实际未必真卖到这么高，两家之间仍有竞争，旗舰token可能还是维持在80B一个GW左右。即便如此，旗舰token推理的毛利率维持在75%甚至80%以上。Anthropic今年推理收入预期可以达到50B/GW，明年甚至blended都可能提高到80B/GW。在这样的毛利下，抢算力是没有什么顾忌的开源的token 毛利没有那么高，按官方售价来算。大概只有60%到70%，每GW的年化收入仍然能在50B以上最近开源模型因为Sol 6.1以及 Opus 5.5的斩杀线太过于强势，降价很明显，有巨大的毛利压力。但我认为开源模型毛利承压的窘境是暂时的，比如DeepSeek最近优化了Flash 4.1之后，毛利重新站上了70% 再看成本端，现在的硬件成本摊到6年，每年才8B/GW左右。收入是硬件摊销的十倍，这就是为什么neocloud的短约最近能租到每年40~50B/GW的天价，因为token真的能卖到更高价格硬件就算再提价，也不容易打破这个平衡，token收入和硬件成本之间这块巨大的空间，就是下一篇AI infra/半导体内战要分的蛋糕这个动态平衡从2023年就一直存在 GPT-4的价格每年降10倍，两年降了100倍，新一代旗舰凭卓越的性能维持定价权，token ~50/M，旧一代开始大降价如果说token通缩，通缩一直都在，但这个游戏反而更健康了：单位token带来的生产力和价值一直在提高，ROI一直在变好，帮助了渗透率和用量移动互联网时代的手机芯片，也是这样走过来的所以要把token降价当作常态，当作一块移动的背景板，即便token降价、减半，通过降本仍然能很大程度的维持平衡。而降价又带来了更多用量，增加整体营收对AI infra来说，这个平衡最大的好处是维持住了毛利率，而毛利率是维持大家对硬件热情最重要的因素 -------------------------- 三、value tier token是commodity，但premium tier token不是，这是两个完全不同的赛道动态平衡回答了“降价会不会打穿毛利”。但开源会不会影响闭源最赚钱的那部分旗舰token收入？我认为不会，因为value tier和premium tier，是两条完全不同的赛道。 value tier就是commodity，大家拼命地卷。只要有一家设定了新的“斩杀线”，其他家都得跟进。官方售价表面上可能没变，但OpenRouter上各家host的价格是实时反映的。任何value tier的东西，商品也好，甚至是人，都很容易成为commodity。 premium tier是另一回事。它的竞争只存在于OpenAI和Anthropic两家之间，所以commodity属性有限。开源影响不到premium tier token售价，这部分价格是相对稳定的这个格局，在移动互联网的历史上出现过一次高通做出了世界上最好的手机芯片之一。但技术扩散是拦不住的，联发科以及整个东亚（包括中国）的产业链，很快就做出了类似的芯片，售价只有高通的四分之一，甚至更低。（跟现在的蒸馏是很相像的：大概能解释30~50%为什么开源模型拉不开差距的原因）高通的防守是，premium芯片继续卖高价，作为安卓旗舰。同时把premium芯片阉割一部分：屏蔽掉几个核、降频、降档。用极低的成本打造中端和value tier的芯片，卖得比联发科还便宜。很多代里，高通的value tier比联发科的旗舰性能更好、价格更低。把这个故事换成今天的AI时代背景，几乎可以一一对应。开源用低得多的成本蒸馏，造出了一档和旗舰有可见差距的value tier，想从低价围剿。而OpenAI和Anthropic做的事情，和当年的高通一模一样：用自家premium模型自蒸馏，打造出价格更低、性能更好的“斩杀线”，把战场隔离在value tier，不让它蔓延到premium tier 所以premium tier的战争只在两家之间，Astra依然能卖到每百万token 50美元的高价。闭源的value tier还有第二重作用：不让开源占据更大的市场，也不让开源积累太多利润，利润越少，开源算力上追赶起来就越吃力。最近GPT-6.1 Sol、Sonnet 5.5这一轮“斩杀线”，对开源的压力是巨大的。但这只是回合制游戏的一部分：开源也在进步，下一代仍在训练。token的指数型通缩作为背景板一直在发生，开源的到来，只是让今年value tier的降价斜率更陡了一些。另外虽然开源最近蒸馏变得更困难了，但我仍然认为开源有能力把差距维持在半年左右。 premium tier token最近也有价格战。两家都要上市，可能暂时让出一部分premium token的毛利，让ARR更好看，拿到下一笔融资，或者顺利上市。但以后可能不会有恶性价格战，这是双寡头竞争为什么premium不会被commodity化？供给侧的原因是：大模型时代虽然没有网络效应，但RSI效应很强：用前一代模型的数据去生成更强的下一代，这个能力越来越强。领先者的优势，会自我强化。需求侧的原因放在后面讲：对旗舰的需求不会停。所以，“开源威胁闭源收入”这句话只对了一半。它威胁的是闭源的value tier，而闭源的防守非常有效。两个市场之间是割裂的，不能一概而论 -------------------------- 四、开源到底对半导体整体有多大分量说完了动态平衡（开源模型毛利也是能维持的），还剩一个最朴素的问题：开源到底有多大？开源的token占比可能已经到了20%甚至更高，但如果看ARR，也就是真实的market spend，它只占5%~10%。而ARR直接挂钩毛利率，以及能撑起多少GW的算力，这就是对半导体分量的估算。换句话说，从算力的角度看，开源token ARR占相关ai infra/semi收入的比例只有5~10%；如果把Meta、Google这类自用的算进来，比例还要更小。上一篇讲过：北美的开源模型收入到现在还不到10B，闭源加起来已经超过120B，现在可能在140B附近。可预见的未来，开源的ARR增速会比闭源快，但不会大幅超出。现在可以回到开头的两种担忧了。第一种，开源把premium token的价格拉下来，不完全成立。两条赛道是割裂的，开源打不到premium的价格，ARR的大头在premium/high tier这里，当然了，Opus/Sol这样的high tier可能会在开源模型每次迭代发布的初期受一定影响第二种，开源自己的毛利太低，拖累整个模型层的买卡能力：目前不成立。开源跑在B300上的毛利仍在60%到70%以上，份额也小。开源自己的营收约束也还没有触发：营收不好，就没法长期训练，迭代循环就难以维持；但现在开源的增长势头强劲，这个循环在正常地转。所以结论是：开源不会降低毛利率。只有毛利率有保证，购买意愿才有保证。即便是毛利率受影响，只要开源能维持30%以上、闭源60%以上的毛利，这个游戏就完全能玩得下去，半导体和infra的需求就不会因为开源变强而变弱在对毛利率影响有限的前提下，对Nvidia来说，开源带来了客户的多样性，致力于把供应链隔壁层的客户商品化，会给Nvidia/infra带来更大的议价权，反而是有利于AI infra/semi的以后开源收入占绝大多数市占率的说法，我认为不太可能，原因在上一篇提到过, 主要是开源模型的算力增长速度有限，以及闭源模型的value tier token 竞争力完全不差。 -------------------------- 五、平衡的前提：用量必须跑赢降价到这里，动态平衡看起来很稳。但它其实建立在一个重要前提之上。现在token的毛利率高，很大程度建立在算力短缺的基础上。那么，算力会一直短缺吗？毛利率能不能维持，最终要看token需求能涨到什么量级，也就是整个ARR能不能维持增速杰文斯悖论OpenRouter上已经无数次上演过：价格下降，需求涨得更多，整体营收反而上涨。虽然，从最近的数据看，价格降得太快，需求增速短期跟不上，整体营收的增速可能会放缓有研究用OpenRouter和Azure的数据估算过，token的短期价格弹性大约是1~1.1，也就是便宜10%，用量多10%左右，总花费基本不变所以绕了一圈，开源对半导体的影响，最终要回到：token需求能不能一直跑赢降价？ -------------------------- 六、token需求还会大幅增长，而且对旗舰的需求不会被value tier轻易取代理由有几个： 1. Token整体用量高度集中在头部用户，他们能吃下每一分能力提升 2. “能力超过大多数人的需要之后，再提升就对没用”，是错觉 3. 开放型任务遍布每个领域，在这些任务上旗舰模型的效果明显更好 4. 能力的本质是抽象层上移，能指挥的任务越来越复杂 5. 信息、认知、意图三种门槛降低的组合，会不断打开比上一阶段大一个数量级的新市场 -------------------------- 1. 模型能力提升主要服务头部用户，模型能力提升能持续转变成用量的释放 top 10%的用户占了大部分用量，top 1%的平均用量大约是top 10%档用户的10倍、中位数用户的100倍，最能把模型能力发挥出来的，往往就是这top 1% 模型能力的提升，主要提升的是前10% power user组织long-horizon task的能力，这部分人的用量会被能力上限卡住，他们的用量会随着能力的上升而继续释放 medium人群对AI能力的需求没那么大，他们的cap限制主要是tool integration，日常的workflow没有被很好地连接起来所以token增长其实对应两类人可能是不同的方向：头部靠能力，也就是long-horizon task；腰部靠集成，也就是连接器、workflow、personal agent 对腰部人群来说，产品的表现形式更为重要，应用层更有效用的可能是腰部人群 2. “能力超过大多数人的需要之后，再提升就对营收没用”，可能是错觉第一，即便是普通用户，即便智能溢出，也希望用更聪明的模型，就和智能手机算力溢出一样。第二，在人占主要成本的任务里，用旗舰可能反而更省钱。模型的花销远不如人工工资的时候，当人力占到总成本的90%，模型越强，人需要的review和返工就越少，节约的人类时间就越多，总的opex反而更低。还有一条轴，是任务本身的开放性 3. 开放型任务遍布每个领域，在这些任务上旗舰模型的效果好得多 bounded任务有天花板，比如报税，复杂度有上限，模型一旦越过这条线，再多的智能也不再带来价值。 unbounded任务没有天花板，比如AI研究，永远可以做的更多第一，即便是报税这种复杂度有上限的任务，可靠度也是一个因素，智能越高，可靠度越高，bounded任务的天花板是复杂度，不是可靠度出错的代价越高，可靠度的每一点提升就越值钱可靠度是按步数连乘的，单步做到99%，20布可靠度就升到82%左右，单步可靠度的小幅提升，会放大成任务层面的大幅提升，也意味着更少的人工review和返工人工review和返工占大头的时候，总成本最低的可能是更强的模型第二，unbounded是任务的属性，不是领域的属性，只要任务的开放性足够强，就是unbounded task 对抗类task天然就是unbounded，开放型任务每个领域都有，不是只有AI研发、软件工程、交易这几类领域 bounded任务的总量增长没那么大，unbounded任务是开启一块新任务之后，还能一直开辟更多的新任务，是纯增量更强的模型在这里效果好得多，ROI更高，这也是Astra出来之后营收增速奇快的原因第三，能力还决定了单个任务能持续多久：半年多前，一个任务迭代两三次就没法继续了，现在已经可以迭代十几次仍然继续，能力变强，迭代步数变多，抽象层就一直在往上升第四，以后agent-to-agent的碰撞会越来越多，旗舰模型会一直处于优势，在对抗场景里，价值取决于相对能力而不是绝对能力，所以模型不存在“够用” 4. 能力的本质是抽象层上移，能指挥的任务越来越复杂模型能力的增强，说到底是抽象能力的增强，能指挥的任务复杂度变高，对旗舰模型的要求和token消耗也就随之变大模型对复杂度的控制能力其实是有限的，必须从抽象层、方法论的角度去隔离复杂度，本质上是用有限的复杂度控制能力，换取更大的复杂任务完成能力技术进化的本质是抽象层上移，人类放弃低维的手工算术，是为了跃升到高维的抽象调度 Agent抽象层继续上移之后，TAM的分母也在变上一篇算的是人均，长期看每人每月的AI支出可能到白领工资的10%，大概1000美元，这是增效的逻辑，分母是opex Agent抽象层继续上移之后，以后的分母可能不是“每个人的人均agent”，而是“每个组织的agent数量”，agent和人头/工资上脱钩，数量甚至可能远超碳基人口，这和unbounded任务其实是同一件事 5. 信息、认知、意图三种门槛降低的组合，会不断打开比上一阶段大一个数量级的新市场把token的演进拉长来看，目前可以分成三个阶段。第一个阶段是chatbot，让信息流动的门槛大幅下降第二个阶段是reasoning，让认知流动门槛大幅下降第三个阶段是agent，让意图流动的门槛大幅降低每一个阶段打开的应用场景，都比上一个阶段大一个数量级，而且它们之间的组合会越来越多：意图门槛和认知门槛降低的组合，会带来更大的增长空间。历史上，每一次信息门槛的大幅降低，都带来了一轮科技革命。意图门槛的降低也带来过革命，这一次，是人类第一次在认知和智力的意图上实现门槛的大幅降低，同时信息门槛还在继续大幅改进。它一定会是一场增长非常迅猛的科技革命。互联网时代的生意，底层逻辑可以归纳为一种组合：信息流动门槛的降低，乘以任意一个行业。社交网络是信息流动门槛的降低乘以人际关系，电商是信息流动门槛的降低乘以交易。AI时代的组合，是信息、认知、意图三种流动门槛的降低，再乘以任意一个行业。这个组合的发展方向，可能是第四个阶段：代理经济（Proxy Economy）。无论是碳基消费还是硅基消费，无论C端还是B端，它的潜力都非常大模型能力越强，proxy能越过的门槛就越多，能干的事情复杂度就越高。代理经济现在还没有迈过一个很大的门槛，以后会和社交、电商等每一个领域深度结合，走向agent to agent。这可能还需要一到两个阶跃。它不是一个短期的事情，可能是在更长的时间尺度上，保障token很长一段时间的指数增长。 ----------------- 还有token之外的需求最后，算力上还有一块容易被忽略的需求：训练。推理越赚钱，能撑起的训练比例就越高。以Anthropic为例，2027年大约有10GW的算力，按年底300B的ARR来算，只需要4GW左右的推理算力就足够，剩下的6GW可以更多地投进训练；今年上半年最缺算力的时候，推理可能占到三分之二，明年可能只占40%。RSI的涌现，让训练的回报越来越能justify。还有一类训练，根本不靠token收入来算账。Meta没有直接的token收入，但可以从muse衍生品上间接赚回来。Google的模型和自身生态结合，能产生token之外的大量收入。即便只做到第二梯队，也不可能割舍训练，而且要追上最新进度，训练算力的差距不能被拉得太大。所以AI infra的需求，不只是token的需求，明年开始也是训练的需求。七．一个推演，Token spending的增长可能是阶跃式的，指望它匀速增长是不切实际的，增速放缓期可能是正常现象 “coding之后没有接力所以AI增速以后完蛋”，是线性思维 AI的发展，特别是token需求，可能是阶跃式增长的，商业上，技术上的新范式/量变引起质变，都是阶跃式增长的契机。“coding之后没有接力”，是拿线性思维去外推一个阶跃的过程原因在于，能力是连续进步的，token spending回报的兑现却是阶跃式的。 1. 回报决定花费。AI是一个每时每刻都要证明回报率的游戏。决定spending能不能继续翻倍的是边际回报。现有token用量有回报，不等于再翻一倍也有同样的回报。有研究用OpenRouter和Azure的数据估算过，token的短期价格弹性大约是1，也就是便宜10%，用量多10%左右，总花费基本不变 2. 而Token spending的回报是阶跃门槛函数，过了一个门槛会出现阶跃。辅助驾驶L2做得再好，就算做到L2.99，它还是L2，驾驶位解放不了，经济上就很难产生收入阶跃，必须要成为L4自动驾驶，整个的产值和空间才会阶跃性打开。同样，自动化节约的前30%到50%，作用很小，提升效率过了门槛才会长出新的范式。比如说对员工效率提升30%以内，通常不能降低项目成本。某类工作的投入减少约 30% 或以上，才方便把释放的人力重新投入其他项目。 Coding是第一个越过了L4全自动接管的赛道，所以我们看到了26年上半年token ARR营收的阶跃爆发式增长回到token需求的问题，总的token spending能不能快速增长，还是取决于回报，而回报增长率大部分时候可能会没那么exciting，需要等阶跃。另外一个猜想是, Top 1%的用户token 花销增长速度和medium 用户 token花销的增长速度基本是一致的。长期看，可能会出现一次翻转：中位数token用量的增速重新超过头部Top 10%用户的增速逻辑是，头部在token里的份额很大，在GDP里的份额并不大。前1%的用户，token用量是中位数的100倍，但他们产生的收入和GDP，远远不是中位数的100倍；前10%和中位数的差距，也远远到不了10倍。头部的spending，上限是头部的营收；头部spending的增速，迟早要收敛到头部营收的增速。而中位数用户对token spending 空间还很大，完全可以超过营收速度。 -------------------- 把这一篇的token经济半导体账摊开，其实很直白。旗舰token 一年能卖80B/GW，硬件成本摊到六年只有每年8B/GW。中间差十倍。开源也好，斩杀线也好，Token降价，只要成本跟着降，那么1GW的硬件能卖出去的token营收是不变的，毛利率也是能维持的不过这个毛利率不是守出来的，是整条产业链拼命降本追出来的至于Token的需求和花销，往后几年，一定还会常出现几个季度的放缓，也一定总会有人把放缓当成故事的结束。我们习惯用均速前进去想象未来，而现实更可能是台阶式的阶跃性进步每一级台阶上，都会有人宣布触顶了。而台阶之所以是台阶，就是因为它上面还有下一级 -------------------- 这一篇已经太长了，至于AI infra/semi内战的蛋糕怎么分，延续到下一篇详述。

fi56622380's tweet photo. AI半导体终局推演(IV)

开源模型的兴起对半导体有什么样的影响？会不会降低半导体的营收?

这可能是最近半年市场争辩非常激烈的问题

开源模型token占比可能已经超过两成而且在加速，价格只有闭源旗舰几分之一。每一轮新开源模型发布，市场都要重新算一遍：token越来越便宜，模型公司还赚得到钱吗？
模型公司不赚钱，谁来买那么多卡？

这个问题如果从静态角度看待，确实是矛盾的：

一方面，更便宜的模型会让更多人使用AI，所以需要更多算力
另一方面，开源会把OpenAI和Anthropic的价格打下来，模型公司赚不到钱，谁来为后面几年的巨额CapEx买单？

--------------------------
一、开源会伤害半导体吗？

把市场的担心拆开，其实是两种说法。

第一种：开源会把premium token的价格也拉下来。闭源两家（OpenAI和Anthropic）的ARR受损，靠融资、靠借钱“透支未来”去买算力的能力，也会跟着下降。

第二种：开源靠价格战抢市场，抢走太多份额，但自己的营收和毛利太低，整个模型层对半导体的支付能力被拉低，开源厂商自己的融资和发展速度也会受影响。

开源token也是token，消耗的同样是真实的算力，相似尺寸的模型，开源的算力消耗还要少一些，比如DeepSeek有sparse attention这类优化。但对半导体来说，真正重要的不是开源还是闭源，而是用卡的人赚不赚钱。毛利率是影响大家抢购芯片热情最重要的因素，几乎没有之一

毛利够高，抢到就是赚到，买得越多赚得越多

毛利超过70%，买的GPU一年回本，每一个GPU都是印钞机。毛利如果只有50%，也可以承担更多融资的风险，去贷款买得更多

所以问题就变成了：开源会不会把毛利率打下来？

如果只看静态的token价格，答案似乎是会：价格一直在跌。但我们不能以静态的眼光看问题，看token经济学，需要一个动态的framing

--------------------------

二、token经济学的动态平衡：成本降得和价格同样快

token一直在降价，这是事实。但成本降得同样快，这也是事实。

毛利在维持，成本在下降，售价在下降，用量在上升

这是全文最核心的判断：每一代模型、每一代硬件迭代之后，都会回到一个新的平衡。我们可以叫做token经济学的动态平衡。

我们不能以静态的眼光看问题，token的指数型通缩，是AI时代的动态背景板

还是那句话，AI时代的token优化进步十年加速六个数量级，软件/算法加速三个数量级，硬件加速三个数量级

老黄在2023年就讲过，硬件和软件，每十年加速一百万倍，靠的是互联、内存、封装、PCB、架构、制造的全方位进步，合起来一百万倍

相当于软件，硬件各自每十年加速1000倍

这条定律在过去十年得到了应验：硬件过去十年进步的1000倍，细细分解一下，半导体工艺大概有3倍提升，类似DP4/HMMA/IMMA这样的复杂指令加速了大概10倍，从数据精度类型方面的优化是8~16倍（FP32 -> BF4, MX4），以及sparsity方面的优化都有帮助

到现在看硬件提升速度仍然在维持：HBM的带宽和size升级换代在加速，Advanced Packaging各种3D架构花样翻新，光互联的带宽指数提升，延迟和功耗下降，功耗标准以及散热技术的快速提升，都在配合维持这个历史的背景板

落到具体：

1. 硬件每一代都让token throughput翻倍，Blackwell对H100甚至是4倍，也就是让token的单价降一半，Vera Rubin最近也开始了测试，从GTC到hotchip上的展示来看，token throughput基本上也是能翻倍的

2. 软件对同一代模型，每年甚至每半年，再让价格降一半甚至3/4，KV cache压缩、模型层的各种优化都在持续进步。

token本身也在变得更值钱，5.5这一代的token efficiency大幅提高，同样的任务消耗的token更少，而单个token的质量还在变好

只要有竞争，大家都会拼命在相同效果下降低成本，所以边际毛利主要靠软硬件的持续优化来维持

即便是开源模型，毛利也能保持在非常可观的程度

--------------------------
单GW unit economy的硬件账本

把这件事落到一个GW上算，会更直观。市场可能低估了目前token 的整体毛利。

最新B300跑前沿旗舰模型，推理效率非常高，1GW一年能卖出80B以上的token revenue。到了Vera Rubin，单位电力的token throughput至少还能再提升50%到100%，每GW能卖到120B甚至更高。每GW的毛利率还会继续上升。

当然，明年实际未必真卖到这么高，两家之间仍有竞争，旗舰token可能还是维持在80B一个GW左右。即便如此，旗舰token推理的毛利率维持在75%甚至80%以上。Anthropic今年推理收入预期可以达到50B/GW，明年甚至blended都可能提高到80B/GW。在这样的毛利下，抢算力是没有什么顾忌的

开源的token 毛利没有那么高，按官方售价来算。大概只有60%到70%，每GW的年化收入仍然能在50B以上
最近开源模型因为Sol 6.1以及 Opus 5.5的斩杀线太过于强势，降价很明显，有巨大的毛利压力。但我认为开源模型毛利承压的窘境是暂时的，比如DeepSeek最近优化了Flash 4.1之后，毛利重新站上了70%

再看成本端，现在的硬件成本摊到6年，每年才8B/GW左右。收入是硬件摊销的十倍，这就是为什么neocloud的短约最近能租到每年40~50B/GW的天价，因为token真的能卖到更高价格

硬件就算再提价，也不容易打破这个平衡，token收入和硬件成本之间这块巨大的空间，就是下一篇AI infra/半导体内战要分的蛋糕

这个动态平衡从2023年就一直存在

GPT-4的价格每年降10倍，两年降了100倍，新一代旗舰凭卓越的性能维持定价权，token ~50/M，旧一代开始大降价

如果说token通缩，通缩一直都在，但这个游戏反而更健康了：单位token带来的生产力和价值一直在提高，ROI一直在变好，帮助了渗透率和用量

移动互联网时代的手机芯片，也是这样走过来的

所以要把token降价当作常态，当作一块移动的背景板，即便token降价、减半，通过降本仍然能很大程度的维持平衡。而降价又带来了更多用量，增加整体营收

对AI infra来说，这个平衡最大的好处是维持住了毛利率，而毛利率是维持大家对硬件热情最重要的因素

--------------------------
三、value tier token是commodity，但premium tier token不是，这是两个完全不同的赛道

动态平衡回答了“降价会不会打穿毛利”。但开源会不会影响闭源最赚钱的那部分旗舰token收入？

我认为不会，因为value tier和premium tier，是两条完全不同的赛道。

value tier就是commodity，大家拼命地卷。只要有一家设定了新的“斩杀线”，其他家都得跟进。官方售价表面上可能没变，但OpenRouter上各家host的价格是实时反映的。任何value tier的东西，商品也好，甚至是人，都很容易成为commodity。

premium tier是另一回事。它的竞争只存在于OpenAI和Anthropic两家之间，所以commodity属性有限。开源影响不到premium tier token售价，这部分价格是相对稳定的

这个格局，在移动互联网的历史上出现过一次

高通做出了世界上最好的手机芯片之一。但技术扩散是拦不住的，联发科以及整个东亚（包括中国）的产业链，很快就做出了类似的芯片，售价只有高通的四分之一，甚至更低。（跟现在的蒸馏是很相像的：大概能解释30~50%为什么开源模型拉不开差距的原因）

高通的防守是，premium芯片继续卖高价，作为安卓旗舰。同时把premium芯片阉割一部分：屏蔽掉几个核、降频、降档。用极低的成本打造中端和value tier的芯片，卖得比联发科还便宜。很多代里，高通的value tier比联发科的旗舰性能更好、价格更低。

把这个故事换成今天的AI时代背景，几乎可以一一对应。开源用低得多的成本蒸馏，造出了一档和旗舰有可见差距的value tier，想从低价围剿。而OpenAI和Anthropic做的事情，和当年的高通一模一样：用自家premium模型自蒸馏，打造出价格更低、性能更好的“斩杀线”，把战场隔离在value tier，不让它蔓延到premium tier

所以premium tier的战争只在两家之间，Astra依然能卖到每百万token 50美元的高价。闭源的value tier还有第二重作用：不让开源占据更大的市场，也不让开源积累太多利润，利润越少，开源算力上追赶起来就越吃力。

最近GPT-6.1 Sol、Sonnet 5.5这一轮“斩杀线”，对开源的压力是巨大的。但这只是回合制游戏的一部分：开源也在进步，下一代仍在训练。token的指数型通缩作为背景板一直在发生，开源的到来，只是让今年value tier的降价斜率更陡了一些。另外虽然开源最近蒸馏变得更困难了，但我仍然认为开源有能力把差距维持在半年左右。

premium tier token最近也有价格战。两家都要上市，可能暂时让出一部分premium token的毛利，让ARR更好看，拿到下一笔融资，或者顺利上市。但以后可能不会有恶性价格战，这是双寡头竞争

为什么premium不会被commodity化？

供给侧的原因是：大模型时代虽然没有网络效应，但RSI效应很强：用前一代模型的数据去生成更强的下一代，这个能力越来越强。领先者的优势，会自我强化。
需求侧的原因放在后面讲：对旗舰的需求不会停。

所以，“开源威胁闭源收入”这句话只对了一半。它威胁的是闭源的value tier，而闭源的防守非常有效。两个市场之间是割裂的，不能一概而论

--------------------------

四、开源到底对半导体整体有多大分量

说完了动态平衡（开源模型毛利也是能维持的），还剩一个最朴素的问题：开源到底有多大？

开源的token占比可能已经到了20%甚至更高，但如果看ARR，也就是真实的market spend，它只占5%~10%。而ARR直接挂钩毛利率，以及能撑起多少GW的算力，这就是对半导体分量的估算。

换句话说，从算力的角度看，开源token ARR占相关ai infra/semi收入的比例只有5~10%；如果把Meta、Google这类自用的算进来，比例还要更小。上一篇讲过：北美的开源模型收入到现在还不到10B，闭源加起来已经超过120B，现在可能在140B附近。可预见的未来，开源的ARR增速会比闭源快，但不会大幅超出。

现在可以回到开头的两种担忧了。

第一种，开源把premium token的价格拉下来，不完全成立。两条赛道是割裂的，开源打不到premium的价格，ARR的大头在premium/high tier这里，当然了，Opus/Sol这样的high tier可能会在开源模型每次迭代发布的初期受一定影响

第二种，开源自己的毛利太低，拖累整个模型层的买卡能力：目前不成立。开源跑在B300上的毛利仍在60%到70%以上，份额也小。开源自己的营收约束也还没有触发：营收不好，就没法长期训练，迭代循环就难以维持；但现在开源的增长势头强劲，这个循环在正常地转。

所以结论是：开源不会降低毛利率。只有毛利率有保证，购买意愿才有保证。即便是毛利率受影响，只要开源能维持30%以上、闭源60%以上的毛利，这个游戏就完全能玩得下去，半导体和infra的需求就不会因为开源变强而变弱

在对毛利率影响有限的前提下，对Nvidia来说，开源带来了客户的多样性，致力于把供应链隔壁层的客户商品化，会给Nvidia/infra带来更大的议价权，反而是有利于AI infra/semi的

以后开源收入占绝大多数市占率的说法，我认为不太可能，原因在上一篇提到过, 主要是开源模型的算力增长速度有限，以及闭源模型的value tier token 竞争力完全不差。

--------------------------

五、平衡的前提：用量必须跑赢降价

到这里，动态平衡看起来很稳。但它其实建立在一个重要前提之上。

现在token的毛利率高，很大程度建立在算力短缺的基础上。那么，算力会一直短缺吗？

毛利率能不能维持，最终要看token需求能涨到什么量级，也就是整个ARR能不能维持增速

杰文斯悖论OpenRouter上已经无数次上演过：价格下降，需求涨得更多，整体营收反而上涨。虽然，从最近的数据看，价格降得太快，需求增速短期跟不上，整体营收的增速可能会放缓

有研究用OpenRouter和Azure的数据估算过，token的短期价格弹性大约是1~1.1，也就是便宜10%，用量多10%左右，总花费基本不变

所以绕了一圈，开源对半导体的影响，最终要回到：token需求能不能一直跑赢降价？

--------------------------

六、token需求还会大幅增长，而且对旗舰的需求不会被value tier轻易取代

理由有几个：

1. Token整体用量高度集中在头部用户，他们能吃下每一分能力提升

2. “能力超过大多数人的需要之后，再提升就对没用”，是错觉

3. 开放型任务遍布每个领域，在这些任务上旗舰模型的效果明显更好

4. 能力的本质是抽象层上移，能指挥的任务越来越复杂

5. 信息、认知、意图三种门槛降低的组合，会不断打开比上一阶段大一个数量级的新市场
--------------------------

1. 模型能力提升主要服务头部用户，模型能力提升能持续转变成用量的释放

top 10%的用户占了大部分用量，top 1%的平均用量大约是top 10%档用户的10倍、中位数用户的100倍，最能把模型能力发挥出来的，往往就是这top 1%

模型能力的提升，主要提升的是前10% power user组织long-horizon task的能力，这部分人的用量会被能力上限卡住，他们的用量会随着能力的上升而继续释放

medium人群对AI能力的需求没那么大，他们的cap限制主要是tool integration，日常的workflow没有被很好地连接起来

所以token增长其实对应两类人可能是不同的方向：头部靠能力，也就是long-horizon task；腰部靠集成，也就是连接器、workflow、personal agent

对腰部人群来说，产品的表现形式更为重要，应用层更有效用的可能是腰部人群

2. “能力超过大多数人的需要之后，再提升就对营收没用”，可能是错觉

第一，即便是普通用户，即便智能溢出，也希望用更聪明的模型，就和智能手机算力溢出一样。

第二，在人占主要成本的任务里，用旗舰可能反而更省钱。模型的花销远不如人工工资的时候，当人力占到总成本的90%，模型越强，人需要的review和返工就越少，节约的人类时间就越多，总的opex反而更低。
还有一条轴，是任务本身的开放性

3. 开放型任务遍布每个领域，在这些任务上旗舰模型的效果好得多

bounded任务有天花板，比如报税，复杂度有上限，模型一旦越过这条线，再多的智能也不再带来价值。

unbounded任务没有天花板，比如AI研究，永远可以做的更多

第一，即便是报税这种复杂度有上限的任务，可靠度也是一个因素，智能越高，可靠度越高，bounded任务的天花板是复杂度，不是可靠度

出错的代价越高，可靠度的每一点提升就越值钱

可靠度是按步数连乘的，单步做到99%，20布可靠度就升到82%左右，单步可靠度的小幅提升，会放大成任务层面的大幅提升，也意味着更少的人工review和返工

人工review和返工占大头的时候，总成本最低的可能是更强的模型

第二，unbounded是任务的属性，不是领域的属性，只要任务的开放性足够强，就是unbounded task

对抗类task天然就是unbounded，开放型任务每个领域都有，不是只有AI研发、软件工程、交易这几类领域

bounded任务的总量增长没那么大，unbounded任务是开启一块新任务之后，还能一直开辟更多的新任务，是纯增量

更强的模型在这里效果好得多，ROI更高，这也是Astra出来之后营收增速奇快的原因

第三，能力还决定了单个任务能持续多久：半年多前，一个任务迭代两三次就没法继续了，现在已经可以迭代十几次仍然继续，能力变强，迭代步数变多，抽象层就一直在往上升

第四，以后agent-to-agent的碰撞会越来越多，旗舰模型会一直处于优势，在对抗场景里，价值取决于相对能力而不是绝对能力，所以模型不存在“够用”

4. 能力的本质是抽象层上移，能指挥的任务越来越复杂

模型能力的增强，说到底是抽象能力的增强，能指挥的任务复杂度变高，对旗舰模型的要求和token消耗也就随之变大

模型对复杂度的控制能力其实是有限的，必须从抽象层、方法论的角度去隔离复杂度，本质上是用有限的复杂度控制能力，换取更大的复杂任务完成能力

技术进化的本质是抽象层上移，人类放弃低维的手工算术，是为了跃升到高维的抽象调度

Agent抽象层继续上移之后，TAM的分母也在变

上一篇算的是人均，长期看每人每月的AI支出可能到白领工资的10%，大概1000美元，这是增效的逻辑，分母是opex

Agent抽象层继续上移之后，以后的分母可能不是“每个人的人均agent”，而是“每个组织的agent数量”，agent和人头/工资上脱钩，数量甚至可能远超碳基人口，这和unbounded任务其实是同一件事

5. 信息、认知、意图三种门槛降低的组合，会不断打开比上一阶段大一个数量级的新市场

把token的演进拉长来看，目前可以分成三个阶段。

第一个阶段是chatbot，让信息流动的门槛大幅下降
第二个阶段是reasoning，让认知流动门槛大幅下降
第三个阶段是agent，让意图流动的门槛大幅降低

每一个阶段打开的应用场景，都比上一个阶段大一个数量级，而且它们之间的组合会越来越多：意图门槛和认知门槛降低的组合，会带来更大的增长空间。

历史上，每一次信息门槛的大幅降低，都带来了一轮科技革命。意图门槛的降低也带来过革命，这一次，是人类第一次在认知和智力的意图上实现门槛的大幅降低，同时信息门槛还在继续大幅改进。它一定会是一场增长非常迅猛的科技革命。

互联网时代的生意，底层逻辑可以归纳为一种组合：信息流动门槛的降低，乘以任意一个行业。社交网络是信息流动门槛的降低乘以人际关系，电商是信息流动门槛的降低乘以交易。AI时代的组合，是信息、认知、意图三种流动门槛的降低，再乘以任意一个行业。

这个组合的发展方向，可能是第四个阶段：代理经济（Proxy Economy）。无论是碳基消费还是硅基消费，无论C端还是B端，它的潜力都非常大

模型能力越强，proxy能越过的门槛就越多，能干的事情复杂度就越高。代理经济现在还没有迈过一个很大的门槛，以后会和社交、电商等每一个领域深度结合，走向agent to agent。这可能还需要一到两个阶跃。它不是一个短期的事情，可能是在更长的时间尺度上，保障token很长一段时间的指数增长。

-----------------
还有token之外的需求
最后，算力上还有一块容易被忽略的需求：训练。

推理越赚钱，能撑起的训练比例就越高。以Anthropic为例，2027年大约有10GW的算力，按年底300B的ARR来算，只需要4GW左右的推理算力就足够，剩下的6GW可以更多地投进训练；今年上半年最缺算力的时候，推理可能占到三分之二，明年可能只占40%。RSI的涌现，让训练的回报越来越能justify。

还有一类训练，根本不靠token收入来算账。Meta没有直接的token收入，但可以从muse衍生品上间接赚回来。Google的模型和自身生态结合，能产生token之外的大量收入。即便只做到第二梯队，也不可能割舍训练，而且要追上最新进度，训练算力的差距不能被拉得太大。

所以AI infra的需求，不只是token的需求，明年开始也是训练的需求。

七．一个推演，Token spending的增长可能是阶跃式的，指望它匀速增长是不切实际的，增速放缓期可能是正常现象

“coding之后没有接力所以AI增速以后完蛋”，是线性思维
AI的发展，特别是token需求，可能是阶跃式增长的，商业上，技术上的新范式/量变引起质变，都是阶跃式增长的契机。“coding之后没有接力”，是拿线性思维去外推一个阶跃的过程

原因在于，能力是连续进步的，token spending回报的兑现却是阶跃式的。

1. 回报决定花费。AI是一个每时每刻都要证明回报率的游戏。决定spending能不能继续翻倍的是边际回报。现有token用量有回报，不等于再翻一倍也有同样的回报。
有研究用OpenRouter和Azure的数据估算过，token的短期价格弹性大约是1，也就是便宜10%，用量多10%左右，总花费基本不变

2. 而Token spending的回报是阶跃门槛函数，过了一个门槛会出现阶跃。辅助驾驶L2做得再好，就算做到L2.99，它还是L2，驾驶位解放不了，经济上就很难产生收入阶跃，必须要成为L4自动驾驶，整个的产值和空间才会阶跃性打开。

同样，自动化节约的前30%到50%，作用很小，提升效率过了门槛才会长出新的范式。比如说对员工效率提升30%以内，通常不能降低项目成本。某类工作的投入减少约 30% 或以上，才方便把释放的人力重新投入其他项目。

Coding是第一个越过了L4全自动接管的赛道，所以我们看到了26年上半年token ARR营收的阶跃爆发式增长

回到token需求的问题，总的token spending能不能快速增长，还是取决于回报，而回报增长率大部分时候可能会没那么exciting，需要等阶跃。

另外一个猜想是, Top 1%的用户token 花销增长速度和medium 用户 token花销的增长速度基本是一致的。长期看，可能会出现一次翻转：中位数token用量的增速重新超过头部Top 10%用户的增速

逻辑是，头部在token里的份额很大，在GDP里的份额并不大。前1%的用户，token用量是中位数的100倍，但他们产生的收入和GDP，远远不是中位数的100倍；前10%和中位数的差距，也远远到不了10倍。

头部的spending，上限是头部的营收；头部spending的增速，迟早要收敛到头部营收的增速。而中位数用户对token spending 空间还很大，完全可以超过营收速度。

--------------------

把这一篇的token经济半导体账摊开，其实很直白。旗舰token 一年能卖80B/GW，硬件成本摊到六年只有每年8B/GW。中间差十倍。

开源也好，斩杀线也好，Token降价，只要成本跟着降，那么1GW的硬件能卖出去的token营收是不变的，毛利率也是能维持的

不过这个毛利率不是守出来的，是整条产业链拼命降本追出来的

至于Token的需求和花销，往后几年，一定还会常出现几个季度的放缓，也一定总会有人把放缓当成故事的结束。

我们习惯用均速前进去想象未来，而现实更可能是台阶式的阶跃性进步

每一级台阶上，都会有人宣布触顶了。而台阶之所以是台阶，就是因为它上面还有下一级

--------------------

这一篇已经太长了，至于AI infra/semi内战的蛋糕怎么分，延续到下一篇详述。

189

183

21K

LotusDecoder

@LotusDecoder

Last Seen Users on Sotwe

Trends for you

Most Popular Users