Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
Sining
@Mr_Sining
Los Angeles, CA
Joined December 2021
2.4K
Following
243
Followers
4.2K
Posts
Mr_Sining
retweeted
谢家印
@xiejiayinBitget
20 days ago
最近被吐槽最多就是我们美股 2.0 太丝滑但美股现货太少,刚刚 Space 上
@lugeweb3
也提出同样的问题。我也在这跟大家承诺,7天内
#Bitget美股
2.0 的目标是上满 500个美股现货。如果没完成,转发这条推的小伙伴每人发10U,转发带上
#买美股首选Bitget
。 为什么不是600、700个? 因为从数据来看 500个热门标的已经可以覆盖市场上98%交易量,转发截止到下周一晚上8点。
Sining
@Mr_Sining
23 days ago
@GuoShenCN7
BTC
Mr_Sining
retweeted
fin
@fi56622380
2 months ago
AI半导体终局推演2026(I) 当新token经济学范式从GPU算力转移到HBM 本文从从GPU架构进化路线本质出发,解释这个市场长久以来担心的问题: 每个GPU的HBM内存需求为什么一定会是指数增长,为什么HBM需求指数增长不会停滞? 并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽 同时讨论了,为什么GPU的天花板被HBM的两个发展维度所决定 HBM周期性这个话题争议一直很大,乐观派认为AI带来的需求比以前要大的多,但市场主流仍然认为前几次上升周期也有需求每年20%+增长,这次又有什么不一样呢?AI不影响HBM和传统DRAM一样有commodity属性,一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。 我们可以从算力芯片架构视角,从第一性原理出发,来拆解和推演一下这个问题:为什么这次真的不一样 ------------------------------- 历史:CPU算力时代 很久以来,我们都处在CPU主导算力的时代,CPU的最高级KPI就是performance,跑的更快,所以每一代的CPU都用各种方法来提高跑分,最开始是频率上升,后来是架构演进superscaler等等 这个时候为什么DDR不需要���快的技术进步速度?比如DDR3到DDR5竟然经历了15年之久 因为这个时期的DDR的角色是纯粹的辅助,而且辅助功能极弱,以业界经验,DDR的速度即便是提高一倍,CPU的performance一般只能提高不到20%这个量级 为什么DDR带宽速度提高了用处不大?两个原因 1. CPU设计了各种架构去隐藏 DDR延迟,比如superscaler,加大发射宽度,用海量的ROB和register renaming来提高并行度隐藏延迟,一级缓存cache,二级缓存cache,削弱了DDR的带宽速度需求 2. CPU workload对DDR带宽要求并不高,大部分日常负载比如打开网页,DDR带宽是严重过剩的,甚至云端负载 也就是说,在CPU时代,DDR的带宽速度是不太有所谓的,DDR4和DDR5除了少数游戏就没啥差别,甚至JEDEC标准也进步缓慢。 另外,绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可,app的size增长没那么快,导致对DDR的容量需求也较为缓慢。 所以最近十年来,平均每台电脑上的DDR容量大概从7~8GB变成了23GB,十年只增长了3倍。 而这部分升级缓慢直接影响了营收,size容量计价是赚钱的主要方式,速度的提高只是技术升级,提高size的单价,这两个的升级需求都不大,需求主要是随着电脑/手机数量增长而增长 所以DRAM在带宽速度和容量这两个维度上,一直是都是芯片产业锦上添花性质的附属品,DDR升级带来的边际效用是很低的,跟CPU时代的最高KPI几乎没什么直接联系 -------------------------------------------- 而到了genAI 大模型为主导的新时代,计算范式转移让最高级KPI起了根本变化 GPU发展到AI推理的时代,不再像CPU那样只看跑分,最高级的KPI不再是算力TOPS/FLOPS,而是token的成本,特别是单位成本/单位电力下的overall token throuput 其次是token吞吐速度,因为在agent时代,很多任务变成了串行,token吞吐速度成了用户体验的重要瓶颈。 这也是为什么老黄发明AI工厂概念的原因:最低成本的输出最多token,同时尽量提高token吞吐速度 AI训练时代,老黄的经济学是TCO(total cost ownership),买的GPU越多,省的越多 而老黄在推理时代的token经济学是: AI推理的毛利润很可观,所以逻辑已经转换成:Nvidia GPU是这个世界上让token单价最便宜的GPU,买的GPU越多,赚的越多 最高的KPI变成了Pareto frontier曲线,在提高token 吞吐throughput和提高token速度两个维度上尽量优化 (见图一) NVIDIA 的 token factory 代际进步,其实是在把整条 Pareto frontier 往右上推,这就是是AI推理这个时代最重要的KPI ---------------------------------- 接下来是本文最重要的逻辑链,如何从token吞吐量指数型增长的��质出发,推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长 单卡GPU推理单线程batch size = 1的时代,token吞吐只有一个维度,就是HBM的带宽速度,带宽速度越高,token吞吐越大 但进入NVL72的年代,推理不再是单卡GPU时代,而是72个GPU + 36个CPU整个系统级别的token工厂,把HBM带宽和算力用满,获得极致的token吞吐量 Token 吞吐throughput的增长,依赖两个东西:同时批处理的请求数 X 每个user请求的平均token速度 也就是batch size X per user token 速度 以Rubin NVL72为例,在平均token速度是100 token/s的情况下,同时批处理1920个请求,得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW(0.12MW)的功率,所以得到单位MW能处理1.6M token/s (见图一) 所以,我们需要想方设法提高这两个参数:批处理数量batch size和per user token的平均速度,这两者相乘就是我们的最高KPI,也就是token的吞吐量 ------- 第一个参数:batch size的增长,瓶颈在HBM size 批处理量里的每一个请求req,都会自带kv cache,这部分kv cache是需要存在HBM里的,大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取,所以必须放在HBM里,比如一个大模型的层数是80层,那么每一个token的生成阶段,都需要读取80次HBM里的kv cache 随着批处理数量batch size的增长,会带来hot kv cache的线性增长 又因为这个批处理量的所有请求的hot kv cache,都要放在HBM上,这也就带来了HBM size必须要随着批处理量batch size线性增长 就像是机场接驳车,登机口尽量快的接旅客到飞机,HBM size小了,相当于接驳车size小了,就得多接一趟 结论是:批处理量的数量batch size,瓶颈依赖于HBM size的增长 --------- 第二个参数:每个user请求的平均token速度,瓶颈在HBM带宽 大模型decode阶段的速度,瓶颈取决于HBM的带宽速度,因为每生成一个 token,都要把激活的权重和kv cache 读很多遍 LPU的出现,在batch不那么大的情况下,把激活权重这个部分搬到了SRAM上,但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高,生成每一个token的速度也就越快,基本上是线性对应的 就像是机场接驳车,登机口尽量快的接旅客到飞机,hbm本身带宽速度就像是接驳车的车门有多宽,门越宽,旅客上接驳车越快 GPU的其他配置,都是在适配batch的增长以及要让token compute的速度配平HBM的增长,甚至会用多余的算力来获得部分的带宽(比如部分带宽压缩技术) —----- 在那个接驳车的比喻例子里 接驳车的车厢大小 = HBM Size(容量): 决定了一次能装下多少名旅客(也就是能同时装下多少个请求的 KV Cache)。车厢越大,一次能拉载的旅客(Batch Size)就越多。如果车太小,想拉100个人就得分两趟,系统整体的吞吐量就上不去。 接驳车的车门宽度 = HBM Bandwidth(带宽): 决定了旅客上下车的速度。门越宽,大家呼啦啦一下全上去了(Decode/生成Token的速度极快)。如果门很窄,哪怕车厢巨大能装200人,大家也得排着队一个一个挤上去,全耗在上下车的时间里了。 旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度) —--------------------------- 至此,我们从逻辑上推演出了token��济学的硬件需求第一性原理: Token throughput = HBM size X HBM Bandwidth AI推理这个时代的最高KPI,实际上是高度依赖于HBM的两个维度的进步的 如果要��持token throuput每一代两倍的增长,实际上意味着,每一代的单GPU上,HBM size X HBM BW带宽之积要增长两倍! 这也是历史上第一次,HBM内存的size可以影响最高的KPI token throughput! 要验证这个理论,可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput,和HBM size X HBM BW 放在同一个图里比较 (见图二) 可以发现,这两个曲线的走势在对数轴上惊人的一致 HBM size x HBM带宽增长的甚至要比token吞吐量更快,毕竟HBM决定的是天花板,实际上这个天花板增长的利用率utilization是很难达到100%的,也就是说,HBM size x HBM 带宽就算增长1000倍,其他算力和架构的配合下,很难把这1000倍的天花板潜力全部榨干 这条曲线不是巧合,而是系统最优化的必然解 throughput = batch × Bandwidth,这就是token factory 经济学最绕不开的第一性原理 —-------- 软件的影响呢?软件的优化会不会降低带宽的需求?降低HBM的需求? 这跟硬件是独立两个维度的,这好像在问,如果CPU上的软件优化了之后跑的更快,是不是CPU就十年不用发展了?反正软件跑的更快了嘛 这样的话,CPU厂还能赚得到钱吗?CPU想要存活下去,只有一条路可走,在标准benchmark,不考虑软件优化,每一代CPU必须要跑分更高,不然就卖不出去 GPU也是一样,软件优化如何,和自己的token吞吐量KPI每年都要大幅进步,是两回事 只要token的需求继续增长,对token throuput的追求就绝不会停止,那么对HBM size X HBM 带宽的追求也不会停止 如果HBM size和HBM 带宽发展慢了,老黄一定会亲自到御三家逼着他们技术升级,因为这就是老黄gpu的天花板,天花板要是钉死了不进步,老黄的GPU还能卖出去吗? 当然了,Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分,比如LPU就是一个很好的尝试,把Pareto frontier从另一个角度改善了很多 (右半边高token速度的部分) —-------------------------------------- HBM内存已然告别了那个随波逐流的旧时代,在这条由指数级需求铺就的单行道上,以一种近乎宿命的方式走到了产业史诗的主舞���中央 推理范式第一性原理演化到这一步,只要老黄还要卖GPU,HBM就必须翻倍,而且必须代代翻倍。这是supply side的内生压力,与AI需求无关,与宏观周期无关,与hyperscaler的心情也无关 剩下的问题,只有一个: 当需求被物理锁定为指数增长的时候,供给侧的三个玩家,会不会还像过去三十年那样,亲手把自己再拖回一次周期的泥潭?
See More
Sining
@Mr_Sining
2 months ago
@nancy_c813
那时候一起建设的🤣
Who to follow
Ernestas Donela
@ErnestasDonela
i like crypto . Im not asking any money from you, anything i post its absolutely for free to use with my invite links, not scaming not asking for money.
عوض Awad
@Awad100200300
يارب التوفيق في الدنيا والآخرة ورضى الوالدين
The Supra
@Dikap650
Beyond Collectibles.
Mr_Sining
retweeted
Nancy
@nancy_c813
2 months ago
实在想念铭文的那时代,有没有 $sats 老朋友?當时Sats 持有者最多四万人,诚心诚意拜托之前的Sats 朋友们评论区留言,看看还剩多少人❤️
Sining
@Mr_Sining
2 months ago
@web3usb
抽一个!好运!
Sining
@Mr_Sining
2 months ago
@nancy_c813
❤️❤️❤️
Mr_Sining
retweeted
Nancy
@nancy_c813
2 months ago
封面即是答案:致「社区」的一封信 麦通,一个始于社区、衷于社区的平台,创办人B哥亦是如此。 作为去年一起走过来的社区老朋友,看着它从零到一,一路成长到今天,我心里真的充满了与有荣焉的感觉,这一年,我最深刻的几点感触,想和大家分享: 1.真正的社区化是什么样子? 初创时期的麦通确实很「社区化」,品牌性低,平台交易体感也让很多社区用户反覆的给很多建议,而我看到的麦通:发现它、承认它、解决它、面对它、优化它、改善它 2.走在一条还没有人走的路 去年币圈尚未感到这么「绝望」的时候,麦通选择美股代币化的路,不少人质疑来币圈的人怎么还会去玩美股?一年后市场证实了,呼应B哥的话,如果一条路只有他自己走,那可能很奇怪,如今各大交易所全力往美股靠近,说明这条路上的麦通并不孤单,当然同时也���在竞争力,有竞争、是好事,会逼自己进步与突破 3.Pre-IPO的开创性一步 今年麦通率先开启pre-IPO,为币圈人提供多一项投资管道,RWA落实层面更迈进一大步 4.从「美股代币交易平台」到「区块链券商」 文章中B哥说明了两者的差别,大家可自行阅读,简单说把券商所需的流程,用区块链更高效的基础设施,为用户提供更便利的交易环境,虽然内容尚未实际说明之后会简化到什么程度,或是又会带给我们哪些彩蛋,不过我是满怀期待 5.很拼的产品经理 创办人B哥曾在推特自嘲自己是客服角色,现为团队中「产品经理」角色。确实,曾有推上大佬询问我可不可以协助反应麦通「刷积分」时遇到的bug,我们有时差的这位「产品经理」很给力的马上对接了😂辛苦辛苦 6.内容板块的价值与小建议 麦通的学习板块与调研板块不断带给大家底层逻辑知识,或许很多人���懂美股怎么选,从一间公司的基本面,到财报成绩表现,到底怎么判断,现在哪个板块热门,这些在「麦点专区」都能看到(建议新增一个「新手专区学习栏位」,目前在「交易员有话说」,并不是这么快速让新手看见) 7.以慢制快,专注做好自己该做的事 前几天B个发文让我印象非常深刻: 「Getting rich slowly Sounds simple But it's hard to do Yet once you do it, you'll realize it was actually quite simple.」 币圈老话「币圈一天人间一年」,一年的时间如B哥说的,对一间公司来说根本不算什么,但是对区块链行业早以由牛转熊,什么叙事热点、ai机器代理人都可以一天换一种,早上爱上他,中午告别他。所以麦通选择专注做好自己擅长的事,无法满足所有区块链人的各种需求,唯有专注做产品,才能为用户带来真正好的交易环境 最后,想对B哥和整个麦通团队说: 谢谢你们这一年在不确定中依然坚持把产品打磨好,也谢谢你们一直把社区的声音听进去,麦通能走到今天,靠的不是单打独斗,是每一位社区与用户的陪伴与支持 作为老朋友,深深地祝福麦通未来发展得更高也更远。一岁快乐
❤️ @MS
X_
CN @BTCBr
uc
e1 @BitInvolu
t
ion @BeliaSchoo9
1
221 @0xxs
m
art @Jing
_MSX
See More
Sining
@Mr_Sining
3 months ago
@nancy_c813
👍👍👍
Mr_Sining
retweeted
Nancy
@nancy_c813
3 months ago
果断转型的一间交易所能有多牛? Bitget是一间很好的例子🩵 大家也都猜到了,首次登场pre-IPO的就是spaceX!每个用户都能用参加 保守估计SpaceX 估值来的1.5万亿美元(新闻报导都说2万亿)认购时间是4/18下午2点~ 4/21下午2点,分配后当晚8点即可在Bitget场外市场自由交易,禁售期结束后,还能参考SpaceX 真实股价兑换股票代币或你要换成u也可以,这不就符合真实底层资产合作了吗? 顺带说一下,这是由美国SEC/FINRA 持牌机构Republic(曾做过 Neuralink、Kraken、Stripe 等 Pre-IPO)独家发行,是合规的😎 VIP想更多的参与额度福利,详细可以去看清楚官网 我看群里说卖房的卖房、卖车的卖车😂能认多少就多少🤣🤣 还有一周时间准备!大家把握机会了 #Bitget #UEX #IPOPrime #preSPAX #SpaceX #DYOR
See More
Mr_Sining
retweeted
Nancy
@nancy_c813
3 months ago
支持
@cz_binance
的新书,我自掏腰包买来送给大家,抽五本 “幣安人生” ,希望大家支持正版,如果不在台湾,我将赠送10 U买书资金 1. 转发加爱心 2. 底下留言 「币安人生」
#币安人生
Sining
@Mr_Sining
3 months ago
@nancy_c813
@cz_binance
币安人生
Sining
@Mr_Sining
3 months ago
@nancy_c813
@MSX_CN
继续冲!
Mr_Sining
retweeted
Nancy
@nancy_c813
3 months ago
亲爱的朋友们,让我们一起庆祝本月份
@MSX_CN
麦通一周年🎉 从一年前小小的RWA梦想,如今成为美股交易平台标竿之一,麦通用短短365天达成: 1.RWA交易总量:290.2亿美元 2.已上线代币数量:300+ 3.用户数量:17.97万人 回顾这一年,我自己最有感的五大价值: 1.创新打通美股代币化,真正落实RWA概念 2.麦点的分析为投资人带来优质学习环境 3.麦通在今年第一季上新39支美股,其中38支都涨 4.创新为美股小白带来美股学习板块,从零到有一步步教学 5.今年3月正式上线Pre-IPO版块,并启动首期发售,万众瞩目的SpaceX等等,大幅降低传统Pre-IPO的高门槛 麦通把真正华尔街搬进我的钱包,已慢慢改变我在币圈的投资方式 祝福麦通在下一个365天,不但继续做大,要走得更稳、更远❤️ Cheers🥂🍻
@BTCBruce1
@BitInvolution
@BeliaSchoo91221
@0xxsmart
#MSX #RWA #美股交易平台
See More
Mr_Sining
retweeted
Nancy
@nancy_c813
3 months ago
又到了拉低均价的时候了😎真好 最近打算认真的改变自己的生活,把工作、健康、自我增长,好好的分配,该赚钱就认真,该喝喝、该玩玩,该运动就去运动,不要懒 一旦懒了一天就会懒第二天… 现在也到了老大不小的年纪,趁着自认还花样年华的时候,好好的耀眼一番 昨天跟我闺蜜说以后一餐人均没有2000(台币)我不吃,我就吃茶叶蛋和地瓜😂😂😂开玩笑啦 是希望自己能自律、我相信宇宙的正能量会靠近正能量的人✌🏻 全景式交易所
@Bitget_zh
#UEX #bitget #英伟达 #dyor
Sining
@Mr_Sining
3 months ago
@nancy_c813
大的要来了!
Mr_Sining
retweeted
Nancy
@nancy_c813
3 months ago
大的要来了,就在下周
#QClaw
Sining
@Mr_Sining
3 months ago
@nancy_c813
冲鸭🐥!
Mr_Sining
retweeted
Nancy
@nancy_c813
3 months ago
感謝所有在測試階段幫助塑造 $QClaw 的人。 我們正式進入公開測試階段。無需邀請碼。歡迎來打個招呼🥳 公测-正式上线-朋友圈晒图-央视-全世界媒体 QClaw 带你自由飞翔🚀🚀🚀
#QClaw
Mr_Sining
retweeted
Eva 树姐👧🏻
@EvaCmore
3 months ago
感谢大家的厚爱,今天到账的2164,10人分,一人217。 到时候会让Gork开奖,过滤AI机器人,绝对公平。 要求:说下你正在用AI做什么 ✅48小时开奖
Last Seen Users on Sotwe
蜜桃软绵绵
Seen from
Norway
Ya viyada
Seen from
Thailand
Şule Aydın
Seen from
Turkey
中年大叔控
Rеvеn
แอบเย็ดแนวครอบครัว
Seen from
Thailand
嫁晒し垢@山口
Seen from
Indonesia
little
Seen from
Spain
Elvelhaco
Seen from
United States
Trends for you
1
Austria
Under 10K tweets
2
Boots
Under 10K tweets
3
jungkook
Under 10K tweets
4
Vergil
Under 10K tweets
5
#PPxSTAKE
Under 10K tweets
6
#MyAdventuresWithSuperman
Under 10K tweets
7
#GCWWanted
Under 10K tweets
8
DR Congo
Under 10K tweets
9
Lo Celso
Under 10K tweets
10
Happy Birthday Elon
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.6M followers
2
Barack Obama
@barackobama
119.2M followers
3
Donald J. Trump
@realdonaldtrump
111.7M followers
4
Cristiano Ronaldo
@cristiano
110.4M followers
5
Narendra Modi
@narendramodi
107M followers
6
Rihanna
@rihanna
97.6M followers
7
NASA
@nasa
92.2M followers
8
Justin Bieber
@justinbieber
90.9M followers
9
KATY PERRY
@katyperry
87.6M followers
10
Taylor Swift
@taylorswift13
81.4M followers
11
Lady Gaga
@ladygaga
72.9M followers
12
Virat Kohli
@imvkohli
69.8M followers
13
Kim Kardashian
@kimkardashian
69.7M followers
14
YouTube
@youtube
68.7M followers
15
Bill Gates
@billgates
63.8M followers
16
Neymar Jr
@neymarjr
62.5M followers
17
The Ellen Show
@theellenshow
62.4M followers
18
CNN
@cnn
61.9M followers
19
X
@x
60.8M followers
20
Selena Gomez
@selenagomez
60.7M followers
Olivia
Online
✨
⭐
💫