Mount

[Terry @RichTerry123]

对于普通人来说大概就这六种：在股市里赚钱最好的方法。
第一种，是等大跌，买指数。
平时什么都不做，该上班上班，该生活生活。
只用闲钱，等到市场出现那种“股灾式”的大跌，再买入宽基ETF。
不用选股，一次行情赚个30%-40%是可能的。

第二种，是专注一两只股票，反复做波段。
找到一两只你认为真正值得投资的股票，永远保留现金。
涨的时候卖一点，跌的时候买一点，来回做，目标是把成本一路做低，甚至做成负数。

第三种，是攒股收股息。
买入那些股息率能到5%左右的国企、央企，在它们跌透时买进去，然后拿着吃分红。
就像有朋友买公路股，本来只想每年拿4%的利息，结果遇上行情，股价还翻了一倍。

第四种，是看懂周期，反向布局。
远离现在炒上天的板块，去找那些没人关注的、低估的板块。
比如2022年，大家都在追光伏、医药、白酒，有朋友那时布局跌了几年的银行股，现在市值已经翻了一倍。

第五种，是价值投资，等好公司打折。
说白了就是“数月亮不数星星”，只买龙头公司。
等它们因为市场情绪被打到极度便宜时，分批重仓买进去。你的目标不是赚几个点，而是等它价值回归，赚两倍、三倍甚至更多的钱。

第六种，是赚企业成长的钱
这是比较有难度的，
就是去投那些市值还小、但前景很优秀未来可能翻几倍甚至几十倍的公司
这需要你对行业有深刻的理解，
就像“数星星”，考验的是你超级的选股能力

这六条路，每一条都能走通，
关键不是知道，
而是选一条适合你自己的，
然后坚持下去

[Lucy L. @LucyBuilding]

https://t.co/ioD5S59MkH

[Mount @keepRuner]

@FeiyanXie @wangwatchworld 背景音乐是什么

[Asa @app_sail]

https://t.co/zr7WQaKdbs

[pdawg @prathamgrv]

We just released CUDA puzzles on @TensorTonic. Write CUDA C++ kernels and run them against real tests on a free GPU hardware. No local setup, no GPU rental needed. Open to everyone.

[Art of Speculation @ArtofSpecuycky]

我是怎么分析一只股票和大盘的
很多人问我选股和判断市场的逻辑是什么。
今天把框架写出来。
不复杂，就五个维度：基本面、技术面、消息面、情绪面、期权结构。
单独看任何一个都容易出错。五个维度放在一起，信号才有说服力。

第一层：基本面
这是最底层的东西。
一家公司值不值得关注，先看它在做什么、钱从哪里来、护城河在哪里。
我不会去算DCF模型，但我会关注几个核心问题：这家公司的收入是真实的还是靠叙事支撑的？毛利率在扩张还是在收缩？有没有真实的大客户订单和长期合同？资产负债表健不健康，有没有被债务压着？
基本面好的公司，在技术面出现买点的时候，才值得重仓。基本面差的公司，再好的技术形态也只是短线博弈，不适合拿。
对于不同的行业还要有不同的判断和分析方式，研究透产业链里的每个环节，看sell side研报，专家演讲和访谈，投研机构发布的文章等等。

平时我也会看一些大师的思考方式来加入自己的判断，比如说peter thiel，巴菲特，芒格，费雪，段永平。
然后要看这家公司有没有定价权。
彼得·蒂尔说过，商业世界只有两种公司——有定价权的垄断型公司，和没有定价权的完全竞争型公司。航空公司收入很大，但一百多年来累计利润几乎为零，因为票价完全由竞争决定。谷歌可以涨广告价，客户没有选择。定价权才是利润真正的来源。
护城河决定定价权能不能持续。专有技术、网络效应、规模经济、品牌——能堆叠越多越好。
段永平选股看三件事：Right Business、Right People、Right Price。好生意、好管理层、合理价格，三个条件同时满足才值得重仓。
财报里最值得关注的几个数字：毛利率超过40%说明有定价权，净利率超过20%说明真实盈利能力强，现金大于负债说明财务健康，留存收益持续增长说明护城河真实存在，CapEx占净利润低于25%说明是轻资产好生意。
芒格看财报不只看数字，他更在意护城河是在扩张还是在收缩，以及管理层分配资本的方式。他有一个反转思维：与其问这家公司为什么能成功，不如先问什么情况下它会失败。找不到失败的理由，才是真正的好公司。
买股票买的是未来现金流的折现。蒂尔做PayPal估值时发现，公司约75%的价值来自未来10年以上的预期现金流。护城河决定现金流的持续性，定价权决定现金流的质量，管理层决定现金流怎么被分配等等。

第二层：技术面
基本面告诉你买什么，技术面告诉你什么时候买。
我主要看几件事：
1. 趋势方向。Higher high higher low是多头结构，反之是空头结构。趋势没有改变之前，不要逆势。
2. 关键支撑和阻力。前高、前低、均线密集区，这些是主力筹码集中的地方，突破或者跌穿都有意义。
3. 均线结构。5日、20日、50日、200日线的排列方式，反映短中长期的多空力量对比。多头排列是5日在20日上方，20日在50日上方，50日在200日上方，方向一致向上。
4. 成交量。放量突破才有效，缩量突破要小心。真正的主力进场一定会留下成交量的痕迹。
技术面是用来确认的。价格已经在说话，你只需要听懂它在说什么。

第三层：消息面
消息面是催化剂。
同样的基本面和技术面，有催化剂的时候走得更快，没有催化剂的时候可能横很久。
我关注几类消息：
1. 财报和业绩指引。超预期的财报能打开新的估值空间，不及预期会直接摧毁技术面。财报前后是最容易出现大波动的时间窗口。
2. 产业链的重要事件。大客户签约、行业政策转向、竞争格局变化，这些往往是股价重新定价的起点。
3. 宏观层面的关键数据。PCE、CPI、非农、美联储会议，这些直接影响资金的风险偏好和估值的分母端。利率上升压缩高估值成长股，利率下降则相反。
4. 地缘政治和突发事件。油价、美债收益率和地缘风险直接挂钩，消息面对这些资产的影响最快最直接。
消息面是用来判断当前市场的主要矛盾是什么，以及市场是否已经提前定价。

第四层：情绪面
情绪面是最容易被忽视、但往往最有用的一层。
我主要看两个指标：
1. AAII散户情绪调查。看多和看空的比例告诉你市场的情绪结构。看空比例极高、看多比例极低的时候，往往是逼空行情的燃料在积累。真正危险的顶部通常是看多比例一边倒到44-45%以上，所有人都在追，没人觉得有风险。现在距离那个位置还很远。
2. Fear & Greed指数。这个指标反映的是市场的整体贪婪和恐慌程度。极度恐慌区域是买点，极度贪婪区域需要谨慎。但单独看这个数字没有意义，要结合其他维度。
情绪面的核心逻辑是：行情不在悲观中结束，也不在恐慌中结束。真正的风险是所有人都乐观的时候。
散户越悲观，空头筹码越多，逼空力度越大。这个反直觉的逻辑，往往比任何技术形态都更有预测价值。

第五层：期权结构
这是很多人没有在看的一层，但它往往是最聪明的钱在说话。
我主要关注几件事：
1. Gamma敞口分布。主力筹码堆积在哪个行权价，那个位置就是价格磁铁。正Gamma区间里做市商会逢跌买逢高卖，自然压制波动顺势推高。负Gamma区间里做市商会追涨杀跌，波动会放大。
2. 大单异动。期权市场里出现的大额单笔成交，尤其是远月的Call或Put，往往是机构在做方向性押注。花几百万买远月Call的人，通常知道一些别人不知道的事。这类信号不是100%准确，但值得关注。
3. Put/Call比率。这个反映市场整体的对冲需求，极低的时候说明市场在裸奔没有保护，极高的时候说明恐慌情绪过度。
期权结构是用来理解主力资金的意图和市场的潜在路径。

五个维度怎么用
这五层不是独立的，要放在一起看。
最理想的买点是：基本面扎实、技术面出现突破或者回踩支撑、有催化剂、情绪面偏悲观、期权结构偏多。五个维度共振，信号最强。
如果只有一两个维度支持，仓位要轻。如果多个维度同时发出警告，要么减仓要么出场。
没有任何一个维度是万能的。基本面好的公司短期也可以大跌，技术面突破也可以假破，消息面也可以被市场提前定价。
但五个维度放在一起，犯错的概率会小很多。

总结
分析市场和个股是在不确定性里找到概率更高的方向，然后用仓位管理控制风险。
看得越全面，判断越立体，胜率才越高。

大家还有什么好的分析方式，欢迎在评论区里讨论。我也还有太多需要学习的地方，虚心请教。

#投资框架 #选股方法 #技术面 #基本面 #期权 #情绪面 #美股 #巴菲特 #芒格 #彼得蒂尔 #段永平

[睁眼boy @yuyue0832]

https://t.co/8zNk7HMKWG

[Z.ai @Zai_org]

https://t.co/jaOMnP7Yud

[小盖 @xiaogaifun]

讲 Harness 最透彻的一个演讲。

这应该是我看到过的、关于 Harness Engineering 最透彻的一次分享，推荐大家看一下。

视频链接：https://t.co/kxo2ZjvqKk

整场演讲就 20 分钟，IBM 的工程师 Tejas Kumar 用一个例子，挺巧妙的把 Harness 的价值讲清楚了，通俗易懂。

整场分享的观点其实就一句话，模型只是大脑，真正让 AI 进入真实世界工作的是 Harness。

这句话经常听到，但通过这个例子，能直接看出来为什么是这样。

把我的笔记分享出来，希望对大家有启发。

1
让一个没有怎么做 Harness Engineering 的 Agent 去给 Hacker News 上的帖子点 upvote。流程看起来非常简单。

打开链接，如果没登录就跳到登录页，登录后再返回帖子页面，点一下 upvote，任务结束。

但裸模型的 Agent 碰到登录页就不知道怎么办了。它搞不定登录，却稀里糊涂告诉用户任务已经搞定，upvote 成功。

实际上根本没点，Agent 撒谎了。去年大家但凡用过 Agent，一定碰到过类似的情况。

面对这个问题，把提示词写得再细，或者换一个更强的模型，都未必管用。问题在于这个 Agent 根本没有 Harness。

说到这里，顺带讲一下到底什么是 Harness。

其实可以这么理解，Harness 就是包裹在模型外面的一整套基础设施。一个完整的 Harness 一般包含下面这几部分。

1）工具注册表，决定模型能调用哪些工具。

2）上下文管理，控制哪些信息继续留在上下文里，哪些信息该压缩或丢掉。

3）护栏，给 Agent 运行过程设定边界，比如最多执行多少轮、最多调用多少次工具，或者遇到异常状态就立刻停止。

4）Agent Loop，让模型一轮一轮地观察、思考、调用工具、接收结果。

5）验证步骤，任务结束后核对结果到底有没有真的完成。

为什么需要这层东西？因为模型不像程序那样，给定输入就一定沿着固定路径执行。

它可能正常完成任务，也可能中途跑偏、忘记目标、误判状态，甚至任务都失败了还声称自己搞定了。

Harness 的作用，就是在模型外面加一层确定性的控制系统。哪些工具能调用，任务什么时候该停，上下文怎么压缩，结果到底算不算完成，都交给确定性的代码来管理。

像 Claude Code、Cursor、Codex 这些产品，都是 Harness 包裹起来的 Agent。它们之所以好用，不全是因为背后接的模型聪明，更因为外面这层基础设施做得比较到位。

2
回到刚才的案例。开始在 Agent 外面一层一层加 Harness。

先加两层最基础的运行控制。

一层是迭代上限。一个没有任何约束的 Agent，很容易陷入死循环。有时候碰到卡点，它会反复点同一个按钮，然后在一个死循环里绕不出来。

Harness 可以给 Agent 设一个明确的运行边界。比如执行轮数超过阈值，就直接中断，标记失败。这样至少能保证，一个失败任务会在可控成本内结束。

另一层是上下文管理。浏览器返回的 HTML 本来就长，几轮工具调用日志一叠加，上下文窗口很快就塞满了。

一旦塞满，Agent 就开始被自己的历史淹没，越往后越糊涂，连最初的目标都记不清。

Harness 可以定期压缩历史上下文，只保留对下一步决策还有价值的信息。这样就可以避免 Agent 因为上下文过长，被历史信息拖垮的问题。

加完这两层后，Agent 至少开始变得可控。但还有一个更关键的问题没有解决。它说任务完成了，这件事系统怎么才能确认是真的。

3
所以下一层的 Harness，就是要解决 Agent 结果验证的问题。

之前的流程中，Agent 跑完一圈任务回来说搞定了，系统也就默认任务真的已经完成。

但其实模型说自己完成，很可能是幻觉，跟它实际做了什么是两码事。

所以这层 Harness 要做的事，就是把判断权从模型的单一输出，转移到对真实执行记录的核查上。

在 Hacker News 的例子里其实很简单，加一层单独的验证逻辑就行。任务结束后，Harness 再跑一轮额外的验证，从执行过程中的工具调用历史里看一遍。

它访问了哪些 URL，点了哪些按钮，DOM 状态有没有真的发生变化。如果 DOM 变了，比如 upvote 按钮被点亮，任务就算成功。

如果没变，那任务肯定执行失败了，不管模型最后怎么总结。

这一步看起来简单，但其实是所有 Agent 必加的环节。模型自己说什么不重要，重要的是有一套任务是否完成的标准。

我知道，很多人面对 Agent 不靠谱的第一反应是模型不够强。但很多时候问题真不在模型。

再聪明的模型，只要没有一个机制去核对它到底有没有完成，这事就无解。

4
有了验证之后，再回头解决 Hacker News 登录的问题。前面那些 Harness 策略，不管是迭代上限、上下文压缩还是验证步骤，都是在给 Agent 本身加约束、加监督。

但登录需要 Agent 像人一样，真的可以输入用户名和密码，完成登录这一步。

具体做法是，Harness 在每一轮循环里，单独检查一下浏览器当前的 URL。如果发现当前页面进入了登录态，就不再把控制权交给模型，而是触发预先写好的登录逻辑。

这段逻辑完全不依赖模型推理，而是确定性的程序执行，从环境变量里拿账号密码，定位到输入框，填进去，点提交。

登录成功之后，把浏览器导回原来的页面，再把控制权交还给 Agent，让它继续做原来的任务。

整个过程，Agent 完全不知道发生了什么。它只是发现自己刚才在 A 页面，现在还在 A 页面，但身份状态变了，可以继续往下走了。

这个设计背后有一个很重要的认知，不是所有事情都该让模型来做。

模型适合处理开放问题。需要理解、判断、泛化的场景，它很强。但登录不是。

更准确的说法是，Harness 在这里做了一件事，识别出哪些场景是模型不擅长的，然后用代码把这些场景接管掉，做完之后再把世界恢复到模型能继续发挥的状态。

加上这一层之后，整个 Agent 终于能跑通了。同样的模型，同样的 prompt，没有任何改动，但它现在可以稳定地打开 Hacker News，跳到登录页，登录，回到原帖，点 upvote，确认完成。

从一个连登录都过不去的 Agent，变成一个能跑通完整流程的 Agent。

5
回过头看这四层 Harness，会发现一个挺有意思的事情。

第一层迭代上限，处理的是会不会失控。第二层上下文压缩，处理的是能不能跑完。

第三层验证步骤，处理的是有没有真的做成。第四层登录接管，处理的是哪些事情根本不该让模型自己做。

这四层加起来，做的其实是同一件事。用确定性的工程系统，去约束和支撑一个非确定性的模型。

这就是为什么模型是大脑，Harness 是身体这个说法成立。

模型本身只负责推理，但真实世界是一个由状态、权限、页面、网络和异常流程组成的系统。只有推理能力，是无法稳定进入真实工作流的。

Harness 做的，是把这些复杂性重新收敛成模型能够稳定处理的运行环境。

这个例子最值得琢磨的一点是，从头到尾，Agent 的模型没换，Prompt 没改，改的全是它外面的执行框架。

但 Agent 的表现，已经从一个连登录都过不去的系统，变成了一个能稳定跑通完整流程的 Agent。

这件事翻译过来就是，很多时候，真正决定 Agent 稳定性的，其实是 Harness。

模型进步当然重要。但很多 Agent 的问题，并不是模型能力问题。

更重要的是，Harness 不是玄学。它是一整套可以被拆解、被测试、被优化的软件工程问题。

[0xMarioNawfal @RoundtableSpace]

Great Resource to Learn Harness Engineering

https://t.co/JXR8k4FFUD

[Rohit Ghumare @ghumare64]

I loved this spec, so re-designed https://t.co/ijvIr4wMIv - very beautiful indeed.

[Macro_Lin @LinQingV]

之前做LLM推理芯片架构探索的时候，我把四大AI推理ASIC公司的架构都翻过一遍。Groq、SambaNova、Tenstorrent、Cerebras。前三家的思路虽然各有侧重，但底层逻辑都在同一个框架里：片上大SRAM + dataflow架构 + 确定性调度，核心差异在NoC拓扑、内存层级、编译器抽象这些维度上展开。

Cerebras是里面让我真正被震惊到的一家，而它却这四家里马上第一个拿到IPO结果的。

这家公司的选择比其他三家都激进一个量级：不做芯片，直接做整片wafer。

单颗WSE-3，21.5cm × 21.5cm的整片晶圆，90万个PE通过scribe-line stitching在物理上连成一片连续的silicon。这个工艺是Cerebras和TSMC联合定制的，把原本用于晶圆切割的窄条改造成跨reticle的金属导线，让所有reticle在物理上拼接成一整块芯片。（配图二展示了单颗WSE-3内部结构：左半边是整片晶圆的reticle网格和scribe-line拼接，右半边放大了单个PE的微架构。）

单个PE的结构极简：8-wide FP16 SIMD计算核，48KB本地SRAM直连，没有cache层级，所有数据访问都是确定性的单周期。加上一个5端口路由器（N/S/E/W + loopback），相邻PE之间的通信延迟也是单周期。关键在于，跨reticle边界的mesh在物理参数上和reticle内部完全一致，编译器和runtime完全不需要感知reticle边界的存在。

从LLM推理的视角看，这个均匀性的价值非常大。

LLM推理的瓶颈在decode阶段。每生成一个token，模型权重要被完整读取一次，计算量却很小，典型的memory-bound场景。GPU集群在这个环节的核心问题是数据搬运：HBM带宽有限，多卡之间还要经过NVLink → NVSwitch → InfiniBand → Ethernet四层互联，每一层带宽和延迟都差几个量级，编程模型必须显式处理每一层的拓扑边界。

Cerebras的做法完全绕开了这个问题。单片wafer内部fabric带宽27 PB/s，权重从外部的MemoryX存储集群通过SwarmX流入wafer后，在PE之间按数据流模式传播执行，同一套placement和routing算法跑遍整片wafer。（配图一展示了这个系统级架构：MemoryX参数存储集群到SwarmX互联fabric，再到底层最多2048台CS-3节点，权重广播和梯度规约的数据流方向一目了然。）

90万个PE各自带48KB SRAM，合计约42GB片上存储，每个PE对自己本地SRAM的访问是单周期确定性的，PE间通信每跳single-cycle，延迟和曼哈顿距离成正比。对于推理场景，前提是weight streaming的编译器能把权重有效地分配到对应的PE上，这42GB分布式片上SRAM的聚合带宽远超GPU的HBM方案，没有cache层级带来的访问不确定性，没有跨芯片搬运的开销。

回到我自己的体感。做推理芯片架构的时候，NoC拓扑和内存层级的权衡花了大量精力，因为芯片边界是硬约束，跨芯片通信的成本和片内通信之间永远存在断层。Cerebras的做法等于从片内通信的角度消除了这个断层，代价是整条制造和封装链都要重新定义。

这也解释了Cerebras的工程取舍。所有架构创新集中在wafer内部，scale-out方向直接复用100GbE + RoCE的以太网生态。wafer内27 PB/s对比跨CS-3的SwarmX在Tbps量级，几个数量级的差距全部交给商品化网络承担。推理场景下单wafer内部的带宽和延迟优势可以直接转化成token生成速度。

OpenAI选择和Cerebras合作做推理，从架构层面看逻辑是通的。大规模在线推理需要低延迟、高吞吐、确定性时延，这三点恰好是wafer-scale架构在片上通信均匀性方面的结构性优势。

但这套架构也有几个结构性的问题值得正视。

良率和成本是绕不开的。整片wafer做单颗芯片，任何一个reticle的缺陷都影响整体。Cerebras靠冗余PE和路由绕行来应对，但冗余比例和良率数据从未公开过。一片wafer的制造成本本身就远高于切割后卖单颗die的模式，叠加23kW、15U的单系统功耗和体积，部署密度和TCO在大规模推理集群的经济性上面临考验。

最关键的是KV cache的容量瓶颈。42GB片上SRAM看起来很大，但长上下文推理场景下KV cache随序列长度线性增长。以Llama 70B为参考，FP16下128K上下文的KV cache就要吃掉约40GB，即使做KV cache量化，长序列场景下的容量压力仍然显著。片上放不下的部分必须依赖MemoryX做外部存储，数据要经过SwarmX回传，这条路径的带宽在Tbps量级，和wafer内部27 PB/s的差距意味着长序列场景下decode速度会被外部带宽卡住。这可能是Cerebras在推理场景面临的最核心的架构约束。

[Nico投资有道 @tychozzz]

简单分享一下我目前正在定投的 5 支 ETF。

$SMH 这是一支半导体行业 ETF，英伟达、台积电、博通、AMD、英特尔这些都是它的核心持仓。看好 AI 基建产业链，那么做多上游的半导体是确定性最高的投资方案。

自从 ChatGPT 诞生、AI 科技革命爆发之后，SMH 三年多时间里已经上涨了 5 倍，远远超过大盘宽基指数。

叠加最近一年时间大科技资本支出持续上调的背景，确定性还是在 AI 上游基建层。而且拉长时间来看，只要 AI 需求还在，无论最后 AI 应用层是什么形态，半导体板块都会受益。

$DRAM 这是上个月初刚刚上线的一支内存存储板块 ETF，海力士、三星、美光、闪迪、西部数据都是它的持仓。投资逻辑是，在 AI 进入推理时代 Agent 时代之后，不只是缺 GPU 算力，HBM 也成为了 token 经济学的核心瓶颈，整个板块都会被重估。

不过目前内存存储 FOMO 情绪是 AI 基建中最高的，DRAM 上线后一个月时间里也涨了 40+%，长期看好的话可以开始定投，但也得考虑清楚过程中的回撤波动。

$BOTZ 这是一支机器人产业链 ETF，我印象中去年 10 月就开始一周一买了，不过它最近半年多时间一直都在横盘状态，整体收益率没有跑过美股大盘。

定投 BOTZ 就是为了提前布局人形机器人板块，它的兑现周期会很长，因为物理世界 AI 目前还没有被资本大规模炒作，也没有实际落地的具体时间表，不确定性很高，需要耐心。

最后是 $VOO $QQQ 这两支就不必多说了，VOO 是美股标普 500 大盘 ETF，QQQ 是纳斯达克 100 ETF，都是宽基指数。一键买入，长期定投，相当于长期做多美国的经济与科技行业。

这两只也是我的核心 ETF 压舱石仓位，没什么花里胡哨的逻辑，只要你相信美国在未来几十年仍然是全球经济和科技的龙头老大，那就可以把它俩当作退休基金去定投。

之后有时间我会做一期视频，再详细讲讲这些 ETF 的投资逻辑。

[maharshi @maharshii]

Recently, I have been diving deeper into torch compile internals especially for inference related graph optimizations with custom kernels and below are my findings/learnings:

Note that this is still a very high-level overview with lots of moving parts hidden behind the scenes. From what I understand the entire process of torch compile can be broken down into 5 stages.

1) Torch Dynamo: responsible for tracing the python bytecode and returning a fx GraphModule (gm). We can call it "functional graph module".
2) Pre-grad: this stage runs fx passes (both built-in and custom) on the gm before passing it to AOT autograd stage.
3) AOT autograd: this stage decomposes the unstable IR from dynamo+pre-grad stage into ATEN operations. ATEN is what pytorch uses behind the scenes. Ops like aten.addmm, aten.mul, and so on. It also builds and runs fx passes on the "joint" forward+backward graph if required (not necessary for inference only).
4) Post grad: this stage applies fx passes on the partitioned forward and backward graphs that come from AOT autograd stage.
5) Inductor codegen: this stage is still kinda a black box for me but I think it fuses ops in the graph, does autotuning, code generation and so on.

Within all these stages, we can ask the torch compile backend/inductor to apply our own fx passes using the "pre_grad_custom_pass", "joint_custom_pre_pass", "joint_custom_post_pass", "post_grad_custom_pre_pass", "post_grad_custom_post_pass" present in inductor's config. Here, we can edit the graph nodes (add, remove, update) to have custom fusions that inductor may not do for us. Try thinking of an example as an exercise :)

From a practical standpoint, if we wanted to have our own fx passes related to inference, the post grad pre passes (after AOT autograd, and before Inductor decomposition) is the best place to do it. At this point, we still have higher-level ATEN ops intact in the graph as nodes. For example, aten.addmm is not decomposed into aten .mm + aten.add here. To apply custom fx passes, we have two options:

> Pattern replacement: Inductor provides a nice helper that lets us define a pattern function and a replacement function using aten ops or custom torch ops. One caveat is that the pattern must be robust, even a small change and inductor won't replace it.
> Node surgery: We can search and edit the nodes in the graph directly. This is much more robust but it can get pretty hard for complex patterns.

This is not documented much but by leveraging what torch compile/inductor provides us, one can as much graph optimization as they want. Another thing that inductor provides us is, registering custom lowering for built-in aten ops but that is a whole another topic to discuss, maybe next time.

[Mount @keepRuner]

@HANg_g_ 上海哪里

[Paul @paulWilliamChan]

I wrote a matmul kernel on B200 in pure CUDA/PTX that beats cuBLAS by 6% at M=N=K=8192.

Inspired by @gaunernst's blog on Blackwell instructions with benchmarking done on @modal.

Blog: https://t.co/nifzaMdPJS
Repo: https://t.co/EKjrnCrp0z

[AVB @neural_avb]

https://t.co/iSAMvPA5eo

[Amit Shekhar @amitiitbhu]

https://t.co/9pOJyo0Jz7

[Yuan (Terry) Tang @TerryTangYuan]

Excited to share our latest blog post on how we're solving real-world LLM inference challenges at production scale, a collaboration between @RedHat_AI and Tesla engineering teams.

We hit the usual pain points: massive model weights choking storage, GPU cycles wasted on naive load balancing, infrastructure that fights you when nodes go down.

Our answer: KServe + @_llm_d_ + @vllm_project with prefix-cache aware routing.

The results: 3x more output tokens/sec and 2x faster time to first token.

Thanks everyone who've contributed to this successful adoption: Scott Cabrinha, Sai Krishna, Sergey Bekkerman, Nati Fridman, Killian Golds, Andres Llausas, Bartosz Majsak, Greg Pereira, Pierangelo Di Pilato, Ran Pollak, Vivek Karunai Kiri Ragavan, Robert Shaw

[AVB @neural_avb]

Damn this guy really wrote out this insane deep dive into Torch vs Tensorflow.

I love seeing such high effort articles on the TL. You get so much clarity about your thoughts writing long breakdowns like these. Kudos!