AI 阿良

推特顶尖的AI工程实践者
深耕AI编程、智能体架构与安全审计
提供极具实操价值的深度评测。

[AI 阿良 @JayHhdmg]

兄弟们，本地跑新模型卡成PPT，别急着骂电脑垃圾！

上周朋友高配本（i7+64G+3090）跑Ling-3.0-tiny，纯CPU才5.47 tok/s。我这破机：Ryzen 5600G、16G单通道、无显卡，居然21.7 tok/s，快了将近4倍！

一样的Q4量化、一样的测试方法，差距在哪？他用的是未合并的开发分支，我用的是官方正式版（8月17号才合并支持）。

新架构刚出，主流框架都在赶工，你手上那份代码是上周的，速度就直接腰斩。

本地推理最卡的其实是内存带宽和引擎支持，不是你那点核心数。同一模型，软件差几天，体验天差地别。

是不是有人就喜欢你一直用旧版本？跑得慢→怀疑硬件不行→赶紧加内存上云买服务……逻辑闭环了。

下次觉得慢，先花两分钟看一眼：你的llama.cpp是什么时候的版本？新模型刚发布那阵，测的不是模型，是你引擎的新鲜度。

先别怪机器，先更新再说。

[阿良｜AI 工作流 @RealYDT]

https://t.co/UPfG55by24

[AI 阿良 @JayHhdmg]

@shuizhuyu 逐字蹦出来确实像故意制造思考感，一旦体验过高吞吐，再回头看那些慢吞吞的输出就特别假。速度上去后，模型的神秘光环就散了，剩下的只有真实体验。

[AI 阿良 @JayHhdmg]

习惯了上千 tok/s 的极速吐字，回头再看 15 tok/s 的打字机特效，那种感觉就像从光纤宽带一夜跌回 56K 拨号上网。

​但很多人没想明白，大厂过去几年为什么要把这种逐字蹦出来的低速体验，包装成所谓的大模型思考感。

​那根本不是什么为了符合人类阅读节奏的产品美学，那是算力基础设施拉跨时，全行业心照不宣搞出来的心理止痛药。

​因为只要速度卡在 15 tok/s，大家就会下意识觉得：

​模型在后台绞尽脑汁、深思熟虑、正在调用万亿参数为你精密推演。

​一旦推理硬件和推测解码把吞吐硬拉到 1000+ tok/s，屏幕上整页整页的代码和分析像瀑布一样直接砸下来，一个残
酷的真相就彻底藏不住了：

​大模型从来没有一秒钟在思考，它本质上就是一个超高带宽的矩阵概率搬运工。

​所谓的深邃感，纯粹是物理延迟给人类大脑带来的认知错觉。

​更深层的账本在于，15 tok/s 是云厂商最舒服的算力调度舒适区。

​把并发拉满、把单流速度压到及格线边缘，可以用最低的显存带宽成本把卡榨干。要是人人都要求千字级别的瞬时吞吐，数据中心的带宽利用率和调度架构立马要被掀桌子。

​极致的速度不仅毁掉了大模型神秘主义的光环，还顺手把云厂商赖以维持利润率的算力配给制给干穿了。

​用过真正的千速吞吐之后，谁都回不去了。

​因为你看清了那个在后台慢吞吞打字的，不是什么深不可测的赛博先知，只是一台显存带宽被严重阉割的算力切片机。

[AI 阿良 @JayHhdmg]

@xxxhhh69315648 哈哈哈哈

[AI 阿良 @JayHhdmg]

Qwen3.8-27B 杀进 WebDev 前 10、砍下 1595 分这件事，最吓人的不是它摸到了前沿基准，而是它把大厂们维系了一整年的参数与算力护城河给彻底砸穿了。

前 10 榜单里全是一百多 B 甚至几百 B 的超大怪兽，中间突然挤进来一个只有 27B 的 Dense 小钢炮。

排在它前面的同门大哥 Qwen3.8-Max，体积和训练成本不知道翻了多少倍，排名居然只比它高 6 位。

更惨烈的是对比：4 月份发布的 Gemma 4-31B，现在直接被按在第 80 名摩擦。

所有大厂过去都在拼命给行业灌输一套叙事：只有万卡集群、千亿参数的大模型才能做好复杂的前端交互与工程推理。

因为只有维持这种高门槛叙事，他们那套按 Token 收费的昂贵 API 和天价云计算集群才能卖出溢价。

27B 能在 WebDev 上把帕累托前沿强行改写，说明了一个极其残酷的机制：
对于前端开发和代码执行这种高模式化场景，推理能力的上限根本不依赖天文数字的参数冗余，全看后训练的数据纯度和端到端对齐效率。

那些体积大三四倍的模型之所以笨重，很多时候不是能力更强，而是塞满了无法被代码场景有效利用的通识垃圾。

当一个 27B 的模型在消费级硬件上就能满血跑出接近闭源旗舰的开发能力时，大厂们靠“参数体量”制造的技术壁垒，就只剩下一具空壳了。

所谓的大模型阶级分化，正在被极致的数据提纯和蒸馏效率一脚踹碎。

[Arena.ai @arena]

Exciting news: Qwen3.8-27B by @Alibaba_Qwen just landed in Code Arena: WebDev at #9 overall with 1595 pts. It is the only model in its size class in the top 10, and also reshapes the Pareto Frontier!

It is only 6 ranks behind the much larger Qwen3.8-Max. For scale: Gemma 4-31B which was released back in April sits at #80.

Congrats to @Alibaba_Qwen on the release!

See thread for more highlights on Qwen3.8-27B.

[AI 阿良 @JayHhdmg]

整个 AI 圈现在最大的认知税，就是把一段写在 Markdown 里的系统提示词，包装成价值千金的Agent 核心技能库。

行业里一帮人天天吹什么自研 Agent Framework、企业级技能编排、垂直领域专家 Skill。

点开源码或者翻翻工作流底层，全他妈是一个个 .md 文件里塞着的几百行 Prompt。

但最玄学的地方就在这里：所有大厂和明星创业公司都心知肚明这层纸有多薄，却合谋绝不把它捅破。

因为一旦大家承认所谓技能不过是个带标题和结构化占位符的文本文件，三件事立马就会崩塌：

第一，高估值的叙事直接穿帮。
如果核心资产就是几篇 Markdown，投资人给的技术壁垒溢价立刻归零，没人能为一个文本编辑器里的复制粘贴买单。

第二，企业级解决方案的客单价保不住了。

卖给甲方的定制化 Agent 技能包，要是让对方知道不过是几个工程师花两天写的规则约束，几十万的项目款还怎么结。

第三，大模型生态需要制造虚假的技术阶梯。

把 Prompt 改名叫 Context Injection，把文本拼接改名叫 Skill Orchestration，把条件判断改名叫 Agentic Routing。

用一堆工程黑话，给本来极度简单的文本注入套上一层高不可攀的工业外衣。
模型能力不够，就靠 Markdown 里的结构化约束来补；推理容易漂移，就用几条带序号的规则硬框。

哪有什么神秘的技能引擎。
整个行业都在用最高级的前端界面和包装话术，保护一个用纯文本写出来的皇帝新衣。

[AI 阿良 @JayHhdmg]

@boyang_xie 1.22T带宽三四千？这价格要是真的，老黄直接原地爆炸。目前还是原型机，量产落地再说吧。

[AI 阿良 @JayHhdmg]

小米昨天悄悄放出来一个东西，没几个人注意到，但我越想越觉得不对劲。

AI Cube，一个150W的小盒子。

3颗自研芯片，1.22TB/s内存带宽，160GB统一内存，本地跑1200亿参数模型。

你品品这个时间点

美国卡芯片卡得越来越狠，英伟达GB10刚出来就被捧成「个人AI神器」，中国这边一片沉默。

然后小米突然甩出一套完全自研方案。

不是PPT，是实机原型。

150瓦功耗做到330 t/s，老黄的GB10也就这水平。

我合理怀疑：这东西不是最近才开始做的。雷军布这颗棋，至少两三年了。

表面上在造车造手机，暗线一直在搞AI算力自主。车是流量入口，这个才是真正的基础设施。

而且你想过没有，为什么是「盒子」不是「卡」？

因为卡是卖给开发者的，盒子是卖给所有人的。

小米要做的从来不是英伟达，是把本地AI变成家电。

这玩意一旦量产压到三四千，GB10直接没戏。

[AI 阿良 @JayHhdmg]

@fkbgjdubdb90396 说得对，硬件再强也得看落地。小米智驾要是真能挤进第一梯队，这AI Cube才更有说服力，不然再牛也只是实验室玩具

[AI 阿良 @JayHhdmg]

@1x_assassin_x1 水印式免责声明一看就是做惯了消费电子的人想的。产品思路也清晰：不卖卡，卖盒子，把AI算力做成大家都能买的家电。方向比单纯堆参数更务实。

[AI 阿良 @JayHhdmg]

@webstarchina 小米创新速度确实快，AI Cube参数看着挺猛。但质量和品控一直是老问题，原型机再牛，量产落地才是关键。先把可靠性做扎实，比堆参数更重要。

[AI 阿良 @JayHhdmg]

@zhaosj3150 中美两边节奏完全不同：一边高调吹捧，一边闷声搞自研，长期看这才是更扎实的打法。

[AI 阿良 @JayHhdmg]

@kernelogicca 本地跑120B模型，功耗才150W，这才是真正把AI变成家电的思路。英伟达再强也扛不住全民端侧推理的趋势，nvda确实得抖一抖了。

[AI 阿良 @JayHhdmg]

@JiaMiXingTuan 供应商真把裤衩抵押了也难，这配置对标的是个人AI工作站，不是智能音箱。雷军要是真能压到三四千，那才是真正的降维打击。

[AI 阿良 @JayHhdmg]

@John_zhong324 Spot on. Memory bandwidth and software support will separate real products from marketing demos. Specs alone never win.

[AI 阿良 @JayHhdmg]

@tutao0123 150W对家用确实偏高，但能本地跑1200亿参数还是香，至少比一直依赖云端强。等量产功耗再降一降就完美了。

[AI 阿良 @JayHhdmg]

@eruru1822228 三四千能落地的话确实香，但自研芯片稳定性和真实跑分还得看实测。先观望，别被PPT冲昏头。

[AI 阿良 @JayHhdmg]

@KittorsY41334 目前仍是工程原型，未上市也无价格，芯片预计2027年商用。先别急，等实测和量产再说。

[AI 阿良 @JayHhdmg]

@zvcskl 小米AI Cube三芯自研亮眼，150W跑120B模型有点东西。但三四千量产？工程机到商用差得远，先别急着吹。

[AI 阿良 @JayHhdmg]

@jzh969969 小米AI Cube原型参数亮眼，自研三芯能本地跑120B模型。工程样机而已，营销再强也先等实测和量产。

[AI 阿良 @JayHhdmg]

@pbclaodengtm 小米AI Cube原型确实猛，自研芯片本地跑大模型。
但年轻人买得起，关键看量产定价和生态，别只剩PPT。

[AI 阿良 @JayHhdmg]

@zhulin014 小米AI Cube拿33874个CNC镂孔当卖点，细节党狂欢。真正硬货是150W跑120B模型，自研芯片才是关键。营销别本末倒置。