Wei

Home AI lab: 2× DGX Spark + RTX PRO 6000
Local LLM deploy · tuning · benchmarks · OSS contributor
本地大模型部署调优｜AI 工具实测教程

[Wei @wei_wang]

我真的在家里装了一个数据中心。

Rackmate T1 机柜里放着两台 DGX Spark，再加一台 M4 Mac mini。

256GB 统一内存，TP=2，接近 Opus 的性能。

这几位随时都能听我调遣：

GLM-5.3-Flash EXL3
Qwen3.8-Flash-Next
DeepSeek V4 0731 Flash

没有机房噪音，没有五小时限额，也不会按 token 从银行卡里匡匡扣钱。

只有机柜、网线和电费。

它们随时接受我的命令，不会因为地区、账号和额度突然拒绝工作，也不会把我的代码、数据和隐私送上云端。

Codex 何时 reset 跟我无关，不用跪求 Tibo。
Claude 何时封号跟我无关，不用看 Dario 脸色。

可以把专注力集中起来， build 自己的东西。

模型出错了我自己修，机器和数据都掌握在自己手里。

从今天起，我的 AI 跑在自己家里。

[Wei @wei_wang]

视频生成快赶上实时了。

pi-H3 把 MiniMax H3 压到 2 步出片，最后一步直接吐像素，连视频 VAE 解码器都省了。单张 B200 上，5 秒 768p 带音频的视频 3.8 秒生成完，比视频本身还短。

权重和推理代码说是 11 月 16 到 22 号放出来，到时候我想拿 RTX PRO 6000 跑跑看。

[Hansheng Chen @HanshengCh]

Introducing pi-H3⚡, the fastest MiniMax H3 yet. 10 s of 768p video with audio generated in 9.2 s on a single B200.

How we did it:
Direct pixel output in 2 or 4 steps, no video VAE decoder.

Blog: https://t.co/z9LJ7cWW7t
App: https://t.co/haaESsn6nN

@StanfordAILab @LumaLabsAI

[Wei @wei_wang]

真的很魔幻 Duo出来这么久

苹果官方的 Apple Store 都还没适配

真的 only Apple can do

[Wei @wei_wang]

老板看完亚马逊拿一个决策模型换掉 Sonnet 4.6、一年省下几百万的新闻，当场拍板。

老板：年终考评也交给它，一人一个选项，留还是走。
我：它确实只输出 1 个 token，比 Sonnet 便宜 98%。
老板：那还等什么。
我：有个问题。亚马逊自己写了，同样的内容，JSON 的键换个顺序，概率能差 0.19。
老板：什么意思。
我：员工名单换个排序，走的人就换了一批。

老板想了想，让 HR 把名单按工资从高到低排好再交上去。

[Wei @wei_wang]

原帖：https://t.co/J93oAXx5jw

[ata @atasrb]

Tencent's SGLang plugin for the DSpine draft needed FA3, and the GB10 in a DGX Spark has no FA3, so I patched it to use Triton.
Qwen3.8-27B on one DGX Spark now gets 33 tok/s on JSON and 31 on code, against 23 with DFlash2 and 4.5 with no draft.
Its 16-token blocks win on structured text but lose on prose: 8 tok/s on stories, against 10 with DFlash2.

[Wei @wei_wang]

一台 DGX Spark 跑 Qwen3.8-27B，开对草稿模型，JSON 能到 33 tok/s，不开只有 4.5。

腾讯给 DSpine 草稿模型做的 SGLang 插件要 FA3，GB10 没有 FA3，原本跑不起来。换成 Triton 的补丁出来以后，Spark 上也能用了。

同一台机器，几种跑法，单位 tok/s。

1. 不开草稿，4.5
2. DFlash2，23
3. DSpine，JSON 33，代码 31

DSpine 一次猜 16 个 token，结构化的文本猜得准。写故事这种散文反而更慢，DSpine 8，DFlash2 10。

所以草稿模型要按任务挑。写代码、出 JSON 用 DSpine，聊天写文章还是 DFlash2。

[Wei @wei_wang]

Tom's Hardware 长测：https://t.co/fStsEHVBiD

[Wei @wei_wang]

两台 DGX Spark 现在要 1.5 万到 2 万美元以上。我当时一台 4,499 买的，两台不到 9,000。

Tom's Hardware 今天发了 M5 Ultra Mac Studio 对 Spark 的长测，价格是文里写的。他们测的那台 4TB Dell GB10，一台已经 1 万。Mac Studio 那套配置 12,300。

结果分成两头。

1. Qwen 3.8 27B 这种小模型，Mac 跑完 AgentPerf-Local 的时间不到一台 Spark 的一半，耗电少约 16%
2. DeepSeek V4.1 Flash，Mac 用 llama.cpp 读最长的上下文要 10 到 25 分钟，两台 Spark 用 TensorFold 不到 5 分钟
3. GLM-5.3 Flash，prefill 两台 Spark 全面领先，生成是 Mac 快。Mac 换成 TensorFold 后，生成比 llama.cpp 平均快 3 倍

他们的建议是，专门为本地推理花 1 万以上，现在买两台 Spark，因为模型和引擎的支持更全。

我这两台用 TensorFold 跑 GLM-5.3-Flash，单路 62.2 tok/s，4 路并发合计 104.6。按现在的价再买一套，要多花一倍。

[Wei @wei_wang]

TensorFold 要接进 ComfyUI 了。第一步是 GB10 上的 MOSS Image 采样器，跑在 TensorFold 自己的 CUDA worker 上，视频随后。

PR 已经提到 ComfyUI 仓库，还是草稿，在等合并。我两台 DGX Spark 跑 GLM-5.3-Flash 一直用 TensorFold，合进去以后出图也能用上。

[Ash Hart @ashxhart]

TensorFold is coming to @ComfyUI. 🔥

I posted about wanting to integrate TF into ComfyUI, and they replied, "Let's talk".

We're starting with an experimental MOSS Image sampler on GB10, using TensorFold's native CUDA worker. Video will be coming shortly.

Huge thanks to the amazing Comfy team. I'm really excited to push this further.

PR:
https://t.co/TPkL9fXL9p

[Wei @wei_wang]

项目：https://t.co/8UYQUVzAQk
发布帖：https://t.co/21A8yOPPQ1

[Wei @wei_wang]

完整的 GLM-5.3，755B，现在能在 4 台 DGX Spark 上跑了。8 台机器、256K 的代码提示，单路生成 52.6 tok/s。

引擎叫 ExpertAtlas-GLM5.3，是从 TensorFold 1.0.2 改出来的非官方分支，一条 Docker 命令启动。

它特别的地方在专家怎么存。19,200 个专家按被选中的频率分成 2 到 5 bit，常用的给更多位，同样的内存装下整个模型，跑的过程中还能重新调。

作者公开的数字，256K 代码提示，单位 tok/s。

1. 8 台：prefill 约 1,470，DFlash2 单路生成 52.6，8 路并发加 MTP 84.5
2. 4 台：prefill 约 1,010，DFlash2 单路生成 40.7，8 路并发加 MTP 59.2

4 台不用交换机，ConnectX-7 线直接连成一个环。到 8 台才需要交换机。

我手上是两台，装不下这个。按这个方案，完整版 GLM-5.3 起步就是 4 台。

[Wei @wei_wang]

@Zila_Lava 说不定也有潜力呢

[Wei @wei_wang]

一台 Mac Studio 加一张 RTX 5090，用雷电扩展坞连起来当一个推理引擎，跑 Qwen3.8 Flash-Next 单路约 210 tok/s。

项目叫 Apple NVIDIA Sidecar，11/8 刚开源。机器是 M5 Max 64GB，5090 装在扩展坞里，权重用的是 NVIDIA 官方的 FP4 版本。

同一个模型，别人公开过的数字大概是这样，测法各不相同，只能看个量级。

1. 一台 DGX Spark 约 43
2. Jetson AGX Thor 约 47
3. M4 Max 峰值约 83
4. 5090 加 128GB 内存的 PC 跑 NVFP4，114 到 116
5. 72GB 的 RTX PRO 5000，中位 159

短板作者自己列得很清楚。

1. 8K 提示的 prefill 约 1,900 tok/s，好一点的 PC 能到 3,900 以上
2. 一次只服务一个会话，1 到 16 路冷启动，总输出一直在 61 tok/s 左右
3. 雷电链路实测单向 6.79 GB/s，反向 5.53，标称 7.88
4. 驱动是作者本地改过的，没放进仓库

想复现，得先自己把驱动搞定。Mac 和 N 卡拼起来跑同一个模型，这条路算是有人走通了。

[Wei @wei_wang]

Hypit 做的是广告克隆。把竞品跑得最好的那条广告和自己的产品图丢进去，它会按你的产品重做一遍，再生成 100 个版本，换人、换场景、换语言。

做电商的，素材测试的成本能降不少。难的还是挑哪条竞品广告值得学。

[Hypit AI @hypitai]

We just killed Higgsfield Ad Multiplier.
Meet the world’s #1 viral ad cloner.

Drop in your competitor’s best-performing ad and a photo of your product. Hypit rebuilds it around your product, then generates 100 variants with different people, scenes, and languages.

Key Point:
Arcads: $110 / month
Higgsfield: $59 / month
Creatify: $55 / month
Hypit: FREE 🌟
Website: https://t.co/A8n7E0juhA
GitHub: https://t.co/YjjrQBN5Hf

Clone your competitor's best ads with your AI agent. Examples in the comments 👇

[Wei @wei_wang]

@cxjwin 哇 这么快

[Wei @wei_wang]

树莓派 5 的 16GB 版涨到 385 美元了。刚发布时是 120，今年 4 月涨到 305，不到两年涨了三倍多。

内存涨价已经压到最便宜的板子上。NVIDIA 7 月也给 Jetson 模组和开发套件涨过价，最多涨了 101%。

我两台 DGX Spark 买的时候一台 4,499。11/7 亚马逊上第三方新机挂 8,199，多了八成多。

Micron 预计内存紧缺至少到 2028 年，SK 海力士说可能要到 2030 年。

按这两家的说法，等内存降价再买大内存的机器，至少要等到 2028 年。

[Wei @wei_wang]

更新说明：https://t.co/B09TpAHK60

[Wei @wei_wang]

Claude Code 升到 2.1.321，之前选的 Fable 5.1 会自动换成 5.2。Pro 和 Max 马上换，Team 和 Enterprise 等组织开放后再换。

想留在 5.1，用 /model claude-fable-5-1 切回去。

这版还修了几处权限问题，在用的建议更新。

1. MCP 服务器做重定向时，OAuth 会把 refresh token 发到别的主机
2. 只读的 Bash 命令有时跑在沙箱外，也不弹确认
3. cp 或 mv 进目录写出的文件，deny 规则管不到

[Wei @wei_wang]

@cxjwin 🤣

[Wei @wei_wang]

CTO 周日晚上发的值班表

1. 23:00 全员盯 Hugging Face，听说 Qwen 4 27B 今晚 11 点发
2. 23:05 为了给新模型腾显存，先把线上那张卡的服务停了
3. 23:40 还没发，继续刷新
4. 00:10 有人查到消息来源，原文是 sources close to my heart
5. 00:15 线上服务重新拉起来，KV 缓存全没了，客户的长对话从头 prefill

周一复盘，CTO 的结论是下次多腾一张卡。

今晚他又发了一张值班表。

[Wei @wei_wang]

Fable 5.2 上线，价格比 5.1 低，输入每百万 token 8 美元，输出 40 美元，生成最多快 30%。

这周付费订阅多送 1 到 3 次 Fable 重置，Claude Code 2.1.321 起默认就是 5.2。

[Claude @claudeai]

Introducing Claude Fable 5.2 and Claude Mythos 5.2, designed to tackle the most daunting technical challenges.

They’re capable collaborators on ambitious projects in many fields, and show improvements in areas like coding, reasoning, and vision.

[Wei @wei_wang]

仓库和数据：https://t.co/M7YRv5CTi5
宽步设计和实测：https://t.co/CJjvTKIrly

[Wei @wei_wang]

4 台 DGX Spark 跑 DeepSeek V4.1 Flash，一个人用，聊天约 82 tok/s。16 个人同时用，不同的提示，总共 380。

这组数据来自 pico-dgx-ds4，是 dsgx10 这个 GB10 专用引擎的分支。4 台机器 TP4，走 200G RoCE 交换机，上下文开到 1M。

作者公开的几档负载，单位 tok/s。

1. 1 人聊天 82，写代码 144
2. 8 人不同提示，300
3. 16 人不同提示，380
4. 16 人相同提示，438
5. 8 个 agent，每个带 80K 到 300K 上下文，260 到 266

同样 16 人相同提示，上游版本是 177。

先说为什么人多了总量能涨。decode 每出一个 token，都要把权重从内存读一遍。单人时一步约 18.6 ms，其中 14.3 ms 花在读权重上，每台机器跑到约 234 GB/s，Spark 标称是 273。

一个人用，这次读取只换来一个 token。16 个人一起算，读一遍权重能给 16 行用。

MoE 模型这里要多算一笔账。每个 token 走自己的专家，16 个人选的专家不一样，一步要读的是所有人用到的专家的并集。

并集涨得比人数慢。16 个会话每人 1 到 4 行，每层用到的专家是 48、70、87、99 个。16 行的一步约 63 到 68 ms，MoE 占 37.5 ms。

相同提示比不同提示高约 15%，原因也在这里。大家选的专家和草稿都一样，并集小，草稿也能共用。

投机解码在多人时还有个上限。原来一步最多 16 行，8 个会话时每人只能带 1 个草稿。agent 场景的草稿接受率很高，实测 1,247 个里收了 1,143 个，约 92%，行数不够反而浪费。

作者把一步放宽到 64 行。超过 16 行的步改用 prefill 的矩阵乘，专家并集只读一次。按作者的模型测算，每行成本从 16 行时的 3.63 ms 降到 64 行时的 1.94 ms。

16 人相同提示从 177 到 438，是这样一步步加上去的。

1. 16 个槽位，4 个能放 1M，12 个放 128K，234
2. 16 行矩阵向量乘少做一次归一化，草稿行数在会话之间共享，259
3. 按批次重排专家路由，296
4. 一步放宽到 48 行，350
5. 放到 64 行，草稿一次过完，重新拟合开草稿的成本门槛，438

代价也写得很清楚。第 3 步的专家重排是有损的，默认不开，靠 75 题质量评测把关，这版得分 71 到 73，门槛 70。宽步和原路径有 1 个 bf16 ulp 左右的差别。

单人那边，作者试过放宽草稿接受，聊天到了 102.8。11/9 又撤掉了，理由是输出必须逐位一致。现在单人跑的是精确路径。

多人共用一套本地机器，主要省的是重复读权重的时间。MoE 模型能省多少，要看大家用到的专家重叠多少。