Rex Fan

[Rex Fan @RexFan11]

@wuzhige4pixel @wquguru 缺少类似 vllm、SGLang 这一类部署框架可选

[Rex Fan @RexFan11]

@0xkeenz 换句话说，m5ultra 的瓶颈是软件，一旦有主流引擎适配且大幅加快推理能力，毫无疑问会涨价

[Rex Fan @RexFan11]

@Tech2Wild M5 Ultra’s got crazy potential, no doubt.
But DGX Spark’s community optimization + CUDA ecosystem is just built different.
At least early on, the Sparks should still cook it — until Apple drops a proper new accel framework for their chips.

[Rex Fan @RexFan11]

@realWeZZard 这一代是真不卖大内存型号了

[Rex Fan @RexFan11]

@BoxMrChen DGX Spark 在我的工作流（mini max h3）里，有pro 6000 30%（720p工作流） - 45%（480p工作流） 的效率，现在价格还是合适的

[Rex Fan @RexFan11]

@Planckbot @LotusDecoder 我的单个 $200 订阅在2天之内跑完周限额。如果是本地worker + 只需要高级模型做计划���30刀左右的订阅就可以度过一周，而且没有限额、降智的焦虑

[Rex Fan @RexFan11]

Earlybenchmark results scaling DeepSeek V4 Flash to 4× DGX Spark (TP=4, Anchored-Tensors), fine-tuned directly on top of @MiaAI_lab
Tested on real-world production prompts (not synthetic repeat/c ounting loops, 2,584 tps perfill):
• 1 stream: 78.9 tps
• 2 streams: 127.2 tps
• 12 streams: 268.8 tps(sustained avg, with burst peaks hitting ~350 tps)

[Rex Fan @RexFan11]

@riba2534 @jakevin7 之前领了的就在，没绑定的就没了

[Rex Fan @RexFan11]

@LotusDecoder codex流口水了，没给你找到对的价格

[Rex Fan @RexFan11]

@skaas777 @LeonLRedfield 1.5w是amd的小盒子，dgx spark一直在2.2W+。不过那时候没人买，注意到本地ai部署的应该都去买5.5w的rtx pro 6000了

[Rex Fan @RexFan11]

@momiji_manjyuu 4x Spark + 1x RTX 6000 @ 64 tok/s decode + 1,650 tok/s prefill on glm 5.2

[Rex Fan @RexFan11]

@xieenze_jr Amazing! Does it also works on gb10 or sm120?

[Rex Fan @RexFan11]

@LotusDecoder 1. 你没考虑输入的价格，我自己的项目里输入是输出的10倍
2. 模型在变聪明的同时价格也在变贵，DGX spark 刚发布的时候你只能跑更便宜的模型，完全没有回本的可能
3. 即使只考虑输出价格，6并发也能达到150tps，甚至有300+tps的峰值，你可以重新算一下回本周期

[Rex Fan @RexFan11]

@LotusDecoder 看上去你只算了输出的价格，输入（包括缓存输入）的价格算了么？

[Rex Fan @RexFan11]

@MiaAI_lab wow