francis ling

[francis ling @francisling]

## 性能：跑了三轮才敢下结论

第一次跑出 decode 73.2，反而**低于**单卡的 75.9——因为差异可疑，我复跑了一次，结果是 **77.6**。这说明本机 decode 的运行间噪声有 **±3~5%**，单次读数不能当结论。取两轮均值：
| 指标 | 解锁前 | 单卡 | 双卡均值 | 相对基线 |
|---|---|---|---|---|
| decode tok/s | 69.2 | 75.9 | **75.4** | **+9.0%** |
| prefill 4K tok/s | 782.9 | 889.5 | **897.2** | **+14.6%** |
| prefill 32K tok/s | 1275.6 | 1483.3 | **1502.8** | **+17.8%** |
| 32K TTFT | 21.10s | 18.14s | **17.91s** | **−15.1%** |
| 2 并发聚合 | 58.6 | 63.5 | **64.8** | **+10.6%** |
| needle 32K | HIT | HIT | HIT | 正常 |

[francis ling @francisling]

按照这个解锁的2080ti双卡，对运行strata的qwen-flash-next的prefill有将近20%的提升，decode基本不变。https://t.co/koDUjhLBg4

[francis ling @francisling]

@Michaelzsguo 嘉立创表示很有意思…

[francis ling @francisling]

@yangleiocx3 赞，制作精美！

[francis ling @francisling]

@benderyu1 @coldniko @mhelcig experts in vram is zero? Better check the setting, it’s supposed to much faster

[francis ling @francisling]

@coldniko You are incrediable!

[francis ling @francisling]

@mediastorm_en @MinLiBuilds 好吧，墙外也关注你了。抽我

[francis ling @francisling]

@vista8 大赞！

[francis ling @francisling]

@Jamesmv49 100多买一个老人机刷openwrt不香么…

[francis ling @francisling]

@servasyy_ai Qwen3.8-Flash-Next 这个可以生图，我才反应过来

[francis ling @francisling]

@MinLiBuilds 同期待😁

[francis ling @francisling]

@QingQ77 不错，挺好的。我一个老登得好好学习一下

[francis ling @francisling]

@yibie 有外置显卡的可以试试看，我看有人tinygrad + chestnut跑起来了

[francis ling @francisling]

@vibexed @0xSero 同感，thunderbolt只有40Gbps 吧，不会卡在这？

[francis ling @francisling]

@wingoffire 得意大利原厂水电工才能装好😅

[francis ling @francisling]

@fuxianyi 善莫大焉

[francis ling @francisling]

@noahlt Really smart idea!

[francis ling @francisling]

@XiaWan27472 又是dictatorship vs democracy 二极管思维，没得救。还是个prof头衔？

[francis ling @francisling]

@realWeZZard 主要是现在内存贵啊

[francis ling @francisling]

@Yintinusa 非常幸福的体验