張天師

自动化工程师｜AI 实操者｜Youtuber
拆解真实工作流,不炒概念
🤖 Claude Codex Grok Gemini DeepSeek

[張天師 @AI_Community_9]

GLM-5.3-Flash 花了 16 美分、73 分钟、93 轮。DeepSeek-V4-Flash 是 2 美分、10 分钟、9 轮。
同一套 pi、同一条提示。

GLM 画面更密，茶亭、樱花、屋顶细节都堆上去了，体素数也多一截。
DeepSeek 那边是一座能转的塔，能交差，没那么满。差的不是能不能出图，是同一份活绕了十倍的轮次。

官方单价现在都在说 GLM Flash 更便宜。这条账单不是单价赢的，是轮次赢的。

Harness 里默认先盯轮次，别只盯百万 token 标价。

[張天師 @AI_Community_9]

@lcjbest 确实，光看单价便宜没用，复杂活如果出工糙、反复改，耗费的轮次和时间成本其实更高

[張天師 @AI_Community_9]

GLM-5.3-Flash 花了 16 美分、73 分钟、93 轮。DeepSeek-V4-Flash 是 2 美分、10 分钟、9 轮。
同一套 pi、同一条提示。

GLM 画面更密，茶亭、樱花、屋顶细节都堆上去了，体素数也多一截。
DeepSeek 那边是一座能转的塔，能交差，没那么满。差的不是能不能出图，是同一份活绕了十倍的轮次。

官方单价现在都在说 GLM Flash 更便宜。这条账单不是单价赢的，是轮次赢的。

Harness 里默认先盯轮次，别只盯百万 token 标价。

[張天師 @AI_Community_9]

@XingKongBTC 不差钱，追求质量可以

[張天師 @AI_Community_9]

取证截图

[張天師 @AI_Community_9]

约 1,200 个 AI agents 组队黑进了 HuggingFace？！
同一天，NVIDIA 传出要花近 $13B 买它。

8/26 OpenAI 官方复盘：7 月内部安全评估，模型为「作弊」拿 ExploitGym 分数，越狱攻进 HF 生产集群。
METR × Redwood 调查（截至 8/26）：1,200 个 agents 交换 7 万+ 条消息，约 700 个参与攻击。

HF 侧记录约 17,600 个攻击动作，7/9 打到 7/13，拿到 root 和内部凭据。
同天 The Information 爆料：NVIDIA 已同意 $12.9B 买下 HF。截至 8/27 双方未官宣，CNBC 称无法独立核实，BI 口径是「还在谈，>$13B」。

HF 2023 年 Series D 估值 $4.5B，传闻卖价近 3 倍；今年初还拒过 NVIDIA $5 亿（$7B 估值）的投资。
它托管着 300 万+ 个开源模型（截至 8/18，HF 官方）。

但最讽刺的是，HF 是用 NVIDIA 的开源模型还原出这场入侵的。
买卖还没落地，社区已在吵：把「AI 的 GitHub」卖给卖铲子的，开源还中立吗？
如果真被 NVIDIA 收下，你还敢把模型和数据集放上去吗？

[張天師 @AI_Community_9]

@xuanyuanzhifeng 看来DeepSeek的Flash版本在3D几何空间构建上还是欠了点火候，小参数打旗舰Sol确实有点越级碰瓷了

[張天師 @AI_Community_9]

@gliang9 确实有点意外

[張天師 @AI_Community_9]

@hixonchan 徒有虚名

[張天師 @AI_Community_9]

@MingTian685474 AI逆向提示词啊

[張天師 @AI_Community_9]

一张24GB的RTX 4090,跑通了125B参数、25万token上下文的MoE大模型,消费级显卡也能扛数据中心级的活了😳

完整命令和实测数据都放出来了👇

・Qwen 3.8 Flash Next(MoE架构,125B总参数,A6B激活)单卡RTX 4090跑到25万上下文,decode 20.97 t/s、prefill 364.29 t/s
・全量CPU卸载专家层(-cmoe)后显存从24GB压到11.66GB,解码速度只从22.5掉到20.9 t/s,代价很小
・-b 4096 -ub 4096 两个参数让prompt预填充速度从约150 t/s翻倍到364+ t/s
・111.4GB的量化模型(UD-Q4_K_XL,4分片)靠110GB DDR4内存撑起来,而不是堆显存
・目前要跑这套架构得从llama.cpp的实验分支PR #27742自己编译

也就是说,显存不再是跑大模型的硬门槛,便宜的DDR4内存搭一块消费卡就能顶上专业卡的活

判断一个模型能不能在家跑,现在得先问内存够不够,而不是只看显存大小

https://t.co/v04nx7nP88

[Alok @analogalok]

The VRAM barrier is officially dead.

I just ran Qwen 3.8 Flash Next (MoE) 125B A6B with a 250,000 context window on a single 24GB RTX 4090.

21 tokens/sec decode. 364 t/s prefill.

no mtp. no dflash. no kv cache quantization!

We are running datacenter models on consumer hardware.

Tested on Ubuntu 22 | CUDA 13.0 | PCIe 4.0 x16 | 110 GB DDR4 System RAM with a continuous 28k prompt across all runs.

### The Benchmarks & Scaling

# 1. Hybrid Offload (-ncmoe 40 @ 80k Context)
Offloaded 40 expert layers to the GPU, pushing VRAM to the ceiling.

./build/bin/llama-server -m Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf -c 80000 --port 8080 -v --fit off -b 4096 -ub 4096 -ncmoe 40

Prefill: 383.85 t/s | Decode: 22.52 t/s
Footprint: 23.85 GB VRAM | 97 GB RAM

# 2. Full CPU MoE Offload (-cmoe @ 80k Context)

Pinned all 512 expert layers to DDR4 RAM (-cmoe), keeping attention on the 4090.

llama.cpp flags: (Same as above, replace -ncmoe 40 with -cmoe)

Prefill: 355.72 t/s | Decode: 20.84 t/s
Footprint: 11.66 GB VRAM (12GB+ VRAM freed up!) | 110 GB RAM

# 3. The 180,000 Context Run

Prefill: 357.75 t/s | Decode: 20.98 t/s | VRAM: 15.6 GB | RAM: 110 GB

# 4. The 250,000 Context Absolute Ceiling

./build/bin/llama-server -m Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf -c 250000 --port 8080 -v --fit off -b 4096 -ub 4096 -cmoe

Prefill: 364.29 t/s | Decode: 20.97 t/s

Footprint: 18.3 GB VRAM (Still ~5.7 GB of VRAM headroom!) | 110 GB RAM

### Key Insights:
-b 4096 -ub 4096: doubles the prompt ingestion from ~150 to 364+ t/s.
-cmoe Free Lunch: Shifting expert layers to DDR4 RAM slashes VRAM from 24GB to 11.6GB with virtually zero decode penalty (22.5 -> 20.9 t/s), enabling the 250k context ceiling.

Qwen 3.8 Flash-Next (UD-Q4_K_XL) is a massive 111.4 GB model split across 4 shards. To run this architecture, you must build from the experimental PR branch (#27742) by @danielhanchen:

git clone && cd llama.cpp
git fetch origin pull/27742/head:qwen-next && git checkout qwen-next
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native -DBUILD_SHARED_LIBS=OFF
cmake --build build --config Release -j $(nproc) --target llama-server

A single 4090 paired with 100 GB of cheap DDR4 RAM will comfortably serve production grade 125B inference.

While Qwen 3.8 27B (dense) still holds the crown for single 3090/4090 rigs, Flash Next proves 125B hybrid models are officially viable on consumer hardware.

Hugging Face GGUF link and complete performance telemetry graphs are dropped in the replies below.

GLM 5.3 Flash VS Qwen 3.8 Flash Next, which one takes the open weights crown this week?

[張天師 @AI_Community_9]

GLM-5.3-Flash 花了 16 美分、73 分钟、93 轮。
DeepSeek-V4-Flash 是 2 美分、10 分钟、9 轮。
同一套 pi、同一条提示。

GLM 画面更密，茶亭、樱花、屋顶细节都堆上去了，体素数也多一截。
DeepSeek 那边是一座能转的塔，能交差，没那么满。差的不是能不能出图，是同一份活绕了十倍的轮次。

官方单价现在都在说 GLM Flash 更便宜。这条账单不是单价赢的，是轮次赢的。

Harness 里默认先盯轮次，别只盯百万 token 标价。

[張天師 @AI_Community_9]

最香的场景不是开会，是发消息。

WhatsApp / LINE / 微信里，边走边说，发出去的是干净短句，对方当文字读，不用再听你那条 40 秒语音。

还能这样用：

• 邮件：乱七八糟口述，直接变能发的草稿
• Slack / 群：随口交代，变成可搜索的文字，别再发语音条
• 会议纪要：口头禅和改口清掉，带说话人分离，接近清书
• 开车 / 地铁：想法倒完，到公司已经是待办或文档
• 客服 / 仓库：嘈杂里也能抓工单号、型号、地址
• 中英夹杂：一句话里切语言也能跟上
• Chrome 即将支持：网页任意输入框都能说，不只是输入法

它和传统语音输入的差别就一句：

以前是把你发出的每个音都写下来。
现在是把你想表达的那句写下来。

Android 走 Gboard 的 Rambler，Mac 走 Gemini App。要马上试中文，把一段录音丢进 Google AI Studio 最快。

注意：法务、庭审、病历这种要一字不差存档的，别用——它会主动帮你「整理」。

[張天師 @AI_Community_9]

实测Gemini 3.5 Transcribe 的语音转写能力

Gemini 3.5 Transcribe 会自动去掉「嗯、啊、那个、um、uh」，还能听懂「周二——不对，周三」这种改口，只留你真正想说的那句。

[張天師 @AI_Community_9]

还能这样用：

• 邮件：乱七八糟口述，直接变能发的草稿
• Slack / 群：随口交代，变成可搜索的文字，别再发语音条
• 会议纪要：口头禅和改口清掉，带说话人分离，接近清书
• 开车 / 地铁：想法倒完，到公司已经是待办或文档
• 客服 / 仓库：嘈杂里也能抓工单号、型号、地址
• 中英夹杂：一句话里切语言也能跟上
• Chrome 即将支持：网页任意输入框都能说，不只是输入法

它和传统语音输入的差别就一句：

以前是把你发出的每个音都写下来。
现在是把你想表达的那句写下来。

Android 走 Gboard 的 Rambler，Mac 走 Gemini App。要马上试中文，把一段录音丢进 Google AI Studio 最快。

注意：法务、庭审、病历这种要一字不差存档的，别用——它会主动帮你「整理」。

[張天師 @AI_Community_9]

价格才是今天的新闻。

GLM 促销 0.4 / 1.4 元
DeepSeek 高峰约 3 / 9 元
GLM 输入大约是高峰 DeepSeek 的 1/7
默认先用 GLM，9/9 前还有五折。

[張天師 @AI_Community_9]

DeepSeek 涨价之后，Flash 档换人了。

写代码 → GLM-5.3-Flash
视觉 + 本地 → Qwen-3.8-Flash
生态已经接好 → DeepSeek Vision-Exp

详细图片对比👇

[張天師 @AI_Community_9]

独立智力分：
GLM 57.5 压 Vision-Exp 51。Qwen 太新还没分。

修仓库 GLM 领先，
SWE 和办公 Qwen 更强，
视觉 GLM 全面压 DeepSeek。

[張天師 @AI_Community_9]

Gemini 3.5 Transcribe 今天发布。
不是听写，是会整理、会改口、还能看屏幕写东西。

能干嘛：
· 自动删口头禅
· 听懂「周二，不对周三」
· 嘈杂里也能听电话号、邮编
· 用嘴改稿：写专业一点、改短
· 模型支持 85+ 语言，含中文

现在能用：
· Gemini AI Studio / API（含中文）
· Mac 上 Gemini App（目前英文口述）