迅丶

[迅丶 @lll_1412]

@AI_Ghost_Lab @xueyu1125 我看到最低 的有 4090 24g 显存+128G 内存，20+tps。
或者 128g 的 macos 或者 一台 dgx spark 刚好极限。

[迅丶 @lll_1412]

@TSLAFanatic @nacyotKim OMLX를 사용해고 MTP 등의 최적화 기능을 활성화해보세요. 제 M4 Max 128GB 모델에서는 Q4 모드에서 50~60TPS, Q8 모드에서는 30TPS 이상을 기록할 수 있었습니다. M5 Ultra라면 그 수치가 두 배로 늘어날 것 같아요.

[迅丶 @lll_1412]

已下单，莫辜负🥹

[迅丶 @lll_1412]

手慢了，要等三个月🥲

[Lexi 勒西 @lexi_labs]

正常人的顺序是：思想 -> 语言 -> 行动。

正确的顺序是：反过来。

— 《与神对话》

[Reva Huai 归淮 @RevaHuai]

被塑造的人：思想→语言→行动
自我塑造的人：行动→语言→思想

你若要有什么真正谈得上算是自己的东西、自己的语言、自己的思想，非要行动不能得到
这些东西一定是从你的生命体验中得来的

有意思的是《与神对话》
你是相信有一个超越的神来指导你吗？让它降给你思想、赐你语言，用于指导你的行动。
那这些东西究竟是神给你的还是那些传教士给你的呢？还是因信称义

我喜爱斯宾诺莎意义上的自然神
它存在于万事万物之中，你要在行动中揭示自然的道理，见到它的结构。

[Wei @wei_wang]

Qwen3.8-27B 又出现了一个很值得测试的新量化。

这次是 QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4。

1. 它和普通 NVFP4 有什么区别

常见 PTQ 会在模型训练完成后，直接把高精度权重压成低精度。

QUASAR 使用 Quantization-Aware Distillation，让量化模型在 NVFP4 状态下继续向原始 BF16 模型学习。

这次用原版 Qwen3.8-27B 作为 Teacher，一共训练了 2446 Steps，希望在压缩体积的同时保留原始行为和能力。

2. 这次量化得有多彻底

Qwen3.8-27B 一共有 496 个 Linear Layers。

QUASAR 把 496 个全部量化成 NVFP4 W4A4，包括 Self-Attention、Gated DeltaNet 和 MLP。

普通 NVFP4 通常会把 Attention 和 GDN 保留在 FP8 或 BF16，因为这些部分压到 4-bit 后很容易掉能力。

Unsloth 版本只有 168/496 个 Linear 使用 NVFP4，Inferact 版本为 304/496。

QUASAR 这次直接做到 496/496。

3. 模型体积

原始 BF16 为 55.6GB。

QUASAR NVFP4 为 19.7GB。

Unsloth NVFP4 为 23.4GB。

Inferact NVFP4 为 26.4GB。

相比 BF16，QUASAR 版本缩小了约 64%。相比其他 NVFP4，也能多留出几 GB 显存给 KV Cache、并发和推测解码。

4. 质量损失

模型作者公布的测试里，QUASAR 在 GPQA-Diamond 上得到 0.9091，原始 BF16 为 0.9141。

AIME26 两者都是 1.0000。

Unsloth NVFP4 的结果分别是 0.8939 和 0.9778，Inferact 为 0.8763 和 0.9667。

这些结果只覆盖两个 Benchmark 和有限次数，暂时不能代表所有 Coding、Agent、Vision 和长上下文任务。

但从现有数据看，这个 19.7GB 全量 NVFP4 的确保留了非常接近 BF16 的能力。

5. 运行要求

目前官方确认支持 vLLM 0.27 及以上版本，不需要额外转换。

它要求支持原生 FP4 的 NVIDIA Blackwell GPU，Compute Capability 10.0+。

RTX 5090、RTX PRO 6000 等 Blackwell 设备最适合测试。旧架构显卡无法获得同样的 NVFP4 加速。

6. 为什么值得关注

这可能是目前体积最小、质量最接近 BF16 的 Qwen3.8-27B NVFP4 Checkpoint 之一。

对 32GB 显存设备来说，模型只有 19.7GB，剩余空间终于可以认真分配给长上下文、Vision、Draft Model 和更多并发。

我们之前在 RTX PRO 6000 上使用的也是 Qwen3.8-27B NVFP4。

接下来很想把 QUASAR 和现有版本放进同一套 SGLang、Hermes 和真实 Agent 任务里，看看更小体积究竟能不能带来更多 KV Cache 与并发，同时保持工具调用和长程任务稳定性。

量化竞争已经从“谁压得更小”，进入“谁能把整个模型压到 4-bit，还几乎不掉能力”的阶段。

[迅丶 @lll_1412]

@mingliu1244777 @LotusDecoder 现在顶配256G就已经8.7万了，512G应该要贵4万左右,起步12万

[迅丶 @lll_1412]

@Michaelzsguo 用 omlx，大上下文 prefill 1000+tps，输出 50+tps，风扇都不带响的。
还有 mtplx，虽然能到 70-80 的输出，但是风扇嗡嗡响。
我是 m4 128g，m5 应该还会快个 10-20%。

[LimboAI @limbopeng]

分享一些做 iOS ，使用 SwiftUI 开发的一些 skill，绝对好用：

1、Appllama/appllama-skills — 让 AI 学会「抄」爆款 App
Appllama 本身是一个头部畅销 App 的设计库（收录真实界面、流程、UI 模式 + 收入/下载量数据）。这两个技能把该库变成 Agent 的工作方法论。

2、emilkowalski/skills — 动画品味天花板
Emil Kowalski 是前 Vercel / Linear 的设计工程师，Sonner（著名 toast 库）作者，https://t.co/hIlCMu9zWy 课程作者，这套技能把他多年的专家经验清单化。

3、twostraws/SwiftUI-Agent-Skill — 原生 SwiftUI 纠错器
作者： Paul Hudson（twostraws），Hacking with Swift 创始人，Swift 社区最有影响力的教育者之一。这个SKILl是基于他数千小时的真实 SwiftUI 项目经验，直接瞄准 LLM 在 SwiftUI 里实际会犯的错误。

[迅丶 @lll_1412]

@mud_so 商业化和知识普惠又不冲突，担心的是书呆子会赚钱了吧😂

[迅丶 @lll_1412]

错过了 pro6000，只能退而求其次😭

[迅丶 @lll_1412]

@NoraX2026 如果把 AI 当成游戏：
用着 3 万的电脑，
每月充值 200 美元点券，
最后享受了满满的情绪价值。

[小鹏Digital @RocM301]

哈哈哈哈哈哈

[迅丶 @lll_1412]

@zhngjiw74682678 @lun060530 那个人捡了只受伤的猫，想救治，问医生流浪猫是否有优惠。
医生的意思是，他的钱不如花在自己家猫上，为陌生的猫花 2000 不值。

[Ramin Nasibov @RaminNasibov]

aquarium in keyboard

[Leafborn @LeafbornGame]

日本の皆さん、こんにちは!僕が一人で作ってるゲーム『Leafborn』です🌿
- 1万枚の葉でできた形のないキャラを操作
- 新しいフォームを発見して変身
- 悪いロボを切り裂いて倒す
気になったらSteamで「Leafborn」と検索、またはプロフのリンクから!ウィッシュリスト登録よろしくお願いします!

[Nathie @nathie]

This guy created a VR experience that literally lets you tear down reality.

[CJ Zafir @cjzafir]

If you love fine-tuning open-source models (like me), then listen.

> Start with 1B, 2B, 4B, and 8B models. (Don't start with a 27B model or bigger at first.)

> Use WebGPU providers. I use Google Colab Pro for any model smaller than 9B. A single A100 80GB costs around $0.60/hr, which is cheap. Enough for small models.

> Don’t buy GPUs unless you fine-tune 7 to 10 models. You'll understand the nitty-gritty in the process.

> Use Codex 5.5 × DeepSeek v4 Pro to create datasets. Codex to plan, DeepSeek v4 Pro to generate rows.

> Use Unsloth's instruct models as a base from Hugging Face. Yes, there are others too, but Unsloth also provides fast fine-tuning notebooks.

> Use Unsloth's fine-tuning notebooks as a reference. Paste them into Codex, and Codex will write a custom notebook with the configs you need.

> Spend 1 day learning about:
- SFT (supervised fine-tuning)
- RL training (GRPO, DPO, PPO, etc.)
- LoRA / QLoRA training
- Quantization and types
- Local inference engines (llama.cpp)
- KV cache and prompt cache

> Just get started. Claude, Codex, and ChatGPT can design a step-by-step plan for how you can fine-tune your first AI model.

Future tech is moving toward small 5B to 15B ELMs (Expert Language Models) rather than general 1T LLMs.

So fine-tuning is an important skill that anyone can acquire today.

Tune models, test them, use them. Then fine-tune for companies and make a career out of it. (Companies pay $50k+ to fine-tune models on their data so they can get personalized AI models.)

Shoot your questions below. I'll be sharing in-depth raw findings about this topic in the coming days.

[Daniel Beauchamp @pushmatrix]

This website is tearable.