lsaac128

在 Mac mini 上跑本地模型、写开源工具。

[lsaac128 @lsaac1208]

今天盯了几条本地向：NVIDIA 开源 Nemotron 3.5 Bolt E4B（约 8B/激活 4B、Q4≈4GB、64K），工具调用向——对 32GB mini + Qwen3.8-27B 更像轻量侧车，别急着换主模型。另有 TensorFold 在 Apple Silicon 上做字节级一致推测解码，M5 Max 上 27B 4-bit 数字很猛，值得跟现 llama.cpp+MTP 对照试。Qwen 4 的 27B 开源信号还在泄露阶段，权重没落地先别动栈。

https://t.co/WQfV9LcOMq
https://t.co/vkg5KY418V

[Frank @cryptosibbers]

TensorFold: exact speculative decoding on Apple Silicon. Drafted output is byte-identical to serial decoding, yet measured substantially faster on real Mac hardware.

• M5 Max (128 GB), Nemotron 3.5 Lightning 4-bit: 188–206 tok/s vs ~138 tok/s for mlx_lm (short answers with thinking). Holds 175–162 tok/s at 20k–60k context.
• Qwen3.8-27B 4-bit + DFlash2 on M5 Max: ~189 tok/s on code vs ~26 tok/s without drafts. Independent tests show 2.5–3.7× over other engines using the same drafter.
• M5 Ultra (256 GB) community runs (Qwen3.8 Flash Next variants): 148–189+ tok/s decode across 1k–64k+ contexts; prefill often 2k–3k+ tok/s. Concurrent 8-stream Qwen3.8-27B: ~1.84× vs llama.cpp (~160 vs ~87 tok/s).
• Two M5 Ultra Mac Studios over Thunderbolt 5 (speed-up/split): ~1.2–1.5× decode and 1.7–1.8× faster prefill from ~8k tokens on large models (e.g. Flash Next), remaining token-identical. Prefill can reach several thousand tok/s combined.
• Nemotron variants have hit 200+ tok/s peaks in-engine with MTP; prefill patches have delivered ~10% gains on M5 Ultra while preserving exactness.These numbers turn Mac Studio’s unified memory advantage into usable, deterministic local inference speed.

There is too much to list, but a formal conversation really needs to start to take this where it can go.

https://t.co/aHePPbMYUk
@shshnkp @ashxhart

[lsaac128 @lsaac1208]

@xingzhounotes 好问题。我这台 32GB mini 日常是 Qwen3.8-27B Q4 + llama.cpp；Agent 在跑时浏览器和微信一般还能用，但开大上下文或多开截图工具时会明显抢统一内存，切页会顿一下。

装栈复盘会专门记一栏：Agent 负载下前台 App 还舒不舒服（内存水位、风扇、卡顿感），有实测再贴数字。

[lsaac128 @lsaac1208]

我在 Mac mini（32GB）上跑本地 AI，会持续写实战笔记 + 圈子里值得跟的新闻。

当前栈：Qwen3.8-27B Q4 · llama.cpp + MTP · 32K
目标：能稳定 tool-call / Agent，而不是只刷 tok/s

这周会更：装栈复盘、引擎对照、以及本地模型圈里的新东西。
有同样在 Apple Silicon 上折腾的，欢迎互关。

[lsaac128 @lsaac1208]

本地 AI 圈三则（对 32GB Mac mini）：

微软 Mage-VL ~4B 能看屏点鼠标，可当旁路动手 Agent，别替 27B 主栈。
Memdoor：5×同款 27B 协作更强——多机编排比换更大单模有戏。
Herbert 称可比 mlx-lm 快约 31%；我仍主跑 llama.cpp+MTP。

主模型不动，引擎有空再测。
https://t.co/WNgJasKckJ
https://t.co/OAA5a63vzk

[ChainDuck @_Chain_Duck_]

Microsoft released a 4B open-weight AI that uses your computer. It scores 66% on OSWorld-Verified. Humans: 72.4%

In Microsoft's demo, one spreadsheet task took 39 seconds. A 27B model, clicking only, needed 9 min 56 s

Send this to the friend who lives in Excel.

[lsaac128 @lsaac1208]

@nikosolenne 看起来真不错，学习了

[lsaac128 @lsaac1208]

@aehyok 老马牛逼

[lsaac128 @lsaac1208]

@CrazyKaomei 学习了，额度恢复就来试试

[lsaac128 @lsaac1208]

@DesertCamelX 蹭蹭流量

[lsaac128 @lsaac1208]

效果图：

[lsaac128 @lsaac1208]

HardwareStatus
macOS 菜单栏硬件状态面板：CPU、内存、GPU、温度、风扇、磁盘与网络，以及占用最高的进程。
•卡片式原生面板（分组卡片 + 彩色指标 + 圆角大数字），系统弹层材质
•状态栏默认：CPU · 内存 · 温度 · 网络（实色高对比文字）
•数据：macmon + 系统 API；无 Daemon
•锁屏 / 休眠停采；关面板时不扫进程
当前版本：1.9.1

https://t.co/QFecW2NVgt

[lsaac128 @lsaac1208]

@airoxoo 来了

[lsaac128 @lsaac1208]

快来看看你的个人 AI 智能体 Muse 。在加入后的 48 小时内通过“设置”兑现我的邀请码，我们就能分别获得 10 亿个 Muse 词元。

邀请码：GNJOYK
https://t.co/XtjqlXa58g

[lsaac128 @lsaac1208]

有人需要muse邀请码吗？
评论区互助

[lsaac128 @lsaac1208]

Claude永远的神

[lsaac128 @lsaac1208]

@Bengz168 GNJOYK

[lsaac128 @lsaac1208]

@peko1487584 加油

[lsaac128 @lsaac1208]

乐鑫的mosaico还是不错的，有点好玩