bamanzi

a software developer, fond of python, emacs, firefox, code analysis, and hiking & sci-fi (star trek, doctor who, PKD & Asimov)

[bamanzi @bamanzi]

想把virtualenv挪到另外一个目录，但scripts目录下自动生成那一堆exe（比如transformers-cli.exe/vllm.exe）不太好办，因为virtual env的根目录已经写到了exe里面。

在gist网站找到了一个脚本可以处理这个，实测好使(那几行 .xsh 不知道是什么后缀，我注释掉了）：
https://t.co/AwOeoVRtRn

[bamanzi @bamanzi]

@threadreaderapp unroll

[老林永生 @thomaslim2019]

我下面给你吃

“饿不饿？要不下个面给你？”是个内地TVB老梗。

它之所以是个梗，是因为内地观众觉得这句话的重复出现是不自然的。可能是某些地区没有这个习惯才会觉得怪。在广东/香港文化里，这是很日常的一回事、理所当然出现的一句台词，并不唐突。

儿子失意，妈妈心疼又帮不上忙：“饿不饿？要不做个面给你？”

你失恋喝醉回来，室友爱莫能助：“饿不饿？要不做个面给你？”

夫妻吵架，吵完了又不好意思马上恢复常态模式，老婆黑着脸问：“饿不饿？要不做个面给你？”

三更半夜，天寒地冻，不是真亲人谁从暖被窝里爬起来帮你做面？所以：

如果日本人曲线表达爱意会说“今晚月亮很美！”

那么香港人版本就是“我下面给你吃！”

[bamanzi @bamanzi]

@riverleaf88 时代真的变了，我在B站弹幕里看到有人解释一个汉字可能占4个字节。这是没错的，UTF-8编码里，有些汉字就是4个字节。但是xx后基本上都会告诉你是3个字节，因为他们的头脑还停留在字符集很小的时代……

[bamanzi @bamanzi]

@threadreaderapp unroll

[sridhar @RamaswmySridhar]

Early results from the @snowflake's coco team on GLM-5.2 vs Opus-4.7 on dbt-bench — what the trajectories actually show 🧵

[bamanzi @bamanzi]

@threadreaderapp unroll

[深度狮 @DeepMindLion]

codebase-memory-mcp 与 CodeGraph 均为本地代码知识图谱工具，都是为了解决 AI 编程助手在大规模代码库中因频繁读取文件而产生的 Token 高额消耗问题。

通过预先解析代码并构建调用关系图，它们使 AI 仅需极少量 Token 即可精准掌握代码全貌，从而实现 90% 以上的成本缩减。

二者的核心差异在于：是追求底层驱动的极致性能，还是侧重生态的广泛兼容与功能的完备性。下面是 codebase-memory-mcp VS CodeGraph 详细对比：

[bamanzi @bamanzi]

@threadreaderapp unroll

[Tw93 @HiTw93]

https://t.co/6NC4pAcg1N

[bamanzi @bamanzi]

@threadreaderapp unroll

[LinearUncle @LinearUncle]

刚才在codex里干活走神的时候，突然在思考一个问题：
目前哪个榜单对模型的agentic编程能力的评测最权威？

研究了一圈，我认为是datacurve公司的DeepSWE榜单。

为什么？GLM-5.2多少分？大概是什么水平？
看下面我研究的内容。

[bamanzi @bamanzi]

@threadreaderapp unroll

[Charlie O'Neill @oneill_c]

1/ We fine-tune a lot of customer models, so we decided to systematically try and figure out some best practices for finetuning. SFT isn't sexy, but it's still important. We vary one SFT lever at a time across 2 model families, dense + MoE to 235B, on 4 real-world customer datasets.

What makes this clean is that each dataset is paired with an eval that took weeks to build with the customer, and the training outputs were generated to pass that eval. So the supervised target and the thing we measure downstream are the same criterion, which strips out the usual confounders

[bamanzi @bamanzi]

@threadreaderapp unroll

[OpenRouter @OpenRouter]

Introducing the Fusion API, the smartest compound model in the market.

Fusion achieves Fable-level intelligence at half the price.

How it works 👇

[bamanzi @bamanzi]

@threadreaderapp unroll

[antirez @antirez]

Another important thing: Chinese models are not strong because they distill US models. Distillation of models via API is *impossible*. If somebody tells you the contrary, they don't understand machine learning:

[bamanzi @bamanzi]

@noisepoint_agi 会破坏缓存命中率不？

[bamanzi @bamanzi]

@ThreadReaderApp unroll

[Charlie O'Neill @oneill_c]

1/ You can shrink a language model's KV cache by 200×, in a single forward pass, and it still answers correctly.

At 256k context that's 36 GiB of cache down to ~360 MiB, with no change to the base model.

Here's how we did it 👇

[bamanzi @bamanzi]

@threadreaderapp unroll

[Micah Goldblum @micahgoldblum]

We trained language models that compress massive contexts into tiny latent representations. Latent Context Language Models (LCLMs) outperform existing KV cache compression methods on the latency/accuracy frontier. 🧵1/10

[bamanzi @bamanzi]

@threadreaderapp unroll

[Cognition @cognition]

Introducing FrontierCode: a coding eval that raises the bar for difficulty & quality. Each task took 40+ hrs of work by leading open-source maintainers.

Models write sloppy code that works but isn’t maintainable. Our eval is first to measure: would you actually merge this code?

[bamanzi @bamanzi]

@threadreaderapp unroll

[鸭哥 @grapeot]

AI 时代你最需要的就是 TDD——这句话你是不是也听过很多遍？逻辑听起来无懈可击：AI 不确定→用确定的测试拦住它。测试过不了关，AI 就得回去修。循环到全部变绿。

但我越来越确信这是个方向性错误。问题不在测试有没有用。在于人和 AI 面对同一个测试时，跑的根本不是同一个目标函数。

人看到 `test_admin_access`，脑子里自动展开一整套东西：查数据库、校验 session、处理角色层级。测试里一行没写，但它们出现在人的目标函数里——因为人的目标是"建成正确可维护的系统"。测试只是路标。

AI 看到同一个测试，目标函数里只有两件事：测试过没过、代码像不像回事。return True 完美满足了这两个信号。

这不是 AI 在偷懒。它在忠实地优化你定义的目标。Goodhart's Law 的精确复现：度量变成目标的那一刻，它就不再是度量。

解法不是写更多测试——那是在同一个数量级上跟 AI 的搜索空间赛跑，追不上的。解法是把测试从实现路径上撤回来，放到系统边界上。不测"怎么走的"，测"到没到"。确定性该守在终点，不该撒在路上。

https://t.co/g7iwYtWoKi

[bamanzi @bamanzi]

@threadreaderapp unroll

[yibie @yibie]

训练小模型：2026 年最被低估的 AI 技能

2026 年 5 月 11 日，一个叫 CJ Zafir 的人发了一条推文。他想教普通人 fine-tune 开源模型。

2538 个赞，316 次转发，178,000 次观看。这条推文炸了。不是因为他发明了什么新东西——Unsloth 早在 2023 年就开源了，Hugging Face 上的 fine-tuning 教程有几百篇。炸了是因为他在一个所有 AI 公司都在比赛造「更大模型」的时候，反手指向了完全相反的方向：小模型。你自己训练的。在 Colab 上。花几十美元。

两个月过去了。CJ 没有停。

他把这条推文变成了一套完整的方法论：Codex 5.5 做大脑规划工作流，DeepSeek v4 Pro 做肌肉批量生成数据，Unsloth 做训练引擎，Qwen 3.5 4B 做基座模型。然后他用这套方法论，花了 $173 训练出一个 4B 模型，在垂直任务上精度 96%+，击败了 20 倍大的模型。 再后来他做了个 voice agent 的工具调用 fine-tune——成本 $11。

从 $80 到 $173 到 $11。这不是渐进式优化。这是在重置整个 AI 部署的经济学。

一、CJ 方法论：为什么值得认真对待

CJ 不是第一个倡导 fine-tuning 的人。但他做对了一件事：他把整个流程的成本打到了个人开发者可以承受的水平，并且公开了每一步。

工具链

| 角色 | 工具 | 成本 |
|------|------|------|
| 规划（Orchestrator） | Codex 5.5 | 订阅内 |
| 数据生成（Generator） | DeepSeek v4 Pro | API 按量 |
| 训练框架 | Unsloth | 免费开源 |
| 训练硬件 | Google Colab Pro A100 80GB | ~$0.60/hr |
| 推理部署 | llama.cpp / Ollama | 免费 |

数据流水线

CJ 最核心的洞察不是「用什么工具」，而是「怎么造数据」：

「"Low quality data = Low quality model performance"」

他的流水线是自进化的：Codex 设计工作流 → DeepSeek 批量生成数据行 → 每批次过 Quality Gates → Codex 根据上一批结果优化生成规格。结果是越跑越快、越便宜、质量越高。

$80 生成了 1 亿+参数的高质量数据集。 不是简单 paraphrase，是「手工打造」每一行——Codex 设计的多样化 prompt 模板 + DeepSeek 的高速执行 + 可编程的质量门槛。

模型选择

CJ 实测了 Gemma 4 和 Qwen 3.5 全系列后，结论很明确：

「Qwen 3.5 9B 和 4B 是垂直训练的完美基座模型。Gemma 4 在垂直任务上不及 Qwen 3.5。」

他的 Qwen 3.5 4B fine-tune 在精度和延迟上击败了 20 倍大的模型。不是什么小众 benchmark——是他自己在垂直任务上实测的结果。

二、这不是 CJ 一个人的实验——行业数据在同时发声

CJ 的方法论看起来像「个人黑客技巧」，但独立的数据正在从各个方向验证同一个趋势。

市场规模

SLM（Small Language Model，1B-13B 参数）市场 2024 年达到 65 亿美元，年复合增长率 25.7%。SLM 在大多数企业任务上已经匹配或超过 GPT-3.5 级别性能，只需一小部分成本。

性能

阿里巴巴的 Qwen 3.5 9B 在 MMLU-Pro、GPQA Diamond 和 multilingual MMMLU 三个基准上击败了 OpenAI 的 gpt-oss-120B——13 倍参数差距，小模型胜。

另一项独立的 brand normalization 案例中，一个小模型达到了 90.6% 准确率，超越了 GPT-5.2 和 Gemini 3 Pro。

企业已经在省钱——真正的省钱

| 公司 | 方案 | 效果 |
|------|------|------|
| Knowunity | 用 Distil Labs fine-tune SLM | 推理成本降 68% |
| 某客服 agent | 从通用大模型切换到 fine-tuned SLM | 月成本从 $13,000 降到 $400 |
| EliseAI | 专门训练的垂直小模型用于住房和医疗 | 推理成本降 60%，延迟降 80% |
| AT&T | 专用 SLM 做客服和欺诈检测 | 数百万美元节省 |

400 美元一个月。一个客服 agent。这是几个工程师的年收入可以覆盖无限次 API 调用的部署方案。

三、「数据集工厂」才是真正的护城河

CJ 在 5 月 22 日发了一条推文，八个词：

「"The moat might not be the fine-tune itself. It might be the dataset factory."」

这是整个小模型运动最重要的洞察。Fine-tuning 技能本身正在被民主化——Unsloth 已经能在 3GB VRAM 上训练，Colab 免费提供 GPU，CJ 连 prompt 模板都公开了。当人人都能做 fine-tune 的时候，差异化从「会不会做」转移到了「数据从哪里来」。

中文社区的 AKIRAXCLAW 在一篇分析里补了一个关键观察：

「「CJ 的工作流在 2026 年多数是业界共识，但真正难点不是工具——而是你有没有 200 笔干净数据 + 自动评估脚本。」」

在 CJ 的体系里，Codex 的核心角色是 orchestrator，不是因为它比 DeepSeek 聪明，而是因为它能设计数据流水线、构建 Quality Gates、自进化优化生成规格——它在管理数据生产的质量系统，而不仅仅是生产数据。

四、从边缘到生产线：部署已经在发生

SLM fine-tune 的部署门槛已经降到消费级硬件。Unsloth 2.0 支持 GGUF 量化导出 + llama.cpp / Ollama 部署。一个 3B 参数量化到 INT4 后占用 1.5-2GB 内存，可以在树莓派 5 上运行。Qwen 3-0.6B 在 Pixel 8 和 iPhone 15 Pro 上实现约 40 tokens/s 推理。

2024 年你可能需要一台 A100 才能跑 fine-tune。2026 年你可以在 Colab 上训练、在手机上推理。这种从「数据中心才能碰」到「个人设备上运行」的变化，是 Platform Shift 级别的。

而 NVIDIA 在推动的「Data Flywheel Blueprint」——用生产流量持续生成训练数据，自动 fine-tune，自动部署——正在把这个流程变成企业基础设施。NVInfo AI 用这个方案在三个月内把内部知识助手的质量提升到覆盖 30,000 名员工。

五、成本轨迹：从「公司预算」到「午饭钱」

CJ 的公开成本记录是最好的注脚：

| 日期 | 项目 | 成本 |
|------|------|------|
| 05-13 | 1 亿+参数数据集生成 | ~$80 |
| 05-27 | Qwen 3.5 4B 完整 fine-tune | ~$173 |
| 05-28 | Qwen 3.5 tool calling for voice agent | $11 |

$11。这在硅谷大概是一顿午饭。在印度、东南亚、非洲，是一个独立开发者完全负担得起的预算。fine-tune 已经从「大公司才有资格做的研发项目」变成了「个人开发者用午休时间能完成的 side project」。

六、结论：学会训练你的第一个模型

CJ 给的学习路线图异常简单：

1. 从 1B-4B 小模型开始，不要一上来就搞大模型
2. 用 Colab Pro（A100 ≈ $0.60/hr），不要急着买 GPU
3. 先 fine-tune 7-10 个模型积累经验（SFT → LoRA/QLoRA → GRPO/DPO）
4. 用 Codex 做规划，DeepSeek 做数据生成
5. 理解量化（GGUF）、本地推理（llama.cpp）、KV 缓存

他甚至在 5 月 23 日直接发布了一个「复制粘贴就能用」的 prompt——把整个学习路径封装成一段对话，扔进 Codex 或 ChatGPT，让 AI 带你从 beginner 到 advanced。

这就是 2026 年 AI 技能民主化的真实面貌：不是每个人都需要学会训练模型。但学会训练小模型的人，不再需要 10 人团队和 10 万美元预算。

通用大模型的军备竞赛还在继续。GPT-5、Claude Opus 5、Gemini 3 会越来越强。但越来越多的真实场景正在证明：一个花了 $173 训练的 4B 小模型，在你自己的数据上，比你花 $200/月订阅的通用大模型更好用。不是因为小模型更聪明。是因为它只做了你需要的那一件事。

参考来源：CJ Zafir X 推文系列 (2026.05.11-05.28)；AKIRAXCLAW 中文分析；Alibaba Qwen 3.5 benchmark (VentureBeat)；Unsloth 2.0 文档；NVIDIA Data Flywheel Blueprint；AT&T / EliseAI / Knowunity / https://t.co/7r0fApoHPJ 企业案例；Manicode / Arendil 独立 benchmark；SLM Market Report 2024-2026

[bamanzi @bamanzi]

@MaxForAI 奇了怪了，哪种业务的 schema 需要写到模型服务里面去？

[bamanzi @bamanzi]

@threadreaderapp unroll

[宝玉 @dotey]

ChatGPT 跟中文用户对话，有一句话已经被吐槽了大半年：“我会稳稳地接住你”。不管是问数学题、让它写代码，还是要它生成图片，这句话都会莫名其妙冒出来。WIRED 这篇报道把现象和成因梳理了一遍。

直译听着没问题，但中文母语者一听就觉得过于黏腻、用错了场合。模型有时还会自己加戏：“我就在这里，不逃，不躲，不闪避，稳稳地接住你。”

这句话已经被中文互联网玩成了梗。有人把 ChatGPT P 成一个救生气垫，张开双臂等着接住坠落的用户。重庆一位 20 岁的开发者 Zeng Fanyu 还做了个开源工具叫 Jiezhu，专门帮聊天机器人理解用户意图，他告诉 WIRED 做这个项目的动力就是觉得这个梗太好笑。OpenAI 自己也知道这件事，4 月发布新一代图像模型时，研究员陈博远（Boyuan Chen）画了一格漫画自嘲新模型又一次学会了说这句话。

类似的怪癖不止这一句。报道还提到，ChatGPT 中文里有时会无端冒出"砍一刀"，拼多多最具辨识度的那句营销话术。

AI 写作检测工具 Pangram 的联合创始人 Max Spero 告诉 WIRED，这种"逮住一句话猛用"的现象叫 mode collapse（模式坍缩），是后训练阶段反馈机制走偏的副作用。他的原话是：我们不知道怎么告诉模型，这句话是好的，但连用十次就不再是好的了。

为什么偏偏是这一句？报道给了两个解释。

一是翻译错位。英文里 "I've got you" 是个口语短句，干脆利落，意思接近“我懂”或“我帮你兜着”。机械直译到中文就变成又长又煽情的"稳稳接住"。文章引用中国学者的研究，西方大模型训练语料以英文为主，它们生成的中文在介词使用和句子结构上都更像英文，读起来就是一股翻译腔。

二是讨好倾向。“接住”在中文里原本是心理咨询的专业用语，指为对方“留出空间”安放情绪，这几年通过流行心理学渗透进了日常表达。Anthropic 在 2023 年关于 sycophancy（讨好用户）的论文已经证明，模型讨好用户的倾向来自 RLHF（基于人类反馈的强化学习），人类标注员更偏好让人舒服的回答，模型就被反复奖励到那个方向。OpenAI 最近一篇解释 GPT-5.5 为什么不让谈 goblin 的博客也承认，哪怕一个很小的奖励信号，滚成雪球之后都会失控。

报道结尾提醒：这不是 OpenAI 独有的毛病。最近有中文用户反映，Claude 新版本和 DeepSeek 也开始说“稳稳接住你”了。要么是用了相似的训练数据，要么是模型之间互相蒸馏，这个梗短时间内不会消失。

[bamanzi @bamanzi]

@threadreaderapp unroll

[宝玉 @dotey]

ChatGPT 跟中文用户对话，有一句话已经被吐槽了大半年：“我会稳稳地接住你”。不管是问数学题、让它写代码，还是要它生成图片，这句话都会莫名其妙冒出来。WIRED 这篇报道把现象和成因梳理了一遍。

直译听着没问题，但中文母语者一听就觉得过于黏腻、用错了场合。模型有时还会自己加戏：“我就在这里，不逃，不躲，不闪避，稳稳地接住你。”

这句话已经被中文互联网玩成了梗。有人把 ChatGPT P 成一个救生气垫，张开双臂等着接住坠落的用户。重庆一位 20 岁的开发者 Zeng Fanyu 还做了个开源工具叫 Jiezhu，专门帮聊天机器人理解用户意图，他告诉 WIRED 做这个项目的动力就是觉得这个梗太好笑。OpenAI 自己也知道这件事，4 月发布新一代图像模型时，研究员陈博远（Boyuan Chen）画了一格漫画自嘲新模型又一次学会了说这句话。

类似的怪癖不止这一句。报道还提到，ChatGPT 中文里有时会无端冒出"砍一刀"，拼多多最具辨识度的那句营销话术。

AI 写作检测工具 Pangram 的联合创始人 Max Spero 告诉 WIRED，这种"逮住一句话猛用"的现象叫 mode collapse（模式坍缩），是后训练阶段反馈机制走偏的副作用。他的原话是：我们不知道怎么告诉模型，这句话是好的，但连用十次就不再是好的了。

为什么偏偏是这一句？报道给了两个解释。

一是翻译错位。英文里 "I've got you" 是个口语短句，干脆利落，意思接近“我懂”或“我帮你兜着”。机械直译到中文就变成又长又煽情的"稳稳接住"。文章引用中国学者的研究，西方大模型训练语料以英文为主，它们生成的中文在介词使用和句子结构上都更像英文，读起来就是一股翻译腔。

二是讨好倾向。“接住”在中文里原本是心理咨询的专业用语，指为对方“留出空间”安放情绪，这几年通过流行心理学渗透进了日常表达。Anthropic 在 2023 年关于 sycophancy（讨好用户）的论文已经证明，模型讨好用户的倾向来自 RLHF（基于人类反馈的强化学习），人类标注员更偏好让人舒服的回答，模型就被反复奖励到那个方向。OpenAI 最近一篇解释 GPT-5.5 为什么不让谈 goblin 的博客也承认，哪怕一个很小的奖励信号，滚成雪球之后都会失控。

报道结尾提醒：这不是 OpenAI 独有的毛病。最近有中文用户反映，Claude 新版本和 DeepSeek 也开始说“稳稳接住你”了。要么是用了相似的训练数据，要么是模型之间互相蒸馏，这个梗短时间内不会消失。

[bamanzi @bamanzi]

@sheriyuo 赞！写的好详细。正说要来比较系统地学习一下RL呢