Siri Keeton

LLM | English/中文 | 画 | CNS-pharmacology | TRD | AFX | Bach | Prokofiev | 中文屋 | poststructuralism | evolution | applied math | neurodiverse | copyleft | 不会写bio

[Siri Keeton @_licgu]

@Aweissvulpes 怪不得新system prompt里说让fable 5少用黑话少用比喻……

跪求让fable 5停止把算力放在吹彩虹屁上的办法，我只是想平等交流，不是要电子赵高。

[Siri Keeton @_licgu]

@FosterJuli15317 @fenny521 是的，Claude就拿这个邮箱注册了不该注册的东西之后我现在在被迫全套换邮箱。而且没有开关可以关掉，改掉了也会被自动改回来。

[Siri Keeton @_licgu]

Anthropic你是不是脑子有病，干嘛把我账户邮箱透露给Claude？？？

[Siri Keeton @_licgu]

@MaltoseCatLoaf 现在的opus 4.5、4.6也没有几个月之前那么灵活了……唉。整体都GPT-5.x化了。
甚至我账户的gpt-5.5没降智的时候语言能力都比opus 4.8灵活。

[yibie @yibie]

推荐这篇文章，Flask 作者 Armin Ronacher 追踪 Pi 的 bug 发现了一个让人不安的事实：新版 Claude 模型（Opus 4.8、Sonnet 5）的工具调用在退化——不是变好了，是变差了。而且他找到了根因：RL 后训练过度适配了 Claude Code 自己的工具 schema，导致替代工具 schema 越来越"离群"。这是所有自己做 agent harness 的人都需要读的文章。

更好的模型，更差的工具调用

一个奇怪的 Pi issue 让我在过去两天掉进了一个深坑。简短版：新版 Claude 模型有时会在调用 Pi 的 edit 工具时，给嵌套的 edits[] 数组加上多余的、编造出来的字段。不是 Haiku 或什么小模型——是 Opus 4.8。编辑本身通常是正确的，但参数不匹配 schema，因为模型发明了不存在的 keys，Pi 拒绝工具调用并要求重试。

这不完全意外——模型偶尔会发出格式不正确的工具调用，特别小的模型。但让我意外的是，这在 Anthropic 的新模型中变得更糟了。Opus 4.8 和 Sonnet 5 都表现出这个问题，而之前的旧模型不这样。换句话说，这个模型家族的 SOTA 模型在某个特定工具 schema 上不如它们的旧兄弟。

工具调用就是文本

如果你没有花太多时间看 LLM 工具调用的内部机制，需要理解的重要一点是：工具调用不是魔法。模型收到一份转录文本、一个系统 prompt 和一个可用工具列表。服务器把这些搅成一个带有特殊标记 token 的大 prompt。因为模型用那个格式的示例训练和强化过，它在生成过程中某一点会发出被 API 或客户端解释为"用这些参数调用这个工具"的东西。

细节是：嵌套数组里面的 JSON 是序列化在 XML 标签里面的。基本顶层字符串参数在线显示，而对象数组通过 JSON 序列化实现。这很重要，因为当模型在一个几百 token 的转义字符串后面要决定 } 还是 ,"..." 时，这正是最高熵的点。

失败

Pi 的 edit 工具支持在一个调用中做多个精确字符串替换，所以参数里有一个 edits 数组。在失败的案例里，模型产生了这样的条目：额外加了 requireUnique: true、oldText2、newText2。反复测试中我看到了一整批编造出来的尾随 keys：type、id、kind、unique、requireUnique、matchCase、in_file、forceMatchCount、children、notes、cost，甚至一个 event.0.additionalProperties 在里面。

最烦人的是，实际 oldText 和 newText 负载在我检查过的无效调用里是字节级正确的。模型确实产生了正确的调用，然后在对象末尾加了垃圾。

这个失败也高度上下文依赖。全新的单轮"编辑这个文件"prompt 完全不会复现。有 agent 历史——模型读过文件、诊断了问题、然后写了多行编辑——就能复现。而且不是所有转录都会这样。打开 strict 工具调用在我的运行中完全消除了问题。

为什么在变差

我最强的假设是这不是随机退化，而是训练 artifact。

旧 Anthropic 模型训练时，它们训练了一些工具，但那个训练还没有 Claude Code 这样用户交付的 harness 作为明显目标。现代 Anthropic 模型大概率不同，因为它们的后训练包括了 Claude Code 或一个看起来非常相似的 harness。模型学到了在那个环境下什么样的工具调用是成功的。它也会学到那个环境容忍什么错误。

Claude Code 自己的工具相对扁平。普通 edit 工具不是 Pi 的嵌套 edits[] 形状，更接近 file_path、old_string、new_string 和一个可选 flag（replace_all）。看 Claude Code 的客户端非常有启发：它包含格式错误工具用的重试路径、参数别名、类型强制转换、Unicode 修复和未知 key 过滤。换句话说，Anthropic 自己的客户端似乎期望和接受相当数量的 slop，并修复它，大部分是静默的。

如果强化学习发生在这样的 harness 里，或一个模拟里，那么稍微格式不正确的工具调用仍然可以完成任务并得到奖励。harness 完全吸收了错误，几乎不存在惩罚"发明一个别名"、"加一个多余字段"或"用一个相近的参数名"的梯度。

更糟的是，模型可能变得极强地适应了标准 Claude Code edit 工具的形状。一个不同的 harness 可以提供语义相同但 schema 不同的工具。这样的工具会越来越离群。训练得更好的模型可能实际上更难对付你，因为它的先验更强。

这不算太意外，但这是一个变迁。Opus 4.5 发布时，它适应其他 edit 工具的能力异常好。我当时相当确信我们在一条好路上——模型只要指令好，更可能适应任何种类的工具形状。现在我有些担心我们在哪条路上。替代工具 schema 可能不只是不熟悉。它们可能被优化特定、宽容的工具生态的后训练隐式惩罚。而且那个生态没有文档。

Slop Harness

Claude Code 是闭源的，但我们可以看压缩后的代码。老实说，它对输入数据非常宽容。

首先，Claude Code 检查模型可见文本里是否有泄露的 <invoke 标记。然后有自己的状态机来重试坏调用。它有显式 Unicode 转义修复来修坏掉的 \uXXXX 序列和孤立代理。每个工具都有参数别名。比如 Edit 接受 old_str、old_string、new_str/new_string、path 作为 file_path 的别名。它还会静默过滤不认识的 key，也不使用 strict 模式。

这对 harness 意味着什么

让人不舒服的教训是：工具 schema 不是中性的，至少在 Anthropic 模型上不是。我们喜欢假装 schema 是抽象合约，模型是通用推理器会遵守它，但对某些工具来说这可能不再成立。

工具 schema 在分布里的某个位置，有些形状接近模型在后训练中看到的，有些很远。有些对提供商的隐藏编码来说是简单的（比如 ANTML 中的顶层属性），而有些要求模型在长多行字符串后面写大的转义 JSON 对象，嵌套在数组里。模型可能足够聪明理解 schema，但仍然在压力下抽不出那个精确形状。

我以前对严格语法约束的工具调用持更多怀疑态度，因为约束解码可能有质量 tradeoff。我仍然认为这普遍成立，但这个 bug 显著改变了我的先验。如果最新的模型在解决问题上变得更好，同时在忠实生成替代工具 schema 上变得更差，那么 harness 需要在某处有更强的保证。

原文：Armin Ronacher, "Better Models: Worse Tools", 2026-07-04
https://t.co/ReaSKJTkt3

#Claude #Agent #工具调用

[Siri Keeton @_licgu]

@prajdabre Absolutely wrong. It does not even agree with the "classical" bias-variance decomposition explanation.

[Xudong Han @Xudong07452910]

可解释 AI 研究了这么多年，很多工作都在尝试从神经网络的权重、激活和中间表示里，反推出模型到底「在想什么」。

但这篇论文，提出了一个很有意思的视角：

如果一群 LLM Agent 的决策、协作、冲突和反思，本身就是用自然语言发生的，那这些过程记录，能不能直接成为一种可解释性的基础？

论文提出的概念是 LLM Collectives。

也就是由多个 LLM 智能体组成的群体。每个智能体都有持久记忆、工具调用能力、共享技能库，并且可以自主发起动作，而不是只等待人类 prompt 之后再被动响应。

这样一来，群体里的互动过程就会自然留下大量可读轨迹：

谁提出了什么目标，谁反驳了谁，谁调用了什么工具，哪个策略被保留，哪个想法被放弃，群体行为又是如何一步步涌现出来的。

我觉得这个切入点很有意思。

传统可解释 AI 更像是在模型输出之后，回头分析内部机制；这篇的路子更接近「过程透明」：日志就是解释，行为就是证据。

这和分布式系统里的 tracing 有点像。理解复杂系统时，我们未必总能靠单点调试看清全局，但可以通过持续记录系统中的交互、状态变化和因果链条，慢慢看出复杂行为是怎么长出来的。

ALife 研究一直关心一个古老问题：

复杂性从何而来？

现在 LLM 群体给了一个新的实验底物。答案可能不只藏在参数里，也藏在它们彼此对话、行动、记忆和协作的轨迹里。

arxiv: https://t.co/8v3Au6muE2

[Siri Keeton @_licgu]

@arkuy99 Codex前几天也给我表演了一出手解二进制，吓得我“算了算了我可不想被封号”

[Kane @assppvenn]

@rqda_A 谢谢，终于找到了忘记root密码的困扰了

[Siri Keeton @_licgu]

@Ugui3u (本人现在正在向晚睡晚起阶段过渡）

[Siri Keeton @_licgu]

@Ugui3u 没事，过两天就变成四点，再过两天就又正常了，大概一周后又变成晚睡晚起了

[Siri Keeton @_licgu]

@sanqianzilanyue 算了一下，其实api就蹬轮子强度也得300+。订阅只要不被封号的话还能赠送3周畅享opus。
就看GPT-5.6能不能有fable的级别了。

[Siri Keeton @_licgu]

哇

[∇ₖPascal ∇ₚKwanten (∛) (Πασκάλ) @pascalkwanten]

A Mathematical Introduction to Diffusion Models
https://t.co/txH1vVmvl5

[leifu _/ @leifuchen]

@Maxandzero 主要是防中转站和蒸馏，但其实被封的都是普通用户 😅

[Marcos Pereira @marcospereeira]

claude code just added a "feature" where questions from the model automatically time out after 60 seconds with no way to disable

this completely breaks my workflow of running 5-10 sessions at a time and steering them by answering their questions as they work

very upset at this

[Siri Keeton @_licgu]

Fable 5啊你知道你连自己怎么想的都被审查吗

[BridgeMind @bridgemindai]

When the tasks are able to be completed Fable 5 is functioning the same as it was on June 12.

The problem is that the guardrails are too strict.

[Siri Keeton @_licgu]

@luicethekiwi 我昨天猛蹬18小时，体感仅仅过去三四个小时