全身反骨

ICML有一篇新的position paper，LLMs can't jump，最近获得了很多关注，作者是Google DeepMind的Tom Zahavy，值得一读。它的主张是：科学发明需要归纳、演绎、溯因三种推理，LLM已经掌握了归纳，正在快速攻克演绎，但做不了溯因，也就是从感觉经验跳到一组全新公理的那一跳。文章以爱因斯坦发现广义相对论为例子，指出1915年并不存在误差信号：牛顿引力当时的等效原理已经验证到10的负9次方，唯一的反常被"太阳附近藏着一颗看不见的行星"糊弄了过去。一个归纳式的优化器在那个时刻看到的loss几乎是零，没有梯度驱使它去推翻时空结构。我认为，文章里有几个地方值得讨论。第一个是文章里提到的科学方法论的三分法。induction（归纳）和deduction（演绎）是标准的，abduction（溯因）是19世纪美国哲学家Peirce加的第三支，却从来没有真正成为科学哲学的主流。被广泛接受的是它的变体IBE（inference to the best explanation，最佳解释推理），而IBE做的是在已有候选里挑一个，不是生成新概念。更实际的问题是，溯因是三支里唯一没有公认形式化的：演绎有形式系统可以机器验证，归纳有概率论和统计学习理论，溯因既没有演算，也没有量化标准，这样一来"LLM缺少这个机制"就不太容易被检验。当然，科学方法论放到Popper或Kuhn的经典科学哲学的框架里也会得到不同的答案。Popper会说新想法从哪来不需要解释，科学靠猜想加严厉的筛选前进。Kuhn会说引力那一侧确实没有危机，但运动物体的电动力学那一侧危机遍地，所以科学范式转移会从电动力学方向突破，而不是从引力。文章里的另一个问题是提到"公理"这个词。文章把广义相对论写成一组公理加上从公理演绎出的结果，瓶颈在于生成公理。但它列出的那七条，等效原理、引力自身也产生引力、必须退回牛顿极限，更像物理原则而不是形式公理，爱因斯坦本人也从未把广义相对论公理化。物理学里真正的公理化范例其实是量子力学，1925到1926年建立，七年之后才由von Neumann在1932年完成公理化，这是数学家做的，不是物理学家。事实，上面这篇文章只是提供了LLM是否可以真正做科学研究的哲学讨论，而我却做过一项相关的实验工作。我想知道，如果把LLM的能力变成可以测量的东西，我们是否可以直接测量LLM的科学推理能力。我把问题换了个问法：不问LLM能不能生成公理，而问它能不能从现象出发，给出一套完整、自洽、不冗余的规则，也就是物理学家实际在做的那件事。我们造了三个平行物理世界，定律刻意设计成与真实物理不同，是模型不可能记忆过的。然后让前沿模型走完完整的链条：从原始观察归纳出规则，把规则操作化地写出来，对全新情境做预测，最后复审自己的工作。预注册用哈希锁死，阶段之间全部开新会话，双LLM判官独立打分，外加人工审计路径。我们直接把现象集交到LLM手上，并明确告诉它要推出这个世界的规律。在Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro的物理能力上，三个平行物理世界的综合通过率分别是6/15、6/15和0/15（前两个要求内容与结构两条轴同时通过，最难的那个只计内容轴）。这恰好说明了LLM在物理推理上的局限性。更让人担心的是：模型不知道自己失败了。在最后一个阶段，模型复审自己的工作，而在那些确实含有错误的试验里，至少三分之二的复审报告说"没有发现错误"。定性直觉其实是在的，模型几乎从不预测错变化的方向，但那个数字会悄悄滑回它记忆里的标准物理关系。我的工作可见： https://t.co/D1Xgf50Wbk

snowboat84's tweet photo. ICML有一篇新的position paper，LLMs can't jump，最近获得了很多关注，作者是Google DeepMind的Tom Zahavy，值得一读。它的主张是：科学发明需要归纳、演绎、溯因三种推理，LLM已经掌握了归纳，正在快速攻克演绎，但做不了溯因，也就是从感觉经验跳到一组全新公理的那一跳。文章以爱因斯坦发现广义相对论为例子，指出1915年并不存在误差信号：牛顿引力当时的等效原理已经验证到10的负9次方，唯一的反常被"太阳附近藏着一颗看不见的行星"糊弄了过去。一个归纳式的优化器在那个时刻看到的loss几乎是零，没有梯度驱使它去推翻时空结构。

我认为，文章里有几个地方值得讨论。

第一个是文章里提到的科学方法论的三分法。induction（归纳）和deduction（演绎）是标准的，abduction（溯因）是19世纪美国哲学家Peirce加的第三支，却从来没有真正成为科学哲学的主流。被广泛接受的是它的变体IBE（inference to the best explanation，最佳解释推理），而IBE做的是在已有候选里挑一个，不是生成新概念。更实际的问题是，溯因是三支里唯一没有公认形式化的：演绎有形式系统可以机器验证，归纳有概率论和统计学习理论，溯因既没有演算，也没有量化标准，这样一来"LLM缺少这个机制"就不太容易被检验。

当然，科学方法论放到Popper或Kuhn的经典科学哲学的框架里也会得到不同的答案。Popper会说新想法从哪来不需要解释，科学靠猜想加严厉的筛选前进。Kuhn会说引力那一侧确实没有危机，但运动物体的电动力学那一侧危机遍地，所以科学范式转移会从电动力学方向突破，而不是从引力。

文章里的另一个问题是提到"公理"这个词。文章把广义相对论写成一组公理加上从公理演绎出的结果，瓶颈在于生成公理。但它列出的那七条，等效原理、引力自身也产生引力、必须退回牛顿极限，更像物理原则而不是形式公理，爱因斯坦本人也从未把广义相对论公理化。物理学里真正的公理化范例其实是量子力学，1925到1926年建立，七年之后才由von Neumann在1932年完成公理化，这是数学家做的，不是物理学家。

事实，上面这篇文章只是提供了LLM是否可以真正做科学研究的哲学讨论，而我却做过一项相关的实验工作。我想知道，如果把LLM的能力变成可以测量的东西，我们是否可以直接测量LLM的科学推理能力。我把问题换了个问法：不问LLM能不能生成公理，而问它能不能从现象出发，给出一套完整、自洽、不冗余的规则，也就是物理学家实际在做的那件事。我们造了三个平行物理世界，定律刻意设计成与真实物理不同，是模型不可能记忆过的。然后让前沿模型走完完整的链条：从原始观察归纳出规则，把规则操作化地写出来，对全新情境做预测，最后复审自己的工作。预注册用哈希锁死，阶段之间全部开新会话，双LLM判官独立打分，外加人工审计路径。

我们直接把现象集交到LLM手上，并明确告诉它要推出这个世界的规律。在Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro的物理能力上，三个平行物理世界的综合通过率分别是6/15、6/15和0/15（前两个要求内容与结构两条轴同时通过，最难的那个只计内容轴）。这恰好说明了LLM在物理推理上的局限性。更让人担心的是：模型不知道自己失败了。在最后一个阶段，模型复审自己的工作，而在那些确实含有错误的试验里，至少三分之二的复审报告说"没有发现错误"。定性直觉其实是在的，模型几乎从不预测错变化的方向，但那个数字会悄悄滑回它记忆里的标准物理关系。

我的工作可见：

https://t.co/D1Xgf50Wbk

toooodamnbad retweeted

beamnxw ./

@beamnxw

3 months ago

This paper is f*cking brilliant A computer science paper establishes harness engineering as the primary determinant of AI agent reliability The result: the ETCLOVG seven-layer architecture unifies execution sandboxes, tool protocols, context state, lifecycle graphs, observability, verifiers, and governance The crazy part is how harness engineering boosts performance without changing the underlying model Optimizing the execution harness alone increased SWE-bench coding benchmarks from 6.7% to 68.3% Most developers try to fix agent failures by upgrading to larger LLMs This framework shifts system reliability from model weights to deterministic harness architecture Read the complete paper + article below Bookmark it for future reference