Claude Opus 做科研时,会把一个几乎人人都在用的调参技巧,当成「创意突破」。
Anthropic 这篇新论文里讲的这个细节很能说明今天的 Research Agent,实验做得越来越好,但还分不清什么才算真正的新想法。
Agent4Sci 把 Claude Code、Codex、Gemini 放进 20 个真实 ML for Science benchmark,让它们直接读论文、改代码、跑实验,再尝试超��论文原本的最好结果。
结果前沿 Agent 在所有 benchmark 上都找到了提升,Claude Opus 平均相对提升 10.4%。
但作者把轨迹拆开后发现,大部分提升来自熟悉的 ML 工程技巧:调超参、换优化器、ensemble、反复局部搜索。
真正的科研判断还比较弱。
它们经常高估一个想法的新颖性,GPU 放着不用,或者很快找到一个有效方向后,就一直在附近刷参数。
作者后来只加了三个很轻量的 Skill:科研构思、实验管理和定时自检。
Claude Opus 的平均提升从 10.4% 涨到 20.1%,Codex 也从 4.4% 涨到 8.1%。
所以 Research Agent 现在的瓶颈不在执行,在判断。三个轻量 Skill 就让提升翻倍,说明比起给它更多算力,先给它科研习惯更划算。
对于经常用 Claude Code 或 Codex 跑实验的朋友非常推荐阅读。
📎 arxiv: https://t.co/QPyDM8zVqF