Jie Galaxy

[Xudong Han @Xudong07452910]

这篇论文很适合所有重度使用 Claude Code、Codex 或者其他AI Agent 的人看。

它研究的不是 Agent 在 benchmark 上怎么失败，而是一个更真实的问题：

在真实开发里，AI coding agent 到底是怎么惹开发者生气的？

论文分析了 20,574 个真实 coding-agent sessions，覆盖 IDE 和 CLI 工作流。它把“失败”定义得很有意思：不是单看代码有没有跑通，而是看开发者什么时候开始纠正、打断、反驳 Agent。

结果挺真实，最常见的问题居然不是“代码写错”，而是 Agent 违反开发者明确说过的约束。

比如你说“别改这个文件”“先别动代码”“只做最小修改”，它还是忍不住多做一点；你让它解释问题，它顺手开始改代码；你让它验证完再说完成，它没跑完就开始汇报胜利。

论文里还有一个很有意思的差异：CLI Agent 更容易违反约束，因为它经常被委托去做更长、更开放的任务；IDE Agent 更容易出现局部实现错误，因为它更像贴身 copilot，在高频交互里改代码。

最扎心的是，很多失败并不会立刻造成灾难性后果，而是消耗开发者的时间和信任。你得不断判断它有没有听懂、有没有越界、有没有真的验证过。

这和我自己的体感很像：AI coding 真正让我感到累的地方是得一直判断它有没有听懂、有没有越界、有没有真的验证过。

所以我期待的 coding agent 的进步，不能只看代码能力，还要看它能不能持续对齐开发者意图、遵守边界、准确汇报进度。

AI coding 的难点，可能不是“写得更快”，而是“别让我反复擦屁股”。

https://t.co/MXcgS43Kwz

[Jie Galaxy @JieGalaxy]

@BitcoinIntelX BTC

[Jie Galaxy @JieGalaxy]

@GuoShenCN7 done