FranKerr

Turning scrolling into compounding
Agents × AI infra × token economics
Mechanism over hype.

[FranKerr @frankerr_ai]

10/10
我的判断：
不要问“哪个模型最强”。
要问：你的团队有没有办法持续证明，哪个模型在你的工作流里更可靠。
AI 工具的竞争，最后不只是模型能力。
也是团队能不能把选择模型这件事，变成可复验的运营能力。

[FranKerr @frankerr_ai]

1/10
Matt Pocock 提了一个很小的 eval 方法：不要让一个 implementer agent 自己跑，而是同一个任务跑两个；再让另一个 agent 或人类选更好的结果；一周后看胜率。
这看起来太简单，但它问的是一个更大的问题：团队到底怎么选模型？

[FranKerr @frankerr_ai]

9/10
所以 eval 新模型，真正要搭的不是一次性测试脚本，而是组织的判断系统。
输入是真任务。
过程是成对比较。
输出是胜率和失败类型。
人类负责最后的质量边界。

[FranKerr @frankerr_ai]

我的判断：

未来会写的人，不是更会让 AI 替自己表达的人。

而是更会设计思考流程的人。

一句可复用的话是：

LLM 最危险的用法，是只让它帮你变得更会说服自己。

[FranKerr @frankerr_ai]

Karpathy 发了一条很小的工作流记录：先写一篇 blog draft，再让 LLM 花 4 小时细修论证。结果他觉得很有说服力。

然后他做了一个反向动作：让同一个 LLM 论证相反观点。

它又把原论证拆掉了。

[FranKerr @frankerr_ai]

约束也很明显。

LLM 的反方不等于真相。

它可能只是更擅长制造另一套顺滑叙事。

所以最后不能问：哪边说得更漂亮？

要问：哪边有更硬的证据、更少的假设、更清楚的失败条件。