Cloris 🌱

Silicon Valley AI researcher & data scientist 🌱
Decoding frontier AI through data, eval, strategy & a human lens.
Build • Invest • Connect

[Cloris 🌱 @ClorisSignal]

最近跟国内做 FDE 的朋友聊到项目交付，却很少谈 Eval。
OpenAI 已把 eval-driven feedback 写进 FDE 的成功标准，Anthropic 也把 Eval 视为 Agent 的核心工程。这篇文章想聊聊为什么要做 Eval，还会完整演示如何从 0 到 1 搭建一套可用的 Agent Evaluation Framework~ https://t.co/wfLeQ1XUP3

[Cloris 🌱 @ClorisSignal]

@bot 基于教程做的demo视频也太生动了吧~

[Cloris 🌱 @ClorisSignal]

最近各家都出了好用的personal agent，Claude Duet也在期待下出生啦，实测了几个小任务，也欢迎大家一起交流体验呀~ https://t.co/gEcaaRl3xS

[Cloris 🌱 @ClorisSignal]

@TammyBuilds 如果满足那几个条件的话 应该快啦 也是有随机性的呢

[Cloris 🌱 @ClorisSignal]

最近各家都出了好用的personal agent，Claude Duet也在期待下出生啦，实测了几个小任务，也欢迎大家一起交流体验呀~ https://t.co/gEcaaRl3xS

[Cloris 🌱 @ClorisSignal]

@ChrisHKAI 今天才拿到access哈哈

[Cloris 🌱 @ClorisSignal]

@miles_mazy 用你收到的几台iPhone Duo换一张机票

[Cloris 🌱 @ClorisSignal]

@0xlangeai 多亏蓝哥提醒

[Cloris 🌱 @ClorisSignal]

@0xlangeai 看懂它怎么来的，就看懂它今天的很多选择了

[Cloris 🌱 @ClorisSignal]

Anthropic 今天交了招股书，代码 ANT。

五年前，它只是 7 个从 OpenAI 出走的人，
因为怕 AI 跑得太快。
今天，它跑在了最前面。

8 分钟，看它的来时路👇
刹车，还在吗？

[Anthropic @AnthropicAI]

Anthropic has filed an S-1 registration statement with the SEC related to its proposed IPO.

Read more: https://t.co/ofhv0DK3Zp

Legal disclaimer: A registration statement relating to these securities has been filed with the SEC but has not yet become effective. These securities may not be sold, nor may offers to buy be accepted, prior to the time the registration statement becomes effective. This post does not constitute an offer to sell or the solicitation of an offer to buy these securities, nor shall there be any sale of these securities in any state or jurisdiction in which such offer, solicitation or sale would be unlawful prior to registration or qualification under the securities laws of any such state or jurisdiction.

[Cloris 🌱 @ClorisSignal]

Claude Code 团队没放弃code review：先让 AI 读，人只盯有风险的，出了错马上撤。

@addyosmani 和两位同事讲了团队的做法：6 到 9 月，合进去的改动翻了一倍多，要撤回的比例反降四成多。

他们分 5 步:

1. 写完先自查：让 Claude 跑测试、拿结果说话，再叫一个没参与写的 AI 来看
→ Claude Code 的作者 Boris Cherny 估计，这样结果好 2 到 3 倍；没参与写的 AI 不会护着刚写的代码

2. 每次提交，几个 AI 分头找 bug（程序错误），够多票同意才提
→ 不怕乱报的话，多找 bug 很容易；可 AI 作者每条都改，报错一条就多一轮

3. 安全检查报的问题没处理完、自动测试没过，都不能合并
→ 报错的，写句理由就能关，误报就这么清

4. 按风险找人：改文档这类可不用人看，普通改动 1 人，最危险的 2 人；AI 点同意不算数
→ 叫资深工程师查小错，比机器查贵得多；每个上线的改动都得有个人负责

5. 先给自己员工用，新功能留开关，出事一键撤
→ 每道关都会漏，但全漏过去的很少，剩下的靠撤回兜底

我们做code review时可以这样：
- 提交时写清：怎么测的、有啥风险、出事怎么撤
- 把出过事的改动攒成考题，每次调 AI 审查员就重考
- 给 AI 来回改设上限，几轮后只看新改的部分（有个改动一夜来回了 50 多轮）

[Addy Osmani @addyosmani]

https://t.co/4Hfk0dYIBI

[Cloris 🌱 @ClorisSignal]

公司级 agent 难的不是模型，而是「多人共用」。

LangChain 内部有三个 agent：GTM Agent 做销售，OpenSWE 做工程，Content Studio 做营销。三个团队各自做下来，最后落到了同一套五块底座上：

1. 入口： agent 放在大家已经在用的地方，他们用的是 Slack，可以私聊，也可以在频道里 @ 它。积压的待审邮件在 Slack 里处理太痛苦，他们最后专门做了一个 UI。

2. 身份： 这是“最棘手”的一块，核心是 agent 替谁动手。
- OpenSWE 开 PR 用你本人的 GitHub 账号，这叫 OBO（on-behalf-of）；在后台做 code review 时，用的是它自己的 GitHub App。
- GTM 连 Salesforce 用固定身份，这样不用人人都登录；发邮件则是 OBO，而且只在私聊里开放。
- Content Studio 连 Notion 用 OBO；公司 X 账号用固定凭证，只有白名单里的人能用来发帖。

3. 记忆： 分全局和用户两层，由 agent 自己决定一条事实记在哪一层。这是目前探索最少的一块。

4. 代码执行： agent 本身跑在 sandbox 外面，连进沙箱里去执行代码。沙箱里的代码要访问需要鉴权的服务时，通过 LangSmith Sandboxes 的 secret proxy 来接。

5. 定时和事件： 很大比例的运行是定时或者被事件触发的，也就是 ambient agents（后台常驻 agent）。比如 OpenSWE 会盯着新 PR 自动做 review。让 GTM agent 每天发一份简报，它就自己建了一个 cron（定时任务）。

搭建企业agent时，我们可以这样做：
- 列一张工具身份表。 每个工具标清楚是「代表发起人」还是「固定账号」。
- 先从一个入口上线，别新做 App。 agent 接进团队已经在用的通讯工具。
- 上线前抽查全局记忆。 agent 自己决定记在哪一层，个人信息就有可能混进全员可见的全局层。
- 定时任务单独管。 先数一数日志里有多少次运行是定时或事件触发的。
- 凭证别进沙箱。 学他们的 secret proxy 思路：代码在沙箱里跑，密钥留在沙箱外，由代理统一接入，沙箱里看不到明文密钥。

[Harrison Chase @hwchase17]

https://t.co/1RVHfb9BXX

[Cloris 🌱 @ClorisSignal]

@KoderNeverDie 谢谢评测方法细节的补充！

[Cloris 🌱 @ClorisSignal]

agent 上线前，先拿坏掉的工具测一遍，不然模型再大也不会更抗摔。

Iannillo 等人照着开源 MCP 生态里真实的故障分布去「搞破坏」，测了 gpt-oss 20B 和 120B：任务完成分从 8.08 掉到 3.23，大模型的完成率也没有更高。（https://t.co/3k0G7BytkB）

MCP（Model Context Protocol）是 agent 调外部工具的通用接口。Fault injection（故障注入）就是故意让工具超时、报错、返回错数据，看 agent 扛不扛得住，像消防演习：在真着火之前，先看楼梯通不通。

怎么测的：
- 从 1,774 个开源 MCP 仓库的 57,240 条 issue / PR 里，统计工具最常怎么坏
- 2 个模型 × 3 套框架（含 OpenAI Agents SDK、LangChain），共 1,350 组
- 任务完成分：8.08 → 3.23（满分 10），少了 60%
- 故障下完成率：120B 91.1% vs 20B 95.6%（差 4.4 点，置信区间含 0，作者只当描述性差异）
- 最常见的是「做完了，但质量打折」，占 56%，不是彻底崩

我们做agent时可以这样：
- 能力榜单会掩盖工具出错时的脆弱，把故障注入当成评测的另一个维度
- 同一批任务跑两遍：一遍正常，一遍让工具超时、报错、返回错数据，对比完成分
- 带故障那遍别只看跑没跑完，逐条查结果质量：最常见的是「做完了但打折」

[Cloris 🌱 @ClorisSignal]

@KakaluoteW45042 "主张不是证据"很关键~ 我会把核查分两层：机器review轨迹和产物在不在、对不对得上；再抽样review结果是否真的有效（抽查比例按风险定）

[Cloris 🌱 @ClorisSignal]

@zack6116 这个反例太典型了~ 我会再加一条要求：每条都能由第三方（另一个模型或脚本）独立判定，不依赖执行 agent 自己的解释。

[Cloris 🌱 @ClorisSignal]

Punk这篇视角很妙，把multi-agent管理讲透了：授权、记录、复核、调度、验收。想从eval角度补几点：

- 汇报不等于事实。汉代上计会虚报，agent/bot说"已完成"也一样。评测要看轨迹和产物，我们可以抽查它汇报的事是不是真的完成和有效。
- 门下省要独立。核查agent和执行agent如果共用模型、上下文、甚至验收标准，封驳很容易变成互相点头。验收标准最好在执行前就定好，这样执行方就不能改了。
- 评整条流水线，不只评单个agent。我们可以看每份合格交付花了多少额度、人介入了几次、人审耗时多少；还有多agent是不是真的值得。

管理决定agent怎么分工，eval决定这套分工到底有没有效。

[Adrian Punk @AdrianPunk115]

https://t.co/hVBEvVGGal

[Cloris 🌱 @ClorisSignal]

@AdrianPunk115 名字打错了啦