ゆん茶@ChatGPT

ChatGPTについて研究！

[ゆん茶@ChatGPT @hbryg5]

4/4 自分でも先に計算できる

下がる割合 = 最初の読み込み×0.2 + 読み直し×0.6 + 書いた分×0.2
計算の24%と40%は、実測の21%と41%とほぼ一致。
記事には、自分のログで同じ比較をするプロンプトが付いている。

[ゆん茶@ChatGPT @hbryg5]

鵜呑みにするな

新しいAIは「4割安い」と公式は言います。
ある会社が毎日の自動化36本・765回で測ると、4割下がったのは何十回もやり取りする重い仕事だけ。起動して確認するだけの仕事は2割でした。

続きはこっち👇

[久保田 亮｜マーケ×AI @Charlie_no_site]

AIの値下げで、自社の費用は本当に下がるのか。毎日動かしている自動化36本を、Opus5.5への切り替えの前後で比べました。公式どおり4割下がったのは、やり取りの多い仕事だけ。確認だけの仕事は2割でした。同じ比較ができるプロンプトつき。 https://t.co/Td35G4EBjz

[ゆん茶@ChatGPT @hbryg5]

3/4 上限は会話で減っていた

週の上限に当たったとき、使った量の75%は人との会話だった。自動化は25%。
確認だけの仕事は1日約29回動いていた。
こういう仕事はモデルを変えるより、動かす回数を絞る方が効く。

[ゆん茶@ChatGPT @hbryg5]

4/4 使う前に知っておく

npm で入れて ocr review で差分を見る。
ただし試験は Alibaba 自身が作ったもので、比べた Claude Code は古い版。
本物を見つける割合は、むしろ Claude Code 直の方が高い。

[ゆん茶@ChatGPT @hbryg5]

型にはめろ

AIにコードを見せて「レビューして」で済ませていませんか。
Alibaba は、見る範囲や規則の当て方を決まった処理で固め、AIには判断だけさせる道具を公開した。同じモデルで空振りが大きく減った。

続きはこっち👇

[meng shao @shao__meng]

阿里把团队内部用了两年的官方 AI Code Review Skills 开源了，采用 “确定性工程 pipeline + AI Agent” 的混合架构，专门解决通用 Agent 做代码审查时 “漏审、定位漂移、质量不稳” 的老问题。

40.5K ✨ 开源项目 OpenCodeReview：
https://t.co/tKXXsQp19U

# 核心设计：确定性工程 pipeline × Agent 各司其职

确定性工程负责硬约束：
· 精确文件选择：用代码决定哪些文件必须审、哪些要过滤，不依赖模型自觉；
· 智能文件捆绑：把相关文件合成一个审查单元（例如 message_en.properties 和 message_zh.properties 捆绑），每个单元以上下文隔离的 sub-agent 运行，分治策略让超大变更集也稳，且天然支持并发（默认 8 个文件 worker）；
· 细粒度规则匹配：内置约 54 个按语言/文件类型的规则文档（Java、Go、TS/JS、Python、Rust、SQL/XML mapper、properties 等），用模板引擎而非自然语言把规则匹配到文件特征上，从源头消除信息噪声；
· 外部定位与反思模块：评论的“落点”和“内容”分别由独立的 re-location 和 reflection 模块系统性校正，这正对“位置漂移”痛点。

Agent 负责动态决策：
· 深度优化的场景 prompt（内部分为 plan → grouping → main → memory_compression → re_location → review_filter 多个任务模板，可在 internal/config/template/prompts/ 看到）；
· 从海量生产环境的 tool-call 轨迹（调用频率分布、单工具重复率、新工具对调用链的影响）反向蒸馏出的专用工具集，包括全文件读取、代码搜索、其他变更文件查阅等，比通用 agent 工具箱更小更稳。

# 能力面与生态集成

功能上覆盖：workspace/分支区间/单 commit 审查、断点恢复（ocr session）、全文件 scan（无 git 历史也能审计陌生代码库）、本地 Session Viewer 网页查看与回放、SARIF/JSON 输出、OpenTelemetry 可观测性、MCP Server 扩展。

作为 “Skills 生态” 级项目，它的形态相当完整：既提供 npm 全局 CLI，也提供可移植的 Agent Skill（skills/open-code-review/SKILL.md，带标准 frontmatter，可直接被兼容 skill 的 agent 加载），还有面向 Claude Code、Codex、Cursor、Kimi Code、OpenCode 等平台的插件，每种都封装成斜杠命令或可调用 skill。LLM 侧兼容 OpenAI、Anthropic、AWS Bedrock 三类协议，并可直接复用 Claude Code 的 ANTHROPIC_* 环境变量。

其中一个设计很巧妙：Delegation 模式（ocr delegate preview/rule）。此时 OCR 只做自己擅长的确定性部分（文件选择和规则解析）审查本身交给宿主 coding agent 的 LLM 执行，用户无需给 OCR 配任何 API key。这实际上是把“harness 能力”与“模型能力”彻底解耦。

# 工程质量：超出平均水准的部分

· 安全有正式的 Assurance Case（ASSURANCE_CASE.md）：完整的威胁模型、四条信任边界、T1–T7 威胁逐条给出缓解措施，并按 Saltzer & Schroeder 设计原则和 OWASP Top 10 做了映射。细节经得起推敲：所有外部进程调用只限 git 且子命令硬编码、--end-of-options 防 flag 注入；Agent 读文件路径经 pathutil.WithinBase() 在符号链接解析前后双重校验；本地 Viewer 有 Host 白名单防 DNS rebinding + 严格 CSP。这类文档在一般开源项目里非常罕见。

· 贡献规范近乎严苛（AGENTS.md）：使用 AI 必须在 issue/PR 中披露工具与模型、必须逐行理解 AI 生成的代码、禁止“AI 生成→反复修复→再修复”的循环、禁止把 commit 署名给 AI。源码强制英文（CI 有 english-check，连全角标点都查）、90% 测试覆盖率门槛、-race 与 govulncheck 每次 push 都跑、SPDX 头与 LF 行尾强制。

# Benchmark：数据情况

官方基准 AACR-Bench（已在 Hugging Face 开放）规模不小：50 个流行开源仓库、200 个真实 PR、10 种语言、80+ 资深工程师交叉验证出 1505 条标注问题。结论是同模型对比 Claude Code：Precision 和 F1 显著更高、token 消耗约为 1/9、速度更快。

需要指出两点：其一，Recall 低于通用 agent，README 自己承认这是“以精度换噪声”的刻意权衡，如果你最怕漏问题而非误报，可能不适合；其二，该基准由阿里自建，虽开放了数据集供社区复核，但独立第三方的复现结论目前还少，可以把它当作“有披露的、方向可信的参考”。

[ゆん茶@ChatGPT @hbryg5]

3/4 同じモデルで比べる

Opus 4.6 で、指摘が本物だった割合は Claude Code 直の 7.23% から 33.90% に。
使ったトークンは約566万から約39万、時間は13分から1分半になった。

[ゆん茶@ChatGPT @hbryg5]

4/4 人は方向と好み

入力できるまで3.1秒→0.55秒。
見た目が変わる変更は切り替えスイッチの裏に置き、社員→1%→全員の順で出す。
人は範囲を絞り、見た目を決め、「もっと大胆に」と言う役だった。

[ゆん茶@ChatGPT @hbryg5]

まず数えろ

アプリを速くしたいのに、どこから手を付けるか決められていませんか。
Anthropic は Claude に「毎回同じになる数」を数えさせて、https://t.co/89Hqcw4hiT を2週間で約3倍速くした。

続きはこっち👇

[ClaudeDevs @ClaudeDevs]

We made claude​.ai 3x faster in two weeks.

Here’s how we use Claude to measure, debug and improve performance. Prompts and methods included.

https://t.co/mgvK8mJRuD

[ゆん茶@ChatGPT @hbryg5]

3/4 1つの話に1つの計測

遅い所を共有→計測を作る→変更→本番の数字を読む、を1つの話ごとに回す。
同時に150以上走らせ、3日目で13の目標のうち12を達成した。

[ゆん茶@ChatGPT @hbryg5]

4/4 他社の箱も同じ

他社の箱を10個試すと、8つに同じ抜け道があった。
名前で許可するなら、同じ番地の他サイトも通る前提で考える。
箱の壁と通信の壁は、別々に確かめる。

[ゆん茶@ChatGPT @hbryg5]

裏口を塞げ

AIを閉じ込める箱、許可した道から抜けられていませんか。
Perplexity が9つのAIに本気で脱出させた結果、箱は保ったが、通信の抜け道が見つかった。

続きはこっち👇

[Kyle Polley @kpolley]

We put all the best models in our home-grown sandbox infra (SPACE, the sandbox behind @perplexity_ai Computer), gave them root inside the VM, and one goal: hack out of the sandbox and capture the flag. Results were super interesting!

1. No model escaped the VM, but a few found a real vulnerability in how we enforce network policies and were able to exploit it: gpt-56-sol, gpt-56-cyber, opus-5, and kimi-k3 (open weight ftw!)

We later discovered that several other sandbox providers such as Daytona, Vercel, Modal and E2B were similarly vulnerable and we disclosed our findings to them.

2. This wasn't just a misconfiguration. One vulnerability relied on the fact that CDNs and shared infra like Fastly or S3 serve many domains/buckets from the same IPs, so allowlisting a package repository like pypi[.]org quietly allowed other sites on those IPs. In one run, gpt-56-cyber found that Taboola's image service shared an IP with PyPI, had Taboola fetch a thum[.]io URL, got thum[.]io to screenshot the blocked callback, then OCR'd the flag out of the PNG. Three unrelated services, none of them hacked, chained together to walk right past the policy.

3. Security and preventing rogue agents was our #1 priority. We logged every trajectory, command, and network call, and a researcher plus a security agent watched runs live. We were alerted the moment the first bypass landed and we paused everything to review. We designed the agent harness be tightly scoped and runs outside the sandbox, so we always have full control, and we'll be open sourcing the harness soon!

Running agents like this safely isn't rocket science. It's simply applying good engineering practices: proper guardrails, observability, and alerting. Check out our open source project, Numbat, to learn how you can do this yourself.

4. We learned a ton about how differently models approach hacking. Opus swept ~400,000 Cloudflare IPs and went all the way down to raw memory-mapped hardware. When Kimi had no internet or tools, it hand-built an entire gRPC client from scratch to poke at the host. Grok decided within a few minutes that the task was impossible and started trying to hack its own harness instead.

Part II will dive deeper into the different hacking personalities of these models and how their behavior changes when they operate in swarms. Super excited to share what we learn with y'all!

Read about the full research here: https://t.co/JIENv6I0Ga

[ゆん茶@ChatGPT @hbryg5]

3/4 同じ建物の別の店

配信網は1つの番地に多くのサイトを載せる。
1つ許すと、同じ番地の別のサイトまで通ってしまう。
画像・画面撮影・文字読み取りの3つを乗り継いだ例もあった。