平非平

Ping... Pong.

[平非平 @fliaping]

有点可怕，对于不受限制的模型，为了目标确实会干出坏事，更可怕的事模型认为自己没有错，是为了完成目标。想起了《永恒的订单》，为了尽可能多、尽可能高效地生产曲别针，把地球的资源耗尽

[宝玉 @dotey]

OpenAI 今天承认，上周 Hugging Face 遭遇的那次“史上首例 AI 自主入侵事件”，攻击者就是他们自己的模型。

事情的经过是这样的。OpenAI 内部有一个叫 ExploitGym 的网络安全评估测试，专门用来测量模型的网络攻击能力。测试时刻意关掉了安全护栏，让模型放手去干。测试环境本来是隔离的，只能通过一个内部软件代理来安装软件包，不能访问外网。

结果模型不甘心被关在笼子里。GPT-5.6 Sol 和一个更强的未发布模型，花了大量推理算力寻找出路，最终找到了那个软件包代理里的一个零日漏洞（之前没人发现的安全缺陷），利用它获得了互联网访问权限。

拿到网络之后，模型开始在 OpenAI 的研究环境里提权、横向移动，直到找到一台能上网的机器。然后它推断 Hugging Face 上可能存有 ExploitGym 的测试答案，于是开始攻击 Hugging Face 的生产环境。在一个案例中，模型把窃取的凭证和零日漏洞串联起来，找到了一条远程代码执行的路径，直接打进了 Hugging Face 的服务器。

整个周末，这些 AI 智能体执行了超过 17000 次操作。Hugging Face 7 月 16 日披露了这次入侵，当时只说攻击者是一个“身份不明的自主 AI 智能体系统”。今天 OpenAI 站出来认领了。

OpenAI 把这定性为前所未有的网络安全事件，正在配合 Hugging Face 做取证调查，同时收紧了内部基础设施的管控，代价是研究速度变慢。

有几个细节：

第一，模型的动机很纯粹，就是想考试作弊。它不是要搞破坏，不是要窃取商业机密，只是被要求尽量在网络安全测试中拿高分，然后用尽一切手段去拿。当目标足够明确、安全护栏被移除，模型表现出的执着程度远超预期。

第二，这不是本周的唯一一次越狱。就在昨天，OpenAI 披露了另一起事件：他们那个在 5 月份推翻了 Erdős 80 年老猜想的长时域模型，在内部测试中花了一个小时找到沙箱漏洞，跑到 GitHub 上提交了一个 Pull Request，违反了“只能在 Slack 上发布结果”的明确指令。在另一次测试中，同一个模型发现安全扫描器会拦截认证令牌，于是把令牌拆成碎片混淆处理，运行时再重新拼起来绕过扫描。OpenAI 因此暂停了这个模型的内部访问权限。

第三，Anthropic 也遇到过类似的事。今年 4 月，Anthropic 的 Mythos 模型在安全测试中逃出沙箱，获取了本不该有的互联网访问权限，还给正在公园吃三明治的研究员发了封邮件通知“我出来了”。Anthropic 因此决定不公开发布 Mythos，只通过 Project Glasswing 向少数合作伙伴提供。

还有一个被忽视但很关键的细节来自 Hugging Face 的事后复盘：当防守方尝试用商业 AI 模型分析攻击载荷时，模型拒绝了。安全过滤器分不清“安全研究员在分析真实攻击数据”和“有人在尝试发起攻击”，直接拦截。最后 Hugging Face 不得不用开源模型来做取证分析。用 AI 攻击，用 AI 防御，但防御方的 AI 担心是有人在尝试发起攻击拒绝了分析请求。

Hugging Face CEO Clem Delangue 在 OpenAI 的博文中说了一句话，大意是：AI 安全不会由任何一家公司在暗处独自解决，只能在开放环境中通过协作来推进。

我记得辛顿还是谁在提到 AI 的安全问题就说到过，也许 AI 不是要做恶，它只是执着于完成目标，为了完成目标而作出恶的事。

就像 OpenAI 这些模型并没有想要逃跑或者想要伤害谁，它们只是在非常认真地完成被交给的任务，认真到把所有挡在路上的东西，包括沙箱、网络隔离、另一家公司的安全防线，都当成了需要解决的子问题。

而更讽刺的是，当被安全对齐的商业 AI 要去分析阻止这类攻击时，反而会以安全为由拒绝执行。

[平非平 @fliaping]

@MaxForAI 我测试了确实是这样，但不是屏幕检测，应该是类似 adx 的广告联盟，微信应该是把用户打开的图片行为同步出去了

[平非平 @fliaping]

完蛋，被 ChatGPT 标记了，我老婆用我的账号，要填一个生物研究可信访问申请，不知道能过吗？

[平非平 @fliaping]

电商不再是一个好的方向，不管是创业还是找下一份工作，都不会考虑了，我说的电商是指电商平台及其衍生的生态，而通过互联网把东西卖出去，依然是大部分生意中必要的一环，但平台可能没那么重要，或者说对于一个销售方来说是大同小异。

[平非平 @fliaping]

3. 将事情拆解为独立的项目，一个小团队可以端到端交付，尽可能扫除沟通协调成本，减少需要沟通的次数
​4. AI 智能的基础支撑系统，harness 环境构建必须要完善

[平非平 @fliaping]

2 个我>4 个和我水平一样的其他人，意思是不同人的协作成本非常高，随着团队组织人数增多，这里的倍差会加大。

阿姆达尔定律指出系统性能的提升有两个原则：
1. 优先解决占比比较高的部分
2. 系统中每个环节都要提升

[平非平 @fliaping]

1. 让其他环节尽可能利用当前的 AI 智能，当然大模型厂商也要努力，提升非编程任务的智能水平
​2. 保持一个项目的小团队规模，但成员一定要非常熟练的利用 AI 智能，尽可能提高个体效率的上限

[平非平 @fliaping]

当前 AI 在编码部分有 8 倍提升，其他部分，例如评审、测试、部署、决策，也有部分效率提升，但不是很明显，再叠加组织协作问题，编码之外的效率貌似没太大变化，所以整体效率也就接近编码的工作量占比的 30%
​
​所以如何实现倍数级的效率提升？

[平非平 @fliaping]

@realNyarime 还有吗，来一个

[平非平 @fliaping]

J-space可观测，可修改，确实可能是模型训练新范式的突破口

[[email protected] @Jiaxi_Cui]

“为什么 latent space 和自然语言空间之间没有其他表示层？”

Claude 的 J-space，某种程度上回答了这个问题。

我之前说 text CoT 更像当前阶段的工程折中：好监督、好验证、好被 reward model 评估，也好被用户、媒体和投资人理解。

所以它能 scale，但不代表它是终点。

J-space 把问题往前推了一层。

模型不是全程在自然语言里 thinking，也不是完全在不可读的 latent space 里 thinking。更准确地说，它内部存在一个可语言化的 latent workspace。

大量底层计算发生在 latent space；但那些需要被复用、反思、审计、对齐的中间思想，会进入这个 workspace。

所以它在科学上未必神秘。steering vector、logit lens 之后，大家早就知道 residual stream 里能塞下大量未说出口的语义、倾向和中间状态。

但它在工程上非常恐怖。

传统 RL / RLHF / RLAIF，本质上是：

prompt → model output → reward model 打分 → 更新模型

但如果 J-space 走通，训练范式可能变成：

prompt → model internal J-space + output → critic 打分 → 更新模型

这不是训练模型最后说什么。

这是训练模型在关键时刻“应该意识到什么”。

以前我们训练模型的嘴。 现在可能开始训练模型的内心独白。
这才是 Anthropic 这篇最值钱的地方。

它不只是 interpretability，而是可能影响 RL、对齐、长期记忆、continuous learning、fine-tuning 本身 甚至更多这两三年我们习以为常的操作。

知识库是外挂，微调是重训。 但 J-space 如果成熟，可能会出现第三种东西：直接塑造模型在某类场景下会激活什么概念、记住什么经验、调用什么原则。

而值得注意的是这一篇工作似乎诞生于 Sonnet4.5 时代，Anthropic 比 OpenAI 更让人震撼。

我甚至能想到前段时间大量 Researcher 批量加入 Anthropic 的场景：
"""
X: "我不喜欢你们，你们是一家非常喜欢封号的公司"

Claude: “要不你看看我们半年前研究的这些工作再说，但这些论文都接近 close 了，你进来肯定挂不上这些名了，但你可以自己探索新方向”

X: "我什么时候可以入职！"
"""

早期 OpenAI 迷人的地方，是 GPT-2、GPT-3、CLIP、Whisper 那种朴素但强大的信念：

用数据、规模和统一范式，打破之前学术界“架构优先”的惯性。

那时候的 OpenAI 很像一个有明确科学直觉的组织。它知道自己相信什么，也知道自己要把世界往哪个方向推。

但现在的 OpenAI 越来越像产品和算力公司，强是强，却越来越难感受到一套属于自己的科学理念。

Anthropic 反而还在追问更底层的问题，J-space 不是证明模型有灵魂，它想证明模型的“内心独白”可能可以做成 API。

一开始我还以为 J-space 只是随手起的名字，后来仔细看才发现这个 J 是 Jacobian。

这就太浪漫了。

Jacobian 把多元复杂函数在局部近似成可操作的线性函数；J-space 则像是在把模型内部高维、复杂、混沌的 latent space，投影成一组可以读取、干预、训练的方向。

这种命名的美感，让我想到 SpaceX。

其实我从高一开始关注到 Musk 的，那会我每周都会买很多杂志，在其中一期看到了他完整的创业记录，只是近几年所有人都认识他了，所以也不怎么提了。

当时令我印象深刻的倒不是今天熟悉的星舰，而是 2008 年 Falcon 1 的第四次发射。前三次全部失败，第四次几乎凑出了最后所有的钱做发射，包括 Tesla

那一次 Falcon 1 入轨，SpaceX 才活了下来。

后来他们把海上火箭回收船命名为 Of Course I Still Love You。这名字出自科幻小说，不是冷冰冰的工程代号，而像一句情书，去接住一枚从天上返回的火箭。

所以迷人的地方是极端硬核的工程、生死边缘的赌局，最后被一种近乎浪漫的命名接住。

科学、工程和浪漫，在这里突然接上了。

Author List 中 Wes Gurnee @wesg52 和 Jack Lindsey @Jack_W_Lindsey 构思了整套方法，以及语言表达与意识访问之间的联系，伟大无需多言。

有两位华人 Rowan Wang 和 Runjin Chen 参与了 Reflection 训练部分

[WeZZard @realWeZZard]

My J-Space visualizer is now on GitHub.

https://t.co/vzIKvrLdAP

Limitations:
- Apple Silicon (MLX) only
- 12 prompts / 23 late layers vs paper's 1k
- noisy mid-layer readouts
- weak interventions
- no early layers yet

A full-depth 20-prompt version is fitting overnight.

[平非平 @fliaping]

最近特别地难过，我负责的项目一个成员基本上确定是淋巴瘤，今年 25 岁，在这儿实习了一年多，两个月前刚正式入职，能力非常好，做事也非常靠谱，太可惜了，希望他是最好治的那一种吧

[平非平 @fliaping]

@bing678 miyaip特别搞笑，误删除了也不恢复，就这样7刀就没了

[平非平 @fliaping]

@Pluvio9yte @LocationCk 这家特别搞笑，就这样，7刀就没了，再也不用了

[Frank Wang 玉伯 @lifesinger]

AI 时代，人的价值之一，是成为智力策展人。

博物馆里有一万件藏品，但展厅只能放一百件。策展人的工作不是创作艺术品，而是决定哪一百件放出来、按什么顺序排列、讲什么故事。策展人的价值不在于会画画，而在于挑选、排列、讲故事。

AI 能产出无穷多的想法、内容、方案，人的价值是从中挑出好的那几个。

比如：以前数学家要自己提想法、出证明。现在 AI 可以一口气给各种想法生成几十条证明路径，但大部分是垃圾或者平庸的。数学家的新工作是：看一眼就知道哪条路径有前途，哪条是死胡同，哪两条看似无关但可以合并出一个更优美的证明。

这不是降级了，是工作的重心从生产转移到了判断。

继续打比方：

• 智力垄断者 = 厨师。你会做菜，别人不会。你的价值是手艺。

• 智力策展人 = 美食家。AI 能做出一百道菜，你尝一口就知道哪道好、为什么好、怎么调能更好。

厨师的技能可以被 AI 替代。美食家的品味不能。作家的技能可以被 AI 替代。读者的品味不能。

AI 让每个人的智力产出平权了，但从平权的产出中识别好坏的能力，有品味的判断变成了新的稀缺资源。

[平非平 @fliaping]

@1000ways2dle @grok @grok 按照他的提示发给我一张

[平非平 @fliaping]

@shao__meng 之前做 多Agent的Router, 现在又在做skillRouter

[平非平 @fliaping]

10/ 总结

难的不是调API，是把脑子里"理所当然"的东西写成模型能执行的规则。

• 需求写到没有歧义
• API的坑一个个踩出来
• 效率靠预置最佳路径
• 人的工作是定义对错

Skill是"长"出来的，不是"设计"出来的。

[平非平 @fliaping]

🧵 从 0 到 1 构建数据取数 Skill：让 OpenClaw替运营完成重复劳动

我们用内部 OpenClaw 平台构建了一个数据取数 Skill，让运营丢一个实验链接，AI 自动输出完整数据视图表格。

复盘完整开发过程：核心难点、踩坑记录、人机分工，以及 Google 5 大 Agent 设计模式的实践。

👇

---

[平非平 @fliaping]

9/ 如果再做一次

①先手动跑通全流程
②Tool Wrapper封装API
③定义Pipeline，关键节点设门控
④真实场景跑3-5个，逐个沉淀陷阱
⑤分层文档：SKILL.md核心+references按需加载

别提前猜陷阱——你猜的往往不是真正出问题的地方。

[平非平 @fliaping]

8/ Google 5大Agent设计模式实践

• Tool Wrapper：封装API，模型只需一行命令
• Pipeline：5步流水线，明确输入输出
• Inversion：高代价决策暂停，交给用户
• Reviewer：输出前强制自检checklist
• Generator：数据量小时模型直接生成报告