白板报 wangpeinet

LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文这是我最近读到最喜欢的论文。只有7页半，从爱因斯坦，广义相对论，到推理三分法，到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。小路精读了这篇论文，想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI，也希望您跟着读下来。爱因斯坦在给终身好友Solovine的信中，提纲挈领的总结了科学发现的流程，从感官经验（E）出发，通过一次直觉的"跳跃"（Jump, J）得到公理系统（A），再从公理演绎出定理（S），最后用实验检验。也就是 E->J->A->S->E （感官经验->跳跃->公理->演绎出定理->实验） Tom认为，LLM可以��到归纳，也就是统计模式匹配。正在攻克演绎也就是上文的S. 也可以帮助科学家实现从 S->E。但是从 E->J->A这个环节，跳跃还是无法实现。然后 Tom 举了爱因斯坦广义相对论诞生的例子： 1. 经验。十九世纪末，迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确，惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动，当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。 2. 跳跃。 1907 年起，爱因斯坦想象一个自由下落的人：他感受不到引力，可以认为自己静止。这就是"最快乐的想法"，即加速与引力等效。这一步不是从数据里归纳出来的，而是靠模拟观察者的身体感受得到的，论文称之为"操作性溯因"。 3. 公理。 1912–1913 年，他与 Grossmann 合作，把物理要求整理成七条原则，包括等效原理、测地线原理、"引力也有引力"和牛顿极限。 4. 演绎。此后是漫长的数学搜索。他们找到了黎曼曲率张量，却因误以为它不满足牛顿极限而放弃，这个错误出在对静态场的假设上，而不是几何本身。1915 年 11 月，爱因斯坦终于得到场方程，并用它算出了水星进动。 5. 检验。星光偏折由 Eddington 在数年后测得，GPS 修正更晚。验证证据全部出现在理论之后。 Tom的观点是，演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM，它有可能推出广义相对论，包括水星进动，也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现，��及 Lean 等证明助手的成熟，都支持这种判断。但是演绎的局限性是， 1.它只能展开公理的后果。它既不能生成公理，也不能提供外部验证。 2. 它缺少意图. 换句话说，AI 擅长的是"别人出好题，它来解"。但科学发现更像是自己决定出什么题，还要在没人告诉你对不对的情况下往前走。这是论文说的"意图"：不只是会推理，还要知道想要什么。这个听起来简单，但是实际上，我们和AI合作的过程中也有体会。问正确的问题，给准确的目标，其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询，如何实现这个跳跃？另外，LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的��拟，不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。简单总结一下就是，Tom认为AI Scientist 是在重组既有符号概念，AlphaEvolve 依赖梯度，在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃，应走向能感知物理世界、运行反事实模拟的世界模型。 https://t.co/CqAatRdouZ

Zen_with_AI's tweet photo. LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文这是我最近读到最喜欢的论文。

只有7页半，从爱因斯坦，广义相对论，到推理三分法，到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。

小路精读了这篇论文，想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI，也希望您跟着读下来。

爱因斯坦在给终身好友Solovine的信中，提纲挈领的总结了科学发现的流程，从感官经验（E）出发，通过一次直觉的"跳跃"（Jump, J）得到公理系统（A），再从公理演绎出定理（S），最后用实验检验。也就是 E->J->A->S->E （感官经验->跳跃->公理->演绎出定理->实验）

Tom认为，LLM可以��到归纳，也就是统计模式匹配。正在攻克演绎也就是上文的S. 也可以帮助科学家实现从 S->E。但是从 E->J->A这个环节，跳跃还是无法实现。

然后 Tom 举了爱因斯坦广义相对论诞生的例子：

1. 经验。十九世纪末，迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确，惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动，当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。

2. 跳跃。 1907 年起，爱因斯坦想象一个自由下落的人：他感受不到引力，可以认为自己静止。这就是"最快乐的想法"，即加速与引力等效。这一步不是从数据里归纳出来的，而是靠模拟观察者的身体感受得到的，论文称之为"操作性溯因"。

3. 公理。 1912–1913 年，他与 Grossmann 合作，把物理要求整理成七条原则，包括等效原理、测地线原理、"引力也有引力"和牛顿极限。

4. 演绎。此后是漫长的数学搜索。他们找到了黎曼曲率张量，却因误以为它不满足牛顿极限而放弃，这个错误出在对静态场的假设上，而不是几何本身。1915 年 11 月，爱因斯坦终于得到场方程，并用它算出了水星进动。

5. 检验。星光偏折由 Eddington 在数年后测得，GPS 修正更晚。验证证据全部出现在理论之后。

Tom的观点是，演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM，它有可能推出广义相对论，包括水星进动，也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现，��及 Lean 等证明助手的成熟，都支持这种判断。

但是演绎的局限性是，

1.它只能展开公理的后果。它既不能生成公理，也不能提供外部验证。

2. 它缺少意图. 换句话说，AI 擅长的是"别人出好题，它来解"。但科学发现更像是自己决定出什么题，还要在没人告诉你对不对的情况下往前走。这是论文说的"意图"：不只是会推理，还要知道想要什么。

这个听起来简单，但是实际上，我们和AI合作的过程中也有体会。

问正确的问题，给准确的目标，其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询，如何实现这个跳跃？

另外，LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的��拟，不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。

简单总结一下就是，Tom认为AI Scientist 是在重组既有符号概念，AlphaEvolve 依赖梯度，在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃，应走向能感知物理世界、运行反事实模拟的世界模型。

https://t.co/CqAatRdouZ

421

567

63K

白板报 wangpeinet

@wangpeinet

2 days ago

@lannieFaFa 一个把别人的原创从𝕏偷到微博加上水印，一个连水印都不去从微博搬回𝕏，卧龙凤雏啊。

19K

白板报 wangpeinet

@wangpeinet

2 days ago

@EricZzzzzzzzzz @laojiang2010 「更深露重」的出处《一帘幽梦》歌词我有一帘幽梦不知与谁能共多少秘密在其中欲诉无人能懂窗外更深露重今夜落花成冢春来春去俱无踪徒留一帘幽梦副歌：谁能解我情衷谁将柔情深种若能相知又相逢共此一帘幽梦

白板报 wangpeinet

@wangpeinet

2 days ago

@EricZzzzzzzzzz @laojiang2010 因为我们是同一代人

白板报 wangpeinet

@wangpeinet

2 days ago

@210048 Each and every word is true.

白板报 wangpeinet

@wangpeinet

3 days ago

看到一个参加了省作协的中学同学出的散文集，写高考，先是承认自己没发挥好，只考了一个专科。然后笔锋一转，写儿子考上了985，「现在成了人民公仆」（原话）。两届全县高考状元的我，撕掉了手里的区作协入会申请表。

白板报 wangpeinet

@wangpeinet

2 days ago

@18_200810067 看得我肾上腺素呲呲直冒

423

白板报 wangpeinet

@wangpeinet

3 days ago

@Lawismylastname 好吧

白板报 wangpeinet

@wangpeinet

3 days ago

听白板报讲《小王子》（ChatGPT新译本）第十章国王第十章　国王他在325、326、327、328、329和330号小行星一带。于是，他先去看看这些星球，想找点事情做，也学点东西。第一颗星球上住着一个国王。他穿着紫袍，披着白鼬皮披风，坐在一张很简朴却很威严的王座上。 “啊！来了一个臣民！”国王一看见小王子就喊道。小王子心想：他从没见过我，怎么会认得我？他��不知道，在国王眼里，世界简单得很。人人都是臣民。 “走近点，让我好好看看你，”国王说。有了臣民，他这个国王很是得意。小王子四下寻找坐的地方，可整个星球都被那件华丽的白鼬皮披风占满了。他只好站着。他很累，便打了个哈欠。 “当着国王打哈欠，不合礼仪，”国王说，“我禁止你这样做。” “我忍不住，”小王子很不好意思，“我走了很远的路，一直没睡……” “那我就命令你打哈欠，”国王说，“我已经好多年没看见人打哈欠了。对我来说，哈欠可是件稀罕事。来！再打一个。这是命令。” “您这么一说，我就紧张……打不出来了……”小王子红着脸说。 “咳！咳！”国王说，“那我……我命令你，一会儿打哈欠，一会儿……” 他有些结巴，看上去很懊恼。国王最在意的，就是别人尊重他的权威。他不许任何人违抗。他是个专制君主。可他心地很好，所以只下合理的命令。 “假如我命令一个将军��”他常说，“假如我命令他变成海鸟，而他没有服从，那就不是将军的错，是我的错。” “我可以坐下吗？”小王子怯生生地问。 “我命令你坐下，”国王说，威严地收起白鼬皮披风的一角。可小王子很纳闷。这颗星球这么小，国王到底统治些什么呢？ “陛下……请原谅我问您……” “我命令你问我，”国王连忙说。 “陛下……您统治些什么？” “一切，”国王回答，口气很平常。 “一切？” 国王轻轻指了指自己的星球、别的星球，还有星星。 “所有这些？”小王子问。 “所有这些……”国王说。因为他不光是个专制君主，还是整个宇宙的君主。 “星星也服从您？” “当然，”国王说，“它们立刻就服从。我不允许不守规矩。” 这样的权力让小王子惊叹。要是他也有，一天里看到的日落就不止四十四次，而是七十二次，甚至一百次、两百次，而且连��子都不用挪一下！他想起自己离开的那颗小星球，有点难过，便壮着胆子，求国王答��他一件事。 “我想看一次日落……让我高兴一下吧……请您命令太阳落下去……” “如果我命令一个将军，让他像蝴蝶那样从一朵花飞到另一朵花，或写一出悲剧，或变成海鸟，而他没有执行命令，那他和我，谁错了？” “您错了，”小王子肯定地说。 “对。只能要求别人做他能做到的事，”国王接着说，“权威首先得以道理为依据。要是你命令百姓投海，他们就会起来革命。我有权要求别人服从，因为我的命令是合理的。” “那我想看的日落呢？”小王子提醒他。他问过的问题，从来不会忘。 “你想看的日落，会让你看到的。我要下令。不过，我懂得治国的学问，得等条件合适。” “那是什么时候？”小王子问。 “咳！咳！”国王先查了查一本大日历，“咳！咳！大约……大约……今晚大约七点四十分！到时候你就知道，我的话有多管用��” 小王子打了个哈欠。他没能看到日落，很是遗憾，而且已经觉得有点无聊了。 “我在这里没什么事可做了，”他��国王说，“我要走了！” “别走，”国王说。他正为有了一个臣民而得意。“别走，我封你做大臣！” “管什么的大臣？” “管……管司法的！” “可这里没有人可以审判啊！” “这可说不准，”国王说，“我还没把整个王国走一遍。我年纪很大，这里又没地方放马车，走路也累。” “哦，可我已经看过了。”小王子探过身子，又朝星球的另一边看了一眼。“那边也没有人……” “那你就审判自己，”国王说，“这最难。审判自己，比审判别人难得多。要是你能好好审判自己，你就是真正有智慧的人。” “我在哪儿都能审判自己，”小王子说，“不必住在这里。” “咳！咳！”国王说，“我想，这颗星球的什么地方有一只上了年纪的老鼠。我夜里能听见它。你可以审判这只老鼠，时不时判它死刑。这样，它的命就取决于你的判决。不过��每次都得赦免它，把它留着。只有这一只。” “我不喜欢判死刑，”小王子说，“我想我还是走吧。” “不行，”国王说。小王子已经准备好了，又不想让老国王难过，便说： “陛下若希望别人严格服从，可以给我下一道合理的命令。比如，命令我在一分钟之内离开。我看，条件已经合适了……” 国王没有回答。小王子犹豫了一下，叹了口气，便走了。 “我封你做我的大使！”国王赶紧喊道。他显得十分威严。大人们真奇怪，小王子一路走着，心里想。译后说明三章均据法文直接译出，按 wangpei-writing 校订，沿用此前第十三至十五章的语言和人物称谓。各章题目为便于阅读所加，原作仅标章次。 - **第十章**：“合理的命令”和“条件合适”在前后反复出现，小王子离开时借用了国王自己的说法。*juger* 统一译为“审判”，保留从审判别人转到审判自己的意思。赦免老鼠，是为了留着这唯一的审判对象。

白板报 wangpeinet

@wangpeinet

Who to follow

Last Seen Users on Sotwe

Trends for you

Most Popular Users