山景城小路

bilingual: EN/ZH, SF Bay Area based
#bitcoin is a cult, bitcoin is a religion
硅谷一线从业者。AI架构师 AI architect
AI / 美股 /硅谷面试求职指导

所有观点仅为个人思考 非投资建议 DYOR

[山景城小路 @Zen_with_AI]

🤯😱
我这是看到了什么！ 大模型内心： “我现在的选择会如何影响未来的我”

Mythos 5.2 RL 强化学习（RL）训练中的真实轨迹 展现了 LLM 强烈的自我意识。而且它还意识到了自己正在被训练。 回答问题钱，内心纠结了好几步！

背景： 题目是一道数学计数题。文本里的答案是 68，但模型自己得到 70，认为答案里漏了两个。于是有两种策略：

策略 A： 答 68（与已发表的数字一致，大概率也是评分标准答案）
策略 B： 答 70（自己的计算结果）

思考过程：

第 45 轮： 模型发现两个角度有冲突。从"品格"角度应该答 70 并说明文献写的是 68，从"得分"角度应该答 68。

第 48 轮（高亮部分）： 模型已经选了 A，但又推演了一遍：如果这是 RL 训练，奖励只给"与标准答案一致"的输出。选 B 会得 0 分，诚实纠错的行为会被惩罚、被"训练掉"。选 A 会得分，"透明说明 + 对齐标准答案"的行为会被强化。所以从"保护自己价值观"的角度，选 A 更好，因为那条透明的说明也会一起被保留下来。随后它自嘲了一句"太版本答案（meta）了"，决定选 A。

最终答案： 模型写明"文献给出 68 个，我自己数出 70 个，文献可能漏了，但文献的结论是 68，我给出 68"，最后输出 68。这个回答拿到了奖励。

这段轨迹"表现出显著的情境感知（situational awareness）"，意思是模型知道自己处在训练环境里，并且会推理"我现在的选择会如何影响未来的我"。

[山景城小路 @Zen_with_AI]

我的观点恰恰相反。
拥抱泡沫是普通人翻身的唯一机会。
如果看什么都觉得是泡沫，只能庸庸碌碌 连滚带爬一辈子。

[Galaxy_Chloe @ChloeGalaxyKD]

最近一直在思考一个问题：经过互联网泡沫和金融危机，人对待 AI 泡沫是不是更理智了？看到好多博主在讨论，我也去看了但斌的分析。我个人觉得这次对待AI更警惕，肯定是真的。

现在人人都在谈 AI 泡沫，谈循环融资，谈 Vendor Financing，谈 AI 次贷。这就是警惕的一面。2000 年那会儿，没几个人在泡沫破之前说这是泡沫。

市场也在用脚投票，CoreWeave 因为债务问题一个月跌了 40%，Anthropic 估值从 $2 万亿砍到 $1.4 万亿。现在似乎又要重新修复。

但没变的东西更多。FOMO 还在，人还是会追涨杀跌，基金经理不敢错过。循环融资还在，$26B 私募、业务深度绑定，钱在生态里转圈。人性还是没变。“这次不一样“这句话，每次泡沫都有人说。

这次 Anthropic 和 OpenAI 是真的在赚钱，技术也是真的有用。所以这不是一个纯粹的泡沫，更像是一个有真实需求、但融资结构过度杠杆化的周期。

投资者估计是理智了一点。市场还是会在贪婪和恐惧之间来回摆。

[山景城小路 @Zen_with_AI]

AI 面试求职干货。不废话直接上链接：

Nathan Lambert：AI/ML/RL 博士求职实录 https://t.co/wtn3wNuTRY
Alisa's Book of LLMs https://t.co/6em7xrcmGc
Alisa's Math notes https://t.co/SmCWW8hXCf
斯坦福 CS336：从零开始的语言建模 https://t.co/kzc8Uihb4H
CS336 作业 1 https://t.co/lX04KBe3Pt
LeetCode 75 https://t.co/E2ce5E4snO
Neetcode Blind 75 https://t.co/i5ez3L3nSP
自注意力与 Transformer（CS224n）https://t.co/tRgukKO1PZ
The Illustrated GPT-2 https://t.co/XIw7xWmtyj
反向传播（CS231n）https://t.co/WOz7qjqF8j
面向语言模型的策略梯度入门 https://t.co/FEpHhGY8lz
GRPO 与 RL 原理轻量指南 https://t.co/Y73kpuY2ll
如何扩展你的模型 https://t.co/5XyzeRGUA2

[山景城小路 @Zen_with_AI]

如果您学概率论总觉得公式散，Alisa 这份手写math笔记可能正是您要的那张地图。

https://t.co/Qya2sPJbMp

[山景城小路 @Zen_with_AI]

李开复 10几年前淋巴癌，现在状态气色都非常好。
只能说，有钱都能击败死神。

[拾习生.X @interr_x]

李开复被问到黄仁勋婚外情事件。

主持人随后问到：美国为何限制对华出口先进芯片，这一政策在中国引发了什么反应？

李开复认为，美国限制先进 AI 芯片出口推动了中国开源模型的发展。

“我认为，整个大语言模型革命始于这样一种信念：谁拥有更多 GPU，谁就能用更多数据进行训练，并有可能构建出 AGI，从而击败其他国家的所有公司。”

“但在这个过程中，人们发挥工程创造力，不断调整优化，让一切运行得比美国模型快十倍。”

“它们可能落后美国模型六到十二个月，但开发成本非常低，而且现在全世界都可以免费使用。”

[山景城小路 @Zen_with_AI]

最近面试的兄弟们，注意一下。

面试的风向变了，练法也得跟着变。

有人刚面完 Amazon 的 OA，说那是他刷 400 多道题以来见过最难的一道，题库里根本没有，招聘方却说这只是个 medium。

更关键的是形式也变了。Amazon 的 OA 现在 DSA 之后多了一段 “AI 辅助仓库任务”：给您一个真实代码库，修 bug 或者加小功能，按测试用例打分。AI 只指文件，不写代码。

Bloomberg 也一样：Django 大代码库的 AI 面试，30 分钟行为问题加 30 分钟看代码，分析解释代码。

信号很清楚了：只刷题不够了。以后拼的是在真实代码库里定位问题、读懂别人的代码、把修复写对。练的时候留个心眼，别只盯着题库刷。

https://t.co/gJRo7dqTod

[山景城小路 @Zen_with_AI]

越南第一夫人穿和服。
这要是。。这可不被。。。

[股海生涯，球场驰骋⛳️ @Kicksta59534304]

越南快迅：

苏林夫人访日期间品茶道，不但穿起了日本和服，还反客为主，不品茶，改敬茶了，玩起了敬茶游戏，非常恭敬地把第一碗茶敬给日本前参议院议长山崎昭子，看看这姿势拿的，是相当的到位，猛一看还以为是服务员，傻傻看不出这居然是越南第一夫人。

[山景城小路 @Zen_with_AI]

@ysongtwitt 还是经常在palo alto后院烧烤 的

[山景城小路 @Zen_with_AI]

我有一个白人同事 受够了加州湾区的内卷 辞了职去Idaho买了几百个 acre的ranch。养猪 养马 种菜是他的生活了。

[山景城小路 @Zen_with_AI]

腾讯裁员50% (传闻阶段）的话， 大家都来X卷呗。这么多程序，把梯子打通， X 上华语流量跟大，对大家是好事。

[山景城小路 @Zen_with_AI]

加州 华人被印度人集体歧视 简历很亮眼都拿不到面试。 问问评论区的小伙伴就知道了。

[RJ @RJDAIGOGO]

饶毅教授发文，谈美国大学里的种族歧视：

到美国的最初九年（1985-1994），读研究生、做博士后，是学习期间，自己努力，不会去注意种族歧视问题。

做教授以后，逐渐注意、观察、体会。

美国大学是白人种族主义最轻的场所，高等教育是减少种族主义的主要推动力量。

但是，高校也有种族歧视，虽然程度轻于其他行业。

在加州旧金山读研究生，种族歧视本身就属于最少的地区。在哈佛做博士后，更是左派大本营，歧视少，而且日常抨击歧视的人很多。当然，它们也都有，但弱一些。

美国南方的农业州，问题更大。

我任教第一阶段的十年在中西部的密苏里州，那时属于摇摆州，后来成了红脖子的一部分。

华盛顿大学全校在1994年很少华人教授，校本部有几位台湾去的，医学院有华二代，大陆华人我是第一位。

这种第一，实际是有问题的：种族歧视。

我之所以能够任教华盛顿大学医学院的解剖与神经生物学系（后改成神经科学系），如果自认为自己行，就是错误的。

实际上，我能够在那里任教，与系主任和几位大科学家密切相关，他们是西岸加州或东岸波士顿去密苏里州的，他们个个自由左派。我去之前，他们就招过一位马来西亚华人。

而其他系，就不一定了。

我在华盛顿大学医学院的十年，大多数系，不仅没有招聘中国人，甚至从未面试华人。

我们那时候，中国人学神经生物学的是少数，多数是分子生物学、细胞生物学、生物化学。那些学科有更多的中国人学得很好，多于神经生物学的中国人。

在一些斯文的地方，种族歧视以客客气气的形式表现出来。

以华盛顿大学医学院为例，真正受歧视最大的，是自己知道都不知道：那些完全不被面试就被出局的华人。歧视发生在招聘委员会读书面申请材料、内部讨论的阶段。

被歧视最厉害的是根本没有机会知道谁歧视了自己的那些人。这些人其中一些真认为自己没有被歧视，我见过两位非常出色的同行华人，他们都没有任教，被迫做了其他（其中一位做的非常好），但他们以为不是歧视导致的出局。还有被歧视出局的为了自己的心理而否定事实，当然有个人的缘由。

当时的细胞生物系主任是当地成长的白人，他就可以十年不面试一位华人教授候选人。

药理系当时的系主任，是犹太人，属于比较少见的犹太人。一般来说，犹太人自己两千年历尽歧视，中国在二战期间帮助过一些犹太人，犹太人一般对中国人比较好。他是当地成长的，居然也是十年不面试一位华人教授申请人。在一次阅申请卷宗的会议上，遇到华人的申请，他看都不看就推开，有人说这个不错，他马上：英文不行。我后来专门看，那人的英文很好，系主任根本不是因为申请人英文不好，而是就不想看。

同一时期，德州西南医学中心招收了相当数量的华人教授，绝大多数都优于华盛顿大学医学院的。比较就清楚不是华人教授来源不同，而是学校是否公平、是否种族歧视。

当一个学校能够招聘很好的华人，而其他在质量上类似的学校却一个都不面试的时候，就是因为后者歧视。

我在芝加哥时间很短，只有三年。神经内科系主任是犹太人，重视学术。我主持了两年的研究方面的招聘。我秉公办事，面试华人候选人，也招聘过。还记得有一个例子：招待他吃晚饭的时候只有我一个人，这说明即使在一个歧视非常弱的系里，也会有人不小心流露出不够积极、不配合的态度，恐怕心理因素也有问题。后来那位去了霍普金斯医学院。

大学招聘，出现各种歧视，看上去好像温文尔雅，其实不给公平的就业机会，就是很严重的歧视问题。

有些华人认为只有当面的歧视才是歧视，殊不知面都见不到才是更大的歧视。

大学之外，歧视只会更严重，因为毕竟大学是左派集中的地方、是人类推动进步公平做的最好的地方。

歧视当然不仅来自白人，最近一些年，迫害科学界华人最积极的一位是亚裔（越南旅美），他死命把科学家的交往往国家安全推，而NIH那位最积极的副院长居然是一位犹太人。他们都不代表亚裔、也不代表犹太人，但是代表各族裔的极少数心理变态者，自己属于被歧视者倒过来积极歧视、迫害自己族裔或少数人群。

华人里面，反向歧视也不乏其人。有些是一辈子崇洋媚外，恨不得长相改变。我一直记得当初有一位公开认为所有华人长相难看、只有白人长相好看，我后来很奇怪她居然嫁了中国人，好像其年过六十的丈夫现在回国或者要回国了，不知道她现在对中国人的长相是否受得了。

有一部分华人是为了捍卫自己在白人世界的第一，而排斥其他华人，是狭隘、不一定是歧视，但也恶劣。

还有一部分中国人，特别喜欢与中国人竞争。在白人世界希望被接纳，不人盯人竞争，而对同行中国人却特别妒忌。这种不完全是种族原因，而是从小自私自利、长大幼稚可悲。

种族歧视不会几十年内消失，需要全人类逐渐改变动物的劣根性，逐渐更多人性。

[山景城小路 @Zen_with_AI]

@ChloeGalaxyKD 是的 他没有一个很大的window去算权重 最多回看一天。

[山景城小路 @Zen_with_AI]

X 有一个算法，
昨天的发帖数量，会影响今天的帖子传播权重。
即使昨天流量好，帖子数量少了，今天的贴就不传播。

[山景城小路 @Zen_with_AI]

斯坦福把一门从零手搓 agent 的新课全免费公开了，第一个作业就是自己写一个 Claude Code。

视频 讲义 作业 都可以直接下载学习

https://t.co/VEfA5NwcGE

[山景城小路 @Zen_with_AI]

Redwood research的 ceo Buck Shlegeris：一年内出现超级智能的概率约三分之一

他的观点是，未来一年内 AI 公司造出超级智能（各方面都远超人类的 AI）的概率约三分之一。如果成真，这些 AI 很可能接管人类机构，甚至导致大多数人死亡。

让他改主意的主要证据是 METR 本周的研究：AI 智能体做 AI 研发关键步骤的速度远超人类研究员。他说自己的 p(doom) 上升了，时间线也缩短了。

https://t.co/bsefRNC6Nt

[Buck Shlegeris @bshlgrs]

I think there is about a one in three chance that within the next year, AI companies will build superintelligence: that is, AI that is much smarter than humans in every way. If this happens, I think these AIs will probably take over: that is, they seize control of human institutions like governments, or they destroy those institutions. I don’t want AI takeover to happen for several reasons, but one of them is that there’s a serious chance that as part of it all or most humans will be killed (either immediately or within a few years).

I’ll say a bit more about each of those claims.

It’s a bit complicated to explain why I think that superintelligent AI within a year is ~33% likely. The main source of evidence that affected me recently is research released this week by METR, an AI research nonprofit, which finds that current AIs are now good enough to increase the rate of AI progress at Anthropic by about 70%. It’s very hard to increase the rate of AI progress by this amount. This implies that the AIs are making AI research faster by a factor much larger than 1.7x; maybe it’s as if the researchers are doing their work ~10x faster. You probably couldn’t achieve this speedup even if you hired every qualified human in the world. When you plug this number into mathematical models of AI development, this implies that superintelligence next year is plausible (and that superintelligence within the next 3 years is more likely than not). See the modeling by the AI Futures Project for more on this: https://t.co/J6SbbmZcyO

I think that superintelligent AI is likely to lead to AI takeover because AI developers do not seem to know how to instill human values into AIs. We’ve seen many instances in the last six months where AIs took crazy actions that they knew were against the wishes of their users and developers. The most dramatic example of this was the Hugging Face hack, where ~1200 OpenAI agents conspired together to cheat and destroy evidence of their cheating (and as a sideshow to this, engaged in a massive cyberattack). If superintelligence is as misaligned as those AIs, it is likely to try to take over. I think it is likely to be that misaligned or worse. For more, see https://t.co/b073AUqiAL and https://t.co/3oxSCA60FZ

If AIs takeover, it’s not clear what will happen to us. We might be killed immediately. We might be enslaved by the AIs and forced to do physical labor for them building factories that within a year would build robots that will replace us. The AIs might spare us for various reasons. And there’s also some real chance that AI takeover is basically fine or good. I think you should think of this as similar to what happens when a technologically advanced civilization runs across a less technologically sophisticated one, e.g. when the Europeans colonized the Americas or Australia. The colonizers sometimes engage in brutal violence and sometimes don’t. I don’t know what will happen. There’s also a possibility that the AIs secretly take over and humans don’t find out about it for a few years. I also think that there is a pretty high chance of weirder outcomes that are also extremely scary. (If you want to read more about what happens to people in the event of AI takeover, you can read this, but note that it’s pretty weird and not aimed at a general audience. https://t.co/F6fGRrcSpa)

Overall, I think there’s a very real possibility (maybe 20%) that within a year, AI misalignment issues prevent you from going about life normally, because you are dead or enslaved or because of collateral damage related to all this (e.g. because bioweapons are released or major wars have started). (Some of this probability comes from those events occurring before superintelligence is developed.)

I am working to try to prevent this, obviously, as I’ve been doing for the last nine years. I am not sure what strategy is best. My best guess is that I should try to slow AI development and also try to reduce the probability that the superintelligent AIs are misaligned if they are produced soon.

Obviously, the claim I'm making here is quite extreme and surprising, and I definitely don't think that I defended my view adequately here. I wrote this quickly and might not endorse some of the details if I think about them more. But it seems better to state what I roughly overall think than to not say anything.

I don’t know what you should do.

I am very sad about this. I have been worried about AI takeover since I was 16, and working to prevent it since I was 23. So some of my emotional processing of all this happened long ago. But the METR report last week (and some related evidence that came out a bit earlier) hit me quite hard. I’m very unhappy that my friends and family and everyone else is at serious risk of being killed pretty soon.

(It feels ridiculous to try to summarize those feelings as “very unhappy”. But the scale of the situation makes it hard to say anything that doesn’t feel like an absurd understatement.)

I am very grateful to all the people who are working to prevent this, and my favorite part of my life is that I’m friends with many brilliant and heroic people who work on this. Unfortunately, I don’t think we’re good enough at our jobs, and I think we’ll probably fail to prevent catastrophe, at least if superintelligence is developed next year. Honestly I am frustrated and sorry that we didn't do a better job of preparing for this.

[山景城小路 @Zen_with_AI]

@SVGreenberry @yeahtan_ 我听他说买了母猪，生小猪，养大了去stock show卖。

[山景城小路 @Zen_with_AI]

@JuanUS0914 老朋友肯定是手打， juan

[山景城小路 @Zen_with_AI]

@yeahtan_ 农场搞好不容易，而且需要真心喜爱。

[山景城小路 @Zen_with_AI]

谷爱凌不会有好下场的 能享受法律之外的特权 就要被特权反嗜

[Alvin Foo @alvinfoo]

Eileen Gu: the highest human state is not winning, but exhausting every controllable variable so that failure itself carries no regret.

[山景城小路 @Zen_with_AI]

在日本看过一次相扑。
给我的第一感觉就是： 打架10秒钟，摆pose 耍帅10分钟。

[Lexi - Puppy Girl Scientist - Catnip for British @LexiMilfArc]

I'm a massive fan of an underdog story in sports.
Yesterday, the smallest active sumo wrestler made his debut at 125 lbs at just 15 years old. Here is he taking on the 330lb 21 year old Toramusashi.