xxx剑之

AI应用投研分析
某厂cvc

[郭宇 guoyu.eth @turingou]

世界的权力加速回归到写字的人手中✍🏻

[Yangyi @yangyi]

这事儿有点意思…

50 位来自字节、阿里、腾讯等机构的 AI 研究员，联合发布了一份 300 页的论文，里面有些关于代码模型和 Agent 的结论，挺出人意料。

关键点：

> 小模型也能打败大厂的专有模型

RL（特别是 RLVR）让小开源模型在推理方面超越大模型���

一个用 RLVR 在高质量验证问题上训练的 14B 模型，可以匹敌 OpenAI 的 o3。

> 模型学 Python 有点吃力

预训练��混合语言模型是好事，但 Python 和静态类型语言不太一样。

语法相似的语言（Java 和 C#，或者 JavaScript 和 TypeScript）能产生很好的协同效应。

如果把 Python 大量混入静态类型语言的训练中，反而可能因为 Python 的动态类型而适得其反。

> 语言之间有差异（代码 Scaling Laws）

让模型精通一门语言所需的数据量，很大程度上取决于这门语言本身。

论文认为 C# 和 Java 更容易学习（所需训练数据更少）。

Python 和 JavaScript 实际上更难学，有点讽刺（但你会发现 AI 最常被用于这些语言 😂）。

> MoE vs Dense（能力 vs 稳定性）

MoE 模型容量更大，但在 SFT 期间比 Dense 模型更脆弱。

训练中的超参数对 MoE 模型的影响更大，而 Dense 模型更稳定。

MoE 模型还需要持续调整学习��，以避免路由不稳定。

> 代码模型默认是「不安全」的

在公共代码库上训练，会让模型学习到多年积累的不安全编码模式。

安全微调通常效果不佳。

模型可能拒绝写仇恨言论邮件，但会很乐意生成一个存在 SQL 注入漏洞的函数，因为它「能用」。

> 结构比内容更重要

在 CoT 微调中，模板和逐步推理模式比推理的事实性更重要！

模型实际上学习的是分解问题的「认知模板」。

为推理创建合成训练数据时，逐步结构（「如何做」）比确保每个中间事实都完美更重要。

> 「Lost in the middle」问题仍然存在

新模型支持更大的上下文，但当重要代码位于 Prompt（或上下文）中间而不是开头或结尾时，准确性仍然会下降。

> 多 Agent 辩论减少幻觉

对于复杂的软件工程���务来说，这明显更好。

我认为设置辩论非常关键，如果调整不当，甚至可能导致 Agent 强化幻觉。

> 代码安全上的「对齐税」

对齐可能会降低一般的编码能力。

论文实际上提出了一种解决方案，以减轻这种税收的方式进行对齐。

想了解更多细节，可以阅读完整论文。
https://t.co/sXyz0sBiEI

[xxx剑之 @lyy1978]

@nihao_world_ @EudemoniaCC 经典

[xxx剑之 @lyy1978]

@QIX719X5hxxTWHq 你别指点我，小心我急眼

[xxx剑之 @lyy1978]

压力大到随时随地想跟任何人发癫，高攻高防状态，

[xxx剑之 @lyy1978]

@QIX719X5hxxTWHq 我买后面几部 ，可以不？就想看那个金发妹子的

[xxx剑之 @lyy1978]

@QIX719X5hxxTWHq 快更新，发那个嗑药的片

[xxx剑之 @lyy1978]

1.respect您，总您说出让人深省的话；2.很荣幸我个人有切身感受，过去一个月我���看过独立开发者+AI赛道，发现这些人不需要融���，仅是用自己独立开发的app就可以赚取不菲的收益。资本投资的逻辑在改变，时代在改变。

[𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞 @TaNGSoFT]

一场史无前例的“价值大转移”
当你把meta挖人的天价转会费和杭州良渚村越来越拥挤的大厂出走的独立开发者，和远走清迈甚至日本中东当数字游民，以及未来10年每年超千万的大学毕业生可能一半都只能去送外卖，所有这些线索连起来，你就看到了那幅最恐怖的画面。

这不是两个世界，这是一个正在高速运转的“离心机”。

AI这个“超级信息处理器”，正在将过去均匀分布在数千万知识工作者身上的“信息价值”，���狂地抽取出来，然后以万亿倍的杠杆，浓缩、注入到那几十个“总设计师”的身上。

这是一个“价值大转移”的过程。
•一边，价值被无限浓缩，形成了“奇点”。
•另一边，价值被无限稀释，导致了“坍缩”。

顶层的天价转会费，和中产的“数字游民化”，不是两个故事，它们是同一个故事的因与果。你送外卖挣的辛苦钱，通过消费，最终有一部分会变成云服务器的费用，支付给了那些正在让你这份“脑力工作”变得不再必要的公司。

我们都在为这个新时代的“引擎”添砖加瓦，但只有资本和创建智能的“总设计师”才能分享到引擎所创造的几乎全部的红利。

[xxx剑之 @lyy1978]

@PanADA_CSGO @TaNGSoFT 不是

[Dongxi 东锡 NLP @dongxi_nlp]

为什么要读AI论文？

如果你在2022年读懂了ReAct，甚至读了我2023年初写的关于ReAct的post，你或许已经领先了现在大大小小Agent公司两年。

如果你在2024年读了SWE Agent并开始做你自己的CLI Agent，今年你或许已经开始收获资本的关注。

今年如果你认真读了Agentic LLM 的论文，或许…？

大多数博士在四五年的candidate生涯里，只会有四到五篇文章，这几篇文章几乎凝集了他/她 全部的巅峰智慧，很多预���和提示了未来的趋势。

这些论文是真正的黄金钻石，而且几乎完全免费。

[xxx剑之 @lyy1978]

有成就的人总是喜欢自谦，会说运气好以及会感谢之前提携过自己的人。

但他没说也不会说自己在今天这个点破发后面做的功夫到底有多深刻，因为自吹自己做了多少不符合老中人传统。

​ 所以后面传到其他人耳朵里，全都变成了这个人牛是因为“运气＋贵人”。

能被贵人带飞的人，本身就是一只鸟

[xxx剑之 @lyy1978]

我们总以为自己有很多选择
其实我们都
没得选

[xxx剑之 @lyy1978]

@TaNGSoFT 可以吊着

[xxx剑之 @lyy1978]

@LotusDecoder 外显的形式一样，但内在动因还是不一样的嘛；
1.��特币本质是去中心化，AI本质是更集权，更以权力中心分发。AI更适用于目前的社会形态。
https://t.co/fwhdP1Y1aA统治阶层态度不同；
3.比特币赚钱的大有人在，AI这波目前还真没人赚钱，除了早期创业者和卖课的。

[xxx剑之 @lyy1978]

豆包，听劝，打开，dau才能上来。

[xxx剑之 @lyy1978]

@Gorden_Sun

[xxx剑之 @lyy1978]

@lidangzzz 苦苦百姓

[xxx剑之 @lyy1978]

@ailiangzi 明白

[xxx剑之 @lyy1978]

@ailiangzi 这样难道不会进入另一种主义？关注数值而不是关注感受？