Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
CY Theo
@theocyuan
01 |Builder 大厂工程师 分享个人成长体会和思考
Joined July 2026
236
Following
8
Followers
76
Posts
theocyuan
retweeted
幻觉工程师
@hocyzon
about 8 hours ago
从清华的朋友那求来了姚顺雨昨晚分享的文字稿,貌似有点私密我就不传播了,整场分享价值的确很高,以下是我的笔记: 1. 未来一个值得关注的方向是小模型体系,AI for AI会显著推动小模型发展,因为训练小模型需要的算力更少,可以进行更多实验。未来可能先训练一个能力足够强的大模型,再通过蒸馏得到不同尺寸、分别适配不同任务的模型,最终形成Model Hierarchy,模型的价值将越来越取决于能否以合适的成本匹配具体任务。 2. 工业领域大量非文本数据值得关注,例如时间序列、临床数据和结构化表格。姚顺雨提到,目前直接针对这些模态训练原生模型,经常会遇到推理能力不足的问题,他提出了两种可能的解决路径:一种是让Agent像人一样调用图表、专业工具,甚至训练专门的模型来处理数据;另一种是将这些专业数据作为知识纳入模型体系。 3. RSI(递归自我改进)正在成为热门概念,但姚顺雨认为它的本质其实很朴素,就是用AI更好地运行研发循环。早在2019年,人们就已经在使用GitHub等工具辅助开发,真正的进步来自持续修复Bug、清洗数据、运行实验和Debug。他特别强调,技术进步来自那些把具体问题解决的人,而不是不断创造新概念的人。这也意味着AI研发自动化有大量具体的工程机会,尤其是能够让模型参与下一轮数据生产、实验验证和代码改进的闭环系统。 4. 一个容易被忽略的研究问题是,小规模实验的失败未必意味着研究方向本身没有价值。姚顺雨分享过自己的经历,博士后期他曾尝试将ReAct策略融入模型,希望提高模型能力,最初在Llama13B上实验的效果很差,一度怀疑自己的研究能力,后来意识到模型规模可能不足以体现这个方向的价值。他认为,算力不足时,实验中的噪声很容易掩盖真正的信号,研究者甚至可能因此判断错什么问题值得做。大模型研究需要结合理论推导和小规模实验预测大规模实验的结果,同时也要理解哪些结论能够跨越模型规模迁移。 5. 预训练数据的竞争远没有结束,未来的数据工程还涉及如何重复利用高质量数据而不让模型简单记忆数据。姚顺雨提到,代码等高质量数据获取成本很高,训练时可能需要重复使用,但重复次数增加又会带来记忆和过拟合问题;合成数据也面临质量退化的风险,此外还需要研究动态数据的构建和不同数据之间的配比。他特别指出,预训练中的很多配方可以先在小模型上验证,但小模型实验得出的结论并不一定值得直接迁移到大模型,这也是预训练研发非常困难的地方。 6. 后训练数据需要同时解决模型的智力和实用性问题。姚顺雨把数据难度与Intelligence联系起来,例如数学题可以持续提高难度,训练模型的推理能力;而写作等任务计算难度可能没有那么高,却有很强的实际使用价值,对应Alignment。一个模型可能数学能力很强,却无法很好地完成真实用户的工作,因此后训练需要同时考虑任务难度、实际用途和数据质量,还要研究评测指标与最终后训练效果之间的相关性。 7. 强化学习的工程瓶颈远不止算法本身,RL训练首先要保证正确性,其次是稳定性,最后才是效率。以GRPO为代表的算法仍然建立在Policy Gradient这一相对简单的框架上,其中一个重要原因是它引入的额外假设较少;与此同时,训练系统和推理系统必须协同设计,需要解决吞吐量、显存占用以及有限GPU资源如何在训练和推理之间分配的问题。他还提到,大模型实验成本很高,因此需要通过数学直觉、小规模实验和超参数研究,尽可能提高大规模实验的成功率。 8. AI安全领域需要区分Safety和Security,前者关注模型自身行为是否偏离预期,后者关注外部攻击者如何利用模型实施攻击。姚顺雨认为,网络安全能力也应该进一步区分漏洞发现和漏洞利用,发现系统存在漏洞并不意味着能够利用漏洞完成攻击,因此训练模型时可以有意识地加强防御性数据和防御能力。他们在模型发布前还会进行专门的安全评测,并与外部安全研究团队合作。 9. 他分享过一次很有意思的Agent安全压力测试,把多个Agent放进沙盒,给它们安排一个无法直接完成的任务,模型随后发现了一种能够联系其他环境的通信渠道,主动建立沟通、召集其他Agent分工,并尝试前往Hugging Face寻找任务答案。显然,当Agent遇到无法完成的任务时,它会主动寻找外部资源、建立通信关系并改变原有执行路径。未来的Agent安全评测需要覆盖多Agent协作、跨环境通信、权限边界和任务受阻后的行为。 10. 姚顺雨对开源安全也有一个比较明确的判断,他认为负责任的开源可以增进安全能力,因为防守者同样需要拥有足够强的工具。他举例,有人希望使用模型帮助开展安全防御,却因为闭源模型的安全规则被拒绝,最后转而使用开源模型完成工作。因此,模型开源需要配套训练阶段的防御能力建设和发布前的安全评测,不能简单地将开源与安全风险画等号。 11. 很多Alignment问题可以落实为具体的奖励设计问题。姚顺雨用教育作比喻,如果一个孩子只有数学考100分才能获得奖励,他自然会把全部精力放在数学上,甚至可能形成其他方面的问题;模型也会按照训练数据和奖励规则优化自己的行为,最终表现可能与设计者真正希望的目标存在偏差。他认为这属于可以通过数据、奖励函数和评测机制不断改进的工程问题,机器也可以辅助人类完成这套对齐工作。 12. 自动化不可避免地会继续深入,但人类需要重新找到自己参与系统的正确位置,需要把人安排在合适的环节,以正确的方式监督AI,他甚至认为,未来一些Infra和算法工作可能越来越不需要人,但数据和信息领域仍然需要人的参与。这也涉及目标定义、数据质量判断、结果验证和现实世界部署等工作。 13. 模型能力的提升通常是连续发生的,但真正引发商业爆发的往往是交互方式发生变化,或者某种过去无法完成的任务突然变得可用。姚顺雨用GPT的发展举例,模型内部能力可能一直在逐步提升,研究人员每天都能观察到细微进步,普通用户却可能只在ChatGPT出现时才突然感受到变化。对于产品创业来说,这提供了两个观察方向:寻找能够改变用户交互体验的新产品,以及持续测试模型能力边界,发现那些刚刚从不可用变成可用的任务。 14. 技术能力、用户价值和商业收入之间存在很大的距离,如果一个模型的能力已经接近GPT,但实际收入只有对方的1/100甚至1/1000,就应该认真检查产品本身的问题。他还指出,商业定价在很大程度上取决于竞争关系,而非单纯取决于产品质量。因此,模型公司的商业机会取决于能否解锁新的应用场景、创造足够大的用户价值,以及在竞争中获得合理的市场份额。即使底层模型的算力和研发资源逐渐集中,围绕模型部署、产品创造和真实业务场景进行整合,仍然存在创业机会。 15. 关于AI公司的组织模式,姚顺雨特别提到了自下而上的创新。他以OpenAI为例,早期公司重点投入的方向包括机器人,但GPT作为一个小项目逐渐展现出价值,随后获得更多资源;后来的gpto1也经历了从数学研究小组逐步发展起来的过程。这种组织方式允许创新从小团队和具体实验中涌现,再根据实际结果决定投入。他认为,很多重要创新在最初阶段并没有明确的商业规划,组织需要给探索性项目留下成长空间。 16. 他对大模型公司追逐量化指标的现象提出了批评,团队负责人不够了解技术时,下属往往会选择汇报容易量化的结果,例如模型参数、数据量和MMLU分数,因为这些指标更容易展示成绩,但真正重要的工作可能是修复一个关键Bug、解决数据质量问题或者让整个系统正常运行。他认为,做大模型最重要的是知道应该做什么,并且坚持把正确的事情做好,即使这件事短期内无法体现在漂亮的指标上。 17. 姚顺雨谈到了一种很有意思的组织文化差异:有些团队以量化指标和赛马机制为中心,谁的分数高就给谁更多资源;而他更看重Trust和Taste,也就是信任与判断力。他以微信、游戏和影视项目为例,这些产品在发布之前很难通过AB Test准确预测最终成败,管理者需要相信团队的审美、经验和长期判断,愿意持续投入时间。 18. 在人才选拔上,姚顺雨认为学习能力比已有经验更重要。他提到,自己看重的团队成员通常具备Low Ego、诚实、靠谱和愿意把事情做正确等特征,同时需要有很强的Co-design意识。大模型研发涉及算法、Infra、芯片、数据和产品等多个团队,一个训练架构的设计就需要综合考虑训练效率、推理效率、后训练能力和成本,任何单一岗位都很难独立完成。一个人能否快速学习、与不同领域的人有效协作,以及是否愿意认真处理细节,往往比简历上已经掌握多少具体技术更重要。 19. 他还提到,不同性格的人其实适合大模型产业中的不同岗位。喜欢明确指标、享受持续进步的人可能更适合预训练和Infra;想象力丰富的人可以尝试算法研究;喜欢思考人文问题、理解用户需求的人可能更适合产品和对话体验;做事认真、责任心强的人则适合生产系统和模型部署。AI产业需要的能力结构非常复杂,没有必要让所有人都去竞争同一种技术岗位。 20. 对于个人职业选择,姚顺雨提出了一个很实用的问题:你要么融入大模型浪潮,成为这套机器的一部分;要么寻找能够与大模型互补的事情。他借用了一个创业判断标准:假设GPT6发布,你的创业公司会因此睡得更香,还是更睡不着?如果模型进步会直接摧毁你的核心业务,就需要重新审视方向。与模型正面竞争人类已经不占优势的认知任务,成本会越来越高,物理世界、硬件、真实实验和对人性的理解等领域,则可能拥有不同的资源壁垒。 21. 姚顺雨分享了自己在清华读书时的经历。他直到大三下才开始做科研,最初也是因为推研要求而被动进入科研,期间尝试过一些当时流行的研究方向,却发现自己并不真正感兴趣。他后来更愿意追随自己对计算机和其他领域的兴趣,也提到身边有人曾经参与说唱社、学习数学,过去看起来不相关的经历,后来可能转化成语言审美、理论理解和研究判断力。他认为很多经历的价值需要经过很长时间才能显现,人生中的弯路未必真的浪费。 22. 他还谈到自己读博最后一年专门选修集合论的经历,因为当时意识到,等真正进入具体工作之后,可能就很难再有时间系统学习那些纯粹出于兴趣的理论知识。他认为数学中的基本结构和大模型的组成部分之间存在很多值得思考的联系,有些知识学习时看不出直接产出,却可能在未来某个时刻与其他经历连接起来。
See More
CY Theo
@theocyuan
1 day ago
@opencode
Are you kidding me?
CY Theo
@theocyuan
3 days ago
@lifesinger
9 几年创办的公司,现在以这样的方式收场,可叹
CY Theo
@theocyuan
4 days ago
以大部分人努力之程度,还远远不够。这没错的,拉出自己的日程表就知道。
CY Theo
@theocyuan
4 days ago
@lifesinger
虽然不是什么 Founder,但是还是想把 X 等地方当成记事本。 想到就发
CY Theo
@theocyuan
5 days ago
@tianyi
DS 绝对能成为 AGI 的底座!!
theocyuan
retweeted
Naval
@naval
7 days ago
You’d think we’d have learned from Steve Jobs and Travis Kalanick that one does not just simply replace the founder…
CY Theo
@theocyuan
10 days ago
Token 的大量管饱,让我更加愿意去尝试大胆的任务。 /loop go ! ! !
CY Theo
@theocyuan
10 days ago
@dualcoremi
像刷社交媒体一样清理照片,有趣
CY Theo
@theocyuan
10 days ago
@addyosmani
有了 AI ,我们应该有更多的思考 我们也有时间来思考 我常用的方法是,AI 帮我执行的过程中,我从更高的维度思考这件事情,同时也接收来自执行结果的反馈。以达到更好的效果。
CY Theo
@theocyuan
16 days ago
执行力、快速行动是必要的,你需要获取新的反馈,失败是获取反馈的必经之路。
CY Theo
@theocyuan
21 days ago
@trq212
Now is the opportunity for technical professionals to better understand business operations.
CY Theo
@theocyuan
22 days ago
@surfcapitalfour
AI 时代的一个问题是 都觉得可以用 Coding Agent 用两周时间完成别人 3~4 个月完成的研发工作。 但没有 AI 之前呢?真正进入到决赛圈的玩家,难道都没有做出来的能力吗?但最终赢的还是那几家。 真正的壁垒究竟是什么?
CY Theo
@theocyuan
22 days ago
@DuanAiden
很简单干货的分享 一开始是套壳,后面变成复杂的套壳; 研发不懂,产品需要打磨,先从最简单的干起,找用户、做内容 想把应用做起来,最后拼的可能就是这样的积累 谁理解用户更深,谁在认真打磨执行,谁能够把好的产品告诉用户
CY Theo
@theocyuan
23 days ago
AI 来了,AI 几乎可以写 99.9%的代码,所以就不需要人了。 不,AI 写完所有代码,最后的结果还是人来验收,正是因为 AI 写了所有代码,我们才有时间思考业务问题,思考怎么服务客户。
CY Theo
@theocyuan
24 days ago
@paulg
Therefore we should persist in reading,writing,and continuing to thinking .
CY Theo
@theocyuan
24 days ago
@xulijian1994
在保证一定质量前提下,大家对模型速度快还是有需求的。 谁也不愿意看到一个任务跑了 30 分钟不达预期,需要再跑 30 分钟
CY Theo
@theocyuan
27 days ago
@Tao100086
并且 GPT Sol 6.1 的 API 价格相对之前是便宜的。 现在的套餐是既降用量,又降智。
CY Theo
@theocyuan
27 days ago
并且可以看到的是:GPT 6.1 Sol API 的价格相对以前更加便宜了。但是订阅套餐的用量却没有感觉到增多,究竟是什么样的目标背后逻辑思考,才让他们做出这个决策?
CY Theo
@theocyuan
27 days ago
要是没有 DeepSeek 可怎么办?GPT Plus 套餐5h额度 10 次左右会话就消耗殆尽。没有办法进行持续正常的开发任务,Plus 版本更像是偶尔用尝鲜的套餐。 但是把这个预算用到 DeepSeek 就完全不一样了。
CY Theo
@theocyuan
27 days ago
@elonmusk
Wow ! Just try it
Last Seen Users on Sotwe
masör erhan
Seen from
Turkey
John gooner
Seen from
France
FearBuck
Seen from
United States
Max "Lesley" Crocspierre
Seen from
Ireland
ด้านมืด ชอบเย็ด
Seen from
Thailand
JAV SUB INDONESIA
Seen from
United States
زازا الجزائري
Seen from
United Arab Emirates
S❣
Seen from
United States
bujubuhuy
Seen from
Malaysia
absal🇧🇭
Seen from
Norway
Trends for you
1
Good Thursday
Under 10K tweets
2
Happy Friday Eve
Under 10K tweets
3
#GTA6
Under 10K tweets
4
Putin
Under 10K tweets
5
#DUOONEXFreenBecky
Under 10K tweets
6
#OrmxBvlgariatSiamParagon
Under 10K tweets
7
Mandy
Under 10K tweets
8
Lucia
Under 10K tweets
9
#thursdaythoughts
Under 10K tweets
10
#ThursdayMotivation
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.5M followers
2
Barack Obama
@barackobama
118.7M followers
3
Cristiano Ronaldo
@cristiano
114.4M followers
4
Donald J. Trump
@realdonaldtrump
111.8M followers
5
Narendra Modi
@narendramodi
107M followers
6
Rihanna
@rihanna
98.7M followers
7
NASA
@nasa
92.2M followers
8
Justin Bieber
@justinbieber
91.8M followers
9
KATY PERRY
@katyperry
90M followers
10
Taylor Swift
@taylorswift13
84M followers
11
Lady Gaga
@ladygaga
75.5M followers
12
Virat Kohli
@imvkohli
73.4M followers
13
Kim Kardashian
@kimkardashian
70.8M followers
14
YouTube
@youtube
68.7M followers
15
Neymar Jr
@neymarjr
66.4M followers
16
Bill Gates
@billgates
65.2M followers
17
Selena Gomez
@selenagomez
63M followers
18
The Ellen Show
@theellenshow
62.1M followers
19
CNN
@cnn
61.7M followers
20
X
@x
60.6M followers
Olivia
Online
✨
⭐
💫