AI coding 一个实践:每次做重大功能/改动之前先用 plan mode 做一个 research / design doc,然后再基于这个 doc 做实现的 plan。
design doc 加上编号存到一个文件夹里,commit 进仓库。这就类似你的设计思路的 db migrations,记录着整个项目进化思考的脉络。
Is Chain-of-Thought Reasoning of LLMs a Mirage?
... Our results reveal that CoT reasoning is a brittle mirage that vanishes when it is pushed beyond training distributions. This work offers a deeper understanding of why and when CoT reasoning fails, emphasizing the ongoing challenge of achieving genuine and generalizable reasoning.
... Our findings reveal that CoT reasoning works effectively when applied to in-distribution or near
in-distribution data but becomes fragile and prone to failure even under moderate distribution shifts.
In some cases, LLMs generate fluent yet logically inconsistent reasoning steps. The results suggest that what appears to be structured reasoning can be a mirage, emerging from memorized or interpolated patterns in the training data rather than logical inference.
... Together, these findings suggest that LLMs are not principled reasoners but rather sophisticated simulators of reasoning-like text.
我把这称之为“AI 蜜月期”,通常是编程新手在刚开始尝试用 AI 写了几个小项目之后发自内心的激动,完全能理解。另外很多观点其实也赞同的,但整体还太过乐观,尤其是编程部分,因为软件工程范式其实还没有根本性改变。
赞同的部分:
- rule based的设计模式走向半开放式
- 产品经理和设计能做 MVP
- 如果自己本就逻辑混乱,那么Bug将层出不穷
部分赞同
- VOC(用户之声),AI 捕捉情绪信息整理很强,但是挖掘用户需求 AI 做不到或者做不好,需要人
- SEO,AI 虽然懂很多 SEO 知识,但是不同场景的应用 AI 做不好;另外 AI 知识库更新不及时,Google 的 SEO 规则一直在变化,它可能会按照老的 SEO 给建议
- 研发和测试将开始变得模糊,这在 AI 之前DevOps兴起时就已经开始了,大厂早已没有多少专职测试岗位,主要是依赖自动化测试和研发自己测试,AI 只是让自动化测试效率更高
不认同
- 内容生产自动化,AI 产生的内容未来会趋于平庸,普通人会对 AI 内容免疫,本能抵触 AI 生产的内容,SEO 也会降低 AI 内容权重,过于依赖 AI 生产内容会适得其反
- 普通的研发不会被逐步淘汰,在编程范式发生本质改变之前,不会淘汰普通研发,但技能要求会发生一些变化,需要学会如何用好 AI。
- 写好一份给AI的逻辑文档,并不能获得好的代码,代码不仅仅需要逻辑,还要和环境交互,要处理各种边界条件,还有用户体验等等。
- PRD工作,从来就不是单一的产品经理或者研发的职责,以前不应该是未来也不会是
-AI时代也不会是通才的时代,通才即使借助 AI 也做不出有深度的作品,因为无法分辨AI生成结果的好坏,专才利用 AI 也不能马上变成通才,因为不同领域有很多领域知识也不是靠AI能很快弥补,甚至都不知道该怎么提出正确的问题。
AI时代确实是加速了学习速度,想变成通才和专才比以前更容易,但依然需要主动学习。
最后,这些预测都需要加上时间期限,我的观点是未来5年内。