nwl @nwldle - Twitter Profile

nwldle retweeted

5 days ago

我希望我本科研究生阶段能读到这么好的文章，我的职业发展会完全不一样。这是她做 research 的方法论，非常聪明扎实，有复利性。译文： vivek @itsreallyvivek 如何做好研究（how to be good at research）并没有人真正教过你如何做研究。你得到一张办公��、一个别人挑好的问题，以及一个“做出点新东西”的模糊指令。因此，大多数人通过他们能看到的东西（比如论文、帖子和公告）对这份工作进行逆向工程，最终他们学到的只是如何“看起来”像个研究员，而不是如何“成为”一个研究员。真正的研究能力是一系列小技能的堆叠，而几乎每一项都可以通过刻意练习来培养。挑选你自己的问题理查德·汉明（Richard Hamming）在贝尔实验室有个习惯，这让他在午餐时很不受欢迎。他会问坐在旁边的人，他们领域里重要的问题是什么，然后问他们为什么不去研究这些问题。于是大家纷纷换桌吃饭。这个问题很刺人，因为我们��多数人都给不出好答案。我们不是在选择问题，而是在吸收问题——从导师那里吸收，从某个大实验室上个季度发布的公告里吸收，从这周大家都在转发引用的论文里吸收。吸收来的问题，麻烦在于你只握有结论，却不知其背后的推理逻辑。你知道某个著名实验室关心某个方向，但你不知道为什么，不知道他们期望发现什么，也不知道什么情况会让他们放弃这个方向。当他们转向时，你一年后才会察觉。而且，在一个已经流行起来的问题上，你是在和一千个起步比你早、算力比你多的人赛跑。约翰·舒尔曼（John Schulman）的机器学习研究指南将这项工作分为两种模式。第一种，你阅读文献并寻找可以改进的地方。第二种，**你选择一个你真心希望实现的结果，然后反推去设计实验。**他主张第二种，其隐晦的原因在于这能制造出原创性。一个你真正关心的目标，会把你拖入任何综述论文都未曾覆盖的领地。至于“品味”（taste），人们常把它当成一种天赋来讨论。但它表现得其实更像是一块肌肉。在运行每次实验前，先预测它的结果；遮住一篇论文的结果部分，仅凭它的方法来猜测数据；记下这个月发布的哪些成果在两年后依然重要，以后再来验证你的命中率。一次预测加上一次纠错，重复几百次——每一个好模型都是这样训练出来的，包括你脑子里的那个。升级你的输入共享的阅读清单产生共享的想法。如果你的信息口粮只是 arXiv 的热门榜单加上群聊筛选后剩下来的东西，你必然会跟所有人��时得出同样的结论，这也使得这些结论几乎一文不值。旧资料的价值被严重低估了。这个领域总是延时重演自己的过去：混合专家模型（MoE）可追溯到 1991 年，LSTM 到 1997 年，反向传播在 1986 年就成了主流。理查德·萨顿（Rich Sutton）在 2019 年只用了一千来字就写出了《苦涩的教训》（The Bitter Lesson），而它对该领域发展轨迹的预测，比篇幅长它十倍的综述还要准。克劳德·香农（Claude Shannon）在 1952 年做过一场关于创造性思维的演讲，他的第一招就是把问题缩小到几乎微不足道的程度，破解这个缩小版，然后再将难度一点一点地加回去。单凭这一招，就能帮你撞破比任何现代生产力建议都要多的墙。 **广度和深度一样重要。**可解释性研究毫不掩饰地借鉴了神经科学；评测（Eval）设计就是披着白大褂的机制设计；只要对 GPU 到底如何移动内存有实际的认知，你就能在基准测试结果出来之前判断出哪些架构论文注定会失败；而诚实的统计学可能已经是机器学习领域最稀缺的技能了，在这里，许多公开发表的“严谨”，不过是带有误差棒的“感觉”。还有一件事。**去读论文本身，而不是读总结它的帖子。**附录才是埋藏秘密的地方，而“局限性”部分通常是整篇文档中最诚实的一段。把一切都写下来保罗·格雷厄姆（Paul Graham）指出，一个想法在你试图把它变成文字之前，总感觉已经非常成熟了。但白纸黑字会暴露出你大脑粉饰过的漏洞：你从��测试过的假设、其实并不连贯的步骤、两个悄悄自相矛盾的主张。费曼（Feynman）的原则是，你必须避免欺骗的第一人就是你自己，因为你是最容易上当的目标。**写作是有史以来发明的最廉价的防御机制。**达尔文走得更远，他将其程序化了：任何违背他理论的事实都会被当场写下来，因为他发现自己的记忆删除不便证据的速度，远比删除有利证据的速度快。你的记忆对你失败的运行记录也是如此。保持做日志的习惯：假设、设置、预期、结果、更新后的认知。重读上个月的记录会让你感到极度谦卑，没有任何审稿人能带来这种效果。

34

1K

225

1K

140K