禅与 AI 研究艺术

你想做 AI 研究？确实没有人真正教你怎么做。至少，没有人直接教过。但其实入门的路径很简单：无非是（一）阅读和（二）动手构建相结合。两者缺一不可。你只有在二者结合中才能成为一名研究者。

事实证明，成为一名优秀研究者的过程，与学习冥想并无二致：

一.

有一句古老的禅语大致是这么说的——

有悟之日，我们静坐。 无悟之日，我们静坐。

做研究大抵也是如此。科学上的洞见似乎可以随机降临。大多数时候它们并不会出现。成功的一个重要特质就是投入时间和精力。就像其他任何追求（音乐、体育、销售等）一样，如果你想成为世界级的人才，就需要极大的自律。

Noam Shazeer 在 SwiGLU 论文中巧妙地致敬了成功研究想法固有的随机性：

“我们不解释为什么这些架构似乎有效；我们将它们的成功，像其他一切一样，归因于神圣的仁慈。”

另一个相关的评论是，读太多论文也是可能的。如果你想解决一个问题，经过验证的成功路径是：尝试一个解决方案，试试看，遇到瓶颈，再试图解决它，只有在自己想不出办法时才去查阅文献。

二.

好吧，那我应该研究什么？

如果你刚刚起步，我诚实的答案是：我认为具体的研究主题并不那么重要。

即便如此，我会提醒你避免选择那些流行时间不到六个月的东西。AI 发展很快，但基础思想四十年来并未改变。如果你想以此为职业，我不建议你过分纠结于 2026 年的概念：比如 harnesses、agents、context engineering 等等。这些东西会变。

相反，回归基础会让你学到更多：理解什么是交叉熵。手动计算一个小的分布。深入理解 SVD，直到你能在脑海中想象它。不要过多思考专门用于编码的 RL，而是学习策略梯度背后的思想、它们为什么有用、以及为什么它们几十年来一直流行。

还有一个元评论：如果你的研究项目最好的结果就是在现有基准上提高分数，那么你还没挖得足够深。通常，现有的数据集无法测试新的有趣能力。

Jason Wei 提出了相似的观点：

在 AI 研究中，一项被低估但有时能决定成败的技能（十年前并不存在）是找到真正能测试你所开发新方法的数据集的能力。

至于具体的建议，我无法给出；这必须由你自己找到。深入下去，专注于基础，不要追逐基准。保持在水里，想法自然会来。

三.

初学者的心里有很多可能性；专家的心里却很少——铃木

如今硅谷经常听到的一种说法是，AI 研究的经验在现代可能反而会损害良好的研究直觉。我近距离观察过这种现象的某些方面；许多来自预扩展时代的研究人员仍然热衷于设计小规模有效的方法，但当规模扩展时，这些方法显然会失败。

OpenAI 一个非常令人印象深刻的地方是，公司里大多数人（至少在技术方面）都在 35 岁以下。ChatGPT 的许多重要决策者都在 30 岁以下。我们可以从中得出的一点是，由于 AI 是一个如此新兴的领域（ChatGPT 还不到四年！），没有人拥有巨大的优势，因为没有人研究它太久。

简而言之，长期固守某些想法实际上可能适得其反。保持开放的心态，拒绝让自我蒙蔽你的判断。

四.

灵感总是在你最不经意的时候袭来。

这里有两个历史上的例子：

• 著名的苯环结构的发现来自一个梦：这种结构从未被见过，但被想象成一条咬着尾巴的蛇。

• Ozempic 基本上来自蜥蜴。它模拟的 GLP-1 激素最初是在吉拉毒蜥的毒液中发现的，这是一种一年只吃几次的沙漠蜥蜴。不知怎的，我们找到了让它在人类身上也起作用的方法。

一个重要的启示是，要做好研究，你必须做研究之外的事情。我个人大多数“顿悟时刻”都不在键盘前发生，尤其是在散步的时候。

达尔文、特斯拉、费曼、亚里士多德。历史上许多伟大的思想家都宣称舒展双腿、出去走走有巨大的益处。即使你不做研究，你也应该多出去散步。

五.

即使灵感来袭，大自然也可能并不仁慈：即使实现得完美无瑕，我们的想法可能在某种根本意义上就是不对的。或者也许它曾是对的，或者看起来是对的。当结果出来时，我们该如何反应？

另一个我们可以从禅宗借鉴的原则是（实验上的）平静心。

分析实验时：

结果很好？太棒了！

结果很差？也很棒！

两种结果教会你的信息量是一样的。事实上，从一连串的阴性结果中往往能比从单个阳性结果中学到更多。“哇，它还是不行——太不可思议了！”这才是做研究的健康态度。

反过来，你也不应该对好结果过于兴奋。事实上，大多数好结果都是因为 bug 导致的；并非结果本身好，而是你测量错了，并且说服了自己。每个人都希望自己的想法能成功——这是好事！——但所有经验丰富的研究人员都共同具备的一个特质是极度怀疑，尤其是在结果看起来好得令人难以置信的时候。不幸的是，它们几乎总是如此。

六.

** **一朵花不会去想和旁边的花竞争。它只是盛开。

研究是极其结果导向的。尤其是在学术界，人们很容易看到别人纸面上的成功，转而陷入情绪。

人们因不同原因而成功。有些人运气好。尤其是学术评审过程，既不一致也不公平。当你的领域有新研究问世让你钦佩时，问问自己这个问题：

我是否在足够深的层次上运作，以至于我自己本来也能做出这个发现？

现在有两种可能的结果。如果答案是肯定的——很好。你的流程没问题，但你没有做出这个发现；你太忙了，在做别的事情，但你本来可以的。

如果答案是否定的——那么把这当作动力，去挖得更深。

七.

开悟前，砍柴挑水。开悟后，砍柴挑水。

许多成功的项目通常背后都有成百上千小时的苦工。Andrej Karpathy 亲自标注了 ImageNet 的相当一部分。SWEBench 的创建者，在许多方面领先于他们的时代，花了数百小时精心筛选 GitHub 数据，以获得一小批可用于评估的、易处理的 GitHub issues。

如果你看看优秀研究者的职业生涯，他们很可能在成功之前花了大量时间在默默无闻中工作。习惯这一点。一个想法越是雄心勃勃、越是超前，彻底实现和评估它所需的工作量可能就越大。这种困难是特色，不是缺陷。

八.

Collin Raffel，一位我非常尊敬的了不起的研究者，曾提到他认为很多想法失败不是因为想法本身不好，而是因为代码中有研究者从未发现的 bug。

总的来说，这是一个非常棘手的问题，尤其是在 LLM 的世界中。现代的深度学习软件栈极其复杂，bug 可能出现在任何地方：训练中、推理中、harnesses 中、数据中。

如果某样东西看起来不对，你不能置之不理。你可以并且应该记录很多指标，并努力理解所有这些指标。如果某些指标看起来与你的预期不同，你需要找出原因，因为可能出了什么问题。我以前在推特上说过，研究者最重要的特质之一就是健康的偏执。保持偏执！

九.

一个实际的问题是，大多数涉及深度学习的实验耗时太长。训练模型可能需要数周或数月。如今，在一个单一任务上评估一个模型可能需要好几天。

尤其是在使用 agents 编码时，我们的本能可能是同时启动许多实验，让它们全都以缓慢的节奏运行。虽然简单的并行化在一定程度上有所帮助，但上下文切换是一种有害的模式。

至关重要的是，你要设计支持快速实验反馈的人性化研究工作流程。缩短训练的冷启动时间，创建能快速返回结果的小型评估。我非常欣赏 Keller Jordan 的 nanoGPT speedrun，它充分展示了从快速迭代周期中能学到多少东西。

（话虽如此，归根结底，有些结果不可避免地需要很长时间。在可能的情况下，保持状态持续数天，并在本周的今天理解上周结束的实验，是一项极其有用的技能。）

十.

编码 agents 能帮助你更快行动，但它们使两个问题变得更糟：我们更难理解基本细节，并且我们更频繁地切换上下文。优秀的研究者会积极对抗这两种力量。

Codex 可以为你编写训练脚本；它甚至可以执行脚本，在运行期间照看它，解释结果，并通过邮件发送给你。但也许它遇到了错误，并在没有询问你的情况下缩短了系统提示。也许它为了在合理时间内完成评估而缩短了序列长度。也许它运行了错误的配置，因为你没有指定。

从工程的角度来看，这些都是小错误，容易修复。但从科学的角度来看，它们是严重的：像这样的小遗漏可能会实质性地改变论文的重要结果，因此是不可接受的。小心陷阱。即使你没有编写代码，如果你想理解你的结果，你也需要理解产生这些结果的系统。

我跟你直说吧——这很难！将理解外包给机器是很有诱惑力的。对于许多应用来说，这确实更快。但做好科学需要学习整个系统的工作方式，这样你才能确保对它的观察是真实的。没有简单的办法绕过这一点。

十一.

长话短说：天赋不是成为成功研究者的全部。性情被大大低估了。保持好奇和坚持，保持深思熟虑和一丝不苟，想法自然会来。