进入前沿AI实验室的一些笔记

几天前我写道，进入前沿AI实验室主要取决于两件事：经得起验证的研究和工程实战。

越想越觉得，这两者不像独立的技能。

它们都是同一种底层能力的体现。

大部分教育体系都围绕已知答案构建。教科书知道答案。教授知道答案。面试官通常也知道答案。即便是困难的题目，也往往只是恢复某些已存在知识的练习。

前沿实验室则处于另一种范式中。

没人知道答案。

没人知道哪些架构决策在五年后会显得显而易见。没人知道哪些瓶颈是根本性的。没人知道哪些能力目前还缺失。没人知道哪些假设能撑过下一代模型。

地图是不完整的。

这就是研究重要的原因。

人们常以为研究的价值在于产出论文。论文只是可见的产物。研究的更深层目的是训练一个人在无地图的情况下行动。你从不确定性出发，形成假设，面对现实，发现现实与假设不符，更新你的信念，然后重复。

产出不是论文。

产出是一种精炼的能力——在确定性缺失时依然能取得进展的能力。

工程方面惊人地相似。

人们常把工程实战想象成超凡的编码能力。这个词通常让人联想到快速穿行于巨大代码库、解决复杂bug或编写高度优化系统的人。

但我认为更深层的技能是别的东西。

随着系统增长，专长会发生转变。

它不再是积累知识，而是压缩知识。

一个学生能够理解整个课程项目。一位早期创业公司的工程师能够理解公司大部分基础设施。但最终系统会变得过于庞大，任何个人都无法同时装进脑子里。

现代AI基础设施更像一座城市，而非一台机器。

新的区域不断被建造。旧的道路仍在使用，因为太多别的东西依赖它们。有些区域经过精心设计。其他则是历史偶然的产物。不同的人理解不同的街区。没有人拥有整个系统完全准确的地图。

理解变得分散。

挑战不再是学习每个细节。

挑战是构建有用的抽象。

物理学家不会模拟飓风中的每一个分子。他们创造诸如压力、温度和速度这样的概念。这些抽象丢弃了几乎所有的可用信息，同时保留重要的信息。

没有抽象就没有理解。

伟大的工程师以同样的方式工作。

当他们遇到一个包含数百万行代码的系统时，他们并不试图理解每个组件。他们寻找的是能解释更大系统行为的少数几个概念。

一切都依赖哪些假设？

瓶颈在哪里？

哪个子系统影响最大？

哪些细节可以安全地忽略？

目标不是全面知识。

目标是能够预测现实的压缩模型。

这就是为什么经验丰富的工程师往往显得几乎超乎寻常地高效。他们并不是评估每一种可能性。他们是在消除可能性。他们的心智模型围绕因果结构组织。他们知道哪些事实能解释其他事实。

在一个大型分布式训练系统中，可能有上百种合理的解释来描述一个故障。最好的工程师很少逐一调查所有可能性。他们迅速缩小搜索空间，因为他们知道杠杆作用点在哪里。

从这个角度看，研究和工程开始变得惊人地相似。

研究者面对的是数量庞大的可能实验。每一篇论文都暗示三个新方向。每一个结果都会引出比它回答的更多问题。挑战不在于生成可能性，而在于决定哪个可能性值得关注。科学史充满了这样的例子：进步并非来自于解决一个困难问题，而是来自于认识到其他人忽略的一个问题的重要性。Richard Hamming 常论证，伟大的科学家与其说靠智力，不如说靠研究重要问题而脱颖而出。在突破被发现之前，必须有人识别出突破可能藏在何处。

工程动态极其相似。大型系统产生无穷无尽的异常、瓶颈、bug、性能回退和意外行为。大部分都不重要。有些是症状而非原因。少数则揭示了关于系统的某种根本性东西。工程师的任务不是调查每一种可能性，而是快速缩小搜索空间，将注意力集中在能解释其他一切的少数几个解释上。

在这两种情形中，稀缺的资源不是信息。

是判断力。

Herbert Simon 指出，智力受限于有限理性：世界包含的信息远多于任何人能处理的。因此，专长不是考虑每一种可能性的能力。专长是丢弃大多数可能性，同时保留那些重要的可能性的能力。最好的研究者和工程师在拥有完整信息之前很久，就发展出了对信号可能在哪里的直觉。

这样看来，前沿AI实验室在筛选的不仅仅是纯粹的智力。它们在筛选那些能在理解不完整的环境中构建有用抽象的人。研究，在某种意义上，是对不确定性的压缩。工程，是对复杂性的压缩。两者都涉及将大得无法直接推理的现实还原成一个足够简单、能指导行动、同时又忠于底层结构的模型。

随着模型变得更强，这一点越来越重要。知识正变得越来越便宜。获取信息的成本越来越低。就连代码生产也在变便宜。仍然稀缺的是首先决定什么值得关注的能力。哪个研究方向值得再花六个月？哪个异常结果值得调查？哪个子系统值得再花一周的工程精力？这些决策不能简单地通过提供更多信息来自动化完成。它们需要品味、判断力，以及对系统底层结构的理解。

大多数人将前沿AI描述为一场智能竞赛。

我越来越觉得，它是一场更好的抽象的竞赛。