关于AI可靠性的两种对立策略：更智能的模型 vs 独立验证

AI实验室在处理可靠性问题的方式上出现了有趣的分歧，这两种阵营实际上是互不兼容的。我想把这两种策略都摆出来，看看大家认为哪一种更具备可扩展性。一种阵营，我们称之为“更智能模型策略”，认为随着基础模型变得更强，围绕它们搭建复杂外部工程的需求就会降低。其论点是你应该投资于更智能的基座模型，而不是围绕较弱模型构建繁琐的封装层。Kimi 最近的演讲将其称为“循环工程（Loop Engineering）”而非“封装工程（Harness Engineering）”，但这个想法由来已久。Google、OpenAI 和 Anthropic 在不同时期都曾提出过类似观点。如果模型足够智能，它就能自己捕捉错误。另一种阵营，我们称之为“验证策略”，认为无论模型多聪明，都无法可靠地发现自身的盲点。如果让模型检查自己的输出，那么导致错误的同一个盲点也会主导审查工作。因此，你需要一个在结构上与生成过程分离的验证机制——一个由未参与答案生成的独立系统，对照新来源来核查答案中的声明。最近一些产品已经将这一理念直接融入其架构，设立了一个从不接触原始推理轨迹的独立验证团队。其他实验室也在进行相关工作，例如运行独立的批评模型或多源交叉验证。Apodex 是这种方法中较为清晰的实践之一。更智能模型策略非常优雅。如果奏效，你只需训练一个更好的模型，问题就迎刃而解。但AI安全的历史并不看好“只要让模型更智能”这一论点。GPT-4 比 GPT-3.5 更智能，每个 token 的幻觉更少，但在长任务中，总的幻觉次数反而增加了，因为模型更自信，用户也更信任它。一个自信但出错的智能模型，比一个善于表达不确定性的笨模型更危险。验证策略则更为复杂。它成本更高、速度更慢、架构也更复杂。但它提出了一个可证伪的具体预测：如果对同一模型增加独立验证，可靠性提升是可测量的，并且比单纯增加参数带来的提升更大。这种效果能否在受控基准测试之外泛化，仍是未知数，目前无人能给出答案。我认为实际情况是：这两种策略在不同规模下都可能成立。对于简短问题，一个更智能的模型无需验证可能就够用。但对于长篇幅、多步骤的研究任务，当上下文窗口已饱和、模型进行了成千上万步推理时，它在某处出错的概率接近 1。在那种规模下，指望模型自己发现错误未免要求过高。此时，你需要验证策略的方法。值得关注的是，这两种方法是否会融合。如果下一代基础模型在训练过程中内化了验证行为，那么“更智能模型”与“外部验证”的区分就会消失。但在那之前，这两种策略将催生出不同类型的AI系统，而可靠性的数据差异会越来越大，对那些在生产环境中部署这些系统的人来说至关重要。你认为哪种策略最终会胜出？