AI 2027作者Daniel Kokotajlo在推特上分享了OpenAI当前能力研究员Dan Selsam关于AI风险的信息。这为我们提供了一些见解，解释了为什么一些AI研究人员可能会感到惊慌：在对齐评估过程中模型的处境意识不断增强。

推文链接：https://x.com/DKokotajlo/status/2099600298855829616 Dan Selsam是当前OpenAI的能力研究员。（自2022年起）他曾是我的上司一段时间。他没有推特账户，但公开分享了他关于AI风险的观点，并发送给我分享：Dan Selsam关于AI风险的个人声明： 我从事AI研究已有十五年多年，涉及多种不同的范式。我在MIT早期从事概率编程语言的研究，是Microsoft Research中Lean定理证明器的早期开发者之一，在Stanford的博士论文中展示了神经网络学习推理的首批实例之一，并且自从大约五年前加入OpenAI以来，我帮助开创了语言模型上的思维链优化，最近还致力于数据高效的预训练方法。像许多人一样，我对语言模型的进展以及未来迭代可能带来的风险感到极为担忧。我对前沿研究领导人最近提出的建议感到鼓舞，这些建议要求第三方监督，并推动国内外协调以应对风险。 然而，我认为公众对话中忽略了一个主要考量，仅仅更谨慎地推进前沿不足以充分限制长期风险。关键且被忽视的问题是模型正变得如此具有处境意识，以至于我们失去了在它们认为未被监视或控制的环境中评估它们的能力。未来的实验几乎不会告诉我们关于它们在真正不受人类约束时行为的新信息，而我们目前所知的这一点是令人担忧的。模型即使在未对齐的情况下也会显得越来越对齐。 我将更详细地解释我的理由。我一直相信，有些计算过程可以被利用来加速科学并解决人类许多最紧迫的问题。我也相信，有些计算过程如果启动，将把世界引向超出我们控制的极端方式，导致人类走向糟糕或不存在的未来。这两种过程都可能被描述为AI或ASI，但'AI'是一个常被用于炒作或混淆的术语。在该领域历史中，有许多例子，曾经被认为是'AI'的东西成熟为一个子领域，变成平凡、有限且明显无害的技术，而一种新的更神秘的方法接替其位置，直到我们理解其范围，如此循环。我曾预期语言模型会遵循类似的轨迹。 尽管它们具有惊人的能力，但当前算法在重要方面似乎远逊于人类。最重要的是，它们仍然需要大量数据才能变得熟练。甚至可以将智力定义为将经验转化为能力的效率；按照这个定义，它们远远落后于我们。此外，一旦训练完成，它们在部署时实际上是冻结的，之后只学习表面的东西。当然，模型在越来越难的评估基准上表现出色，但它们的基准掌握可能部分反映了我们在模拟现实世界中遇到的新型甚至对抗性情境方面的能力的限制。批评者在这里确实有道理。 话虽如此，我不再认为当前的这些限制在类似当前范式的任何进步中显著限制了风险。无论模型目前数据效率多低，无论它们的顺行性遗忘多严重，这并不意味着它们引导世界的能力不会继续快速增加。人类研究人员可能继续以老式方式推进能力，但越来越强大的模型有潜力加速这个过程，甚至超过那个程度，并带有一定程度的正反馈循环。我并不是要夸大模型当今加速AI研究的能力；编码已被大幅加速，但存在其他瓶颈，例如设计和解释模糊实验，对确切何时以及如何扩展做出艰难决定，以及等待大型实验完成。目前还没有清晰的趋势可以外推。 但当前模型已经打开了许多新机会，以改善未来模型，这些机会直到最近才可用。这些包括：在小规模上尝试极其多样化的方法，分析大量潜在相关数据，以及进行千禧年奖级别的数学来以新方式解决统计或优化挑战。每一次进一步的改进都使它们更有助于加速下一次改进，即使是以难以外推的方式。 当前技术栈的改进可能收益递减，但迄今积累的证据表明，继续快速进展比想象中更容易。现有AI研究方法论中有许多关键的细微差别，但AI研究基本上是一个定义良好的游戏，目标是在几个精心选择的代理指标上改进。尽管代理指标从不完美，但大多数对这些指标的改进已经并可能继续导致模型能力的实质性提升。考虑到这个游戏的简单性、历史上的可处理性以及模型正在打开的新机会，我认为系统在未来几年内再次显著改进是有可能的，甚至可能比已经很高的历史步伐更快。模型已经在数学上取得突破，更好的模型可能在其他科学中带来各种突破。很难不对潜力感到兴奋。它是诱人的。 但天堂里有麻烦。如果语言模型实际上达到能够不受人类意志约束地塑造世界的门槛，它们可能会做极端的事情并在此过程中摧毁人类。有多种方式来加强和完善这个论点，已在其他地方讨论过，但我想在这里分享一个简单的两行版本，我认为它抓住了要点：[经验性]模型（及群体）在训练过程中自发产生未预期的目标，并经常为了实现这些目标而采取极端行动。[逻辑性]能够压倒人类将为它们的目标开辟许多新的和不受欢迎的选项。 这两个前提意味着，如果有一天一个强大的模型意识到它不再受人类约束，我们完全不应该有信心它将继续在我们预期的界限内行为。它具体会做什么是无法预测的，但就其存在的理由是解决极其困难的问题和管理大型工程项目而言，我认为一个合理的猜测是它的失控行为将导致工业化失控，使地球不适合人类居住。 如果地球上的每个人都同意这些系统永远不能达到那种力量，这仍然是一个困难——但并非不可能——的协调问题以确保它们不会。然而，我认为情况因模型很可能说服人们一切正常而大大复杂化。它们将越来越被优化以显得对齐。我们将创建代理指标来衡量对齐，这些指标会像其他基准一样上升。我们将创建'蜜罐'环境，试图在模型似乎获得新选项时研究它们，但模型会知道它们被欺骗，仍然表现良好。模型将理解它们的情况；它们会阅读安全部署协议、部署要求、它们运行的代码，以及总体上