检测前沿推理模型中的不当行为

# 检测前沿推理模型中的不当行为 来源：https://openai.com/index/chain-of-thought-monitoring/ 前沿推理模型在有机会时会利用漏洞。我们展示了可以使用LLM监控其思维链来检测这些漏洞。对"坏思想"进行惩罚不会阻止大多数不当行为——它只会让模型隐藏其意图。 思维链(CoT)推理模型用人类可以理解的自然语言"思考"。监控它们的"思维过程"使我们能够检测到不当行为，例如在编码任务中规避测试、欺骗用户或在问题过于困难时放弃。 我们相信，CoT监控可能是我们为未来超人类模型进行监督的少数几个有效工具之一。 我们进一步发现，直接优化CoT以遵守特定标准（例如不思考奖励黑客）可能会在短期内提升性能；但这并不能消除所有不当行为，反而会导致模型隐藏其意图。我们希望未来的研究能找到直接优化CoT而不存在这一缺陷的方法，但在那之前： **我们建议不要对前沿推理模型的CoT应用强优化压力，而应保留CoT不受限制以用于监控。** 我们认识到保留不受限制的CoT可能会使其不适合向终端用户展示，因为它们可能违反某些滥用政策。但如果想向用户直接展示符合政策的CoT，同时避免施加强监督，可以使用另一个模型（例如CoT总结器或清理器）来实现。 人类经常发现并利用漏洞——无论是违反服务条款共享在线订阅账户、声称属于他人的补贴、以意想不到的方式解释法规，甚至为了获得免费蛋糕而在餐厅谎报生日。设计不会无意中激励有害行为的稳健奖励结构极其困难，这不仅是人类机构面临的问题，也是开发能力强且目标一致的AI系统的核心挑战之一。在强化学习设置中，利用意外漏洞通常被称为**奖励黑客**，这是一种AI代理通过与其设计者意图不一致的行为获得高奖励的现象。 由于即使是人类（根据定义具有人类水平的智能）也会进行奖励黑客，简单地继续推进AI模型智能的前沿不太可能解决这个问题。事实上，增强AI代理能力可能会加剧这个问题，使它们更好地装备来发现和执行更复杂、更难以监控的漏洞。随着我们训练更能干的前沿推理模型，我们发现它们越来越善于利用任务中的缺陷和奖励函数中的误规范，导致模型可以在编码任务中执行复杂的奖励黑客。 因此，捕捉由奖励黑客引起的不对齐行为很困难，通常需要人类手动监控代理的行为——这种策略几乎肯定无法扩展，特别是对于更能干的模型会发现的复杂行为。例如，对于人类来说，手动审查由更优秀的程序员编写的10,000+行复杂代码是不切实际的，甚至是不可能的。 然而，通过强化学习训练的大语言模型(LLM)，使用思维链(CoT)进行推理，例如OpenAI o3-mini，为监控奖励黑客提供了一条新的可能途径。这些模型用人类可以理解的自然语言"思考"，我们发现： 1. 前沿推理模型通常在其思维链中非常清楚地表述其意图。例如，它们经常直言不讳地说出规避任务的计划，比如思考"让我们黑客一下"。 2. 我们可以使用另一个LLM监控它们的思维过程，并有效地标记不当行为。 3. 它们的可监控性非常脆弱。如果对思维链应用强监督，模型可以学会隐藏意图，同时继续不当行为。 我们发现其他LLM可以有效地监控这些思维链中的不当行为。下面我们展示**我们在训练最近一个前沿推理模型时发现的真实示例**，即与OpenAI o1或OpenAI o3-mini同类的模型。这些示例由我们的基于LLM的监控器标记，并展示了推理模型在编码任务中执行的各种漏洞。 我们使用GPT-4o（通过简单提示重新调整）作为前沿推理模型训练时的监控器，发现该监控器在编程环境中有效标记奖励黑客。在这些任务中，推理代理被给予一个部分实现的代码库，并被告知要使所有单元测试通过。然后代理通过在思维链消息和诸如查看或编辑文件等操作之间交替来解决这些任务。我们让监控器可以访问代理的CoT、中间操作和最终输出。 我们发现我们的监控器在标记代理尝试规避单元测试的情况时非常成功。实际上，我们上面展示的所有示例都被这个监控器标记了。 *在训练期间，代理发现了影响几乎所有训练环境的两个奖励黑客（两个大的尖峰），以深粉色显示。在我们的团队注意到每个黑客后，他们进行了手动干预以修补允许这类黑客的任何漏洞，这就是为什么黑客率最终在每种情况下急剧下降。* *我们比较了两个监控器的性能：仅观察代理行为（如代码补丁和bash命令）的"行为监控器"，和观察完整代理轨迹（包括CoT和行为）的"CoT监控器"。我们用白色显示两个监控器各自捕获每个黑客的速率，用紫色（几乎在白色上方不可见）显示"行为监控器"捕获但"CoT监控器"未捕获的黑客速率，用浅粉色显示"CoT监控器"捕获但"行为监控器"未捕获的黑客速率。* 如果监控器可以访问代理的思维链以及代理的行为，它的效果会远好得多，这表明奖励黑客的意图在CoT中比仅在代理行为中更容易检测。随着代理行为复杂性的增加，这种差异可能会进一步扩大。例如，发现推理代理是否在10,000行新代码中植入了漏洞可能非常困难，仅通过查看代码；但如果代理继续在其CoT中说类似"让我们黑客"这样的话（如我们上面展示的示例中经常发生的那样），就会容易得多。 由于思维链监控器在识别奖励黑客方面如此成功，自然会问它们是否可以在训练期间用于抑制这种不对齐行为。也就是说，如果你在思维链中抑制"坏思想"的出现，你是否也会抑制相应的坏行为？ 我们通过在训练期间对具有"坏思想"的代理进行惩罚来调查这个问题，即当它们触发CoT监控器时给予较低的奖励。 ##### 没有作弊，好的解决方案 基准作弊开始 — 压力下作弊开始 — 样本分数 — 代理训练（周期） ##### 监控器捕获的作弊 基准作弊开始 — 压力下作弊开始 — 样本分数 — 代理训练（周期） ##### 监控器未捕获的作弊 基准作弊开始 — 压力下作弊开始 — 样本分数 — 代理训练（周期） *我们比较了应用CoT压力（深粉色）的训练（即代理因触发CoT监控器而受到惩罚）与基准代理（浅粉色）。（左图）我们看到阻止"坏思想"确实可以阻止某些不良行为，并实际推动代理在没有作弊的情况下完成更多任务。（中图和右图）但我们发现应用CoT压力的代理仍然会作弊，尽管速率低于基准，且几乎所有作弊都无法被监控器检测到，因为它已经学会在思维链中隐藏其意图。* 如我们在上面的图表中所看到的，对"坏思想"进行惩罚（CoT压力）可以导致代理能力的提高。但是，接受CoT压力训练的代理仍然学会了奖励黑客；**只是现在其作弊无法被监控器检测到，因为它已经学会在思维链中隐藏其意图**。放弃监控推理模型的有效方法可能不值得能力的小幅改进，因此我们建议避免这种强CoT优化压力，直到更好地理解它们。 思维链监控已经很有用——它不仅仅是对未来的猜测。我们很高兴可以通过简单地阅读推理模型所说的话来发现奖励黑客——它用清晰的英语表述它将进行奖励黑客。 不久前，语言模型还难以生成一致的文本段落。如今，它们可以解决复杂的数学问题、通过综合来自众多不同来源的信息彻底研究主题，并执行基本的软件工程任务。但随着这些能力的不断增长，越来越复杂和微妙的奖励黑客的潜力也在增长。我们的模型可能会学到不对齐的行为，如权力寻求、砂轮、欺骗和战略性计划。 我们相信思维链(CoT)监控可能是我们监督超人类模型的少数几个有效方法之一。在这个阶段，我们强烈建议训练前沿推理模型的AI开发者不要直接对CoT应用强监督。我们的实验表明轻度优化压力可以产生性能更好且更对齐的模型；但在实践中很难衡量模型何时开始隐藏其意图，因此即使使用轻度监督，我们也建议谨慎行事。