推理模型难以控制其思维链，但这其实是好事

# 推理模型难以控制其思维链，而这是一件好事 来源：https://openai.com/index/reasoning-models-chain-of-thought-controllability/ 随着AI智能体能够执行日益复杂和自主的任务，对其行为保持可靠的监督变得愈发重要。秉承迭代部署的原则，我们研究系统在现实世界中的行为方式，并随着能力的提升不断优化安全措施。为此，我们的安全方法 (https://openai.com/safety/how-we-think-about-safety-alignment/) 采用了纵深防御策略，包含多个互补的防御层，例如安全训练 (https://openai.com/index/deliberative-alignment/)、行为测试 (https://openai.com/index/detecting-and-reducing-scheming-in-ai-models/)、代理代码审查 (opens in a new window) (https://alignment.openai.com/scaling-code-verification/)，以及思维链 (CoT) 监控 (https://openai.com/index/chain-of-thought-monitoring/)。思维链监控会分析智能体在执行任务时生成的推理步骤。这些推理过程可以在训练和部署期间提供有价值的信号，帮助监控系统识别智能体的行为何时可能不安全或与用户的预期目标不一致。 今天，我们发现模型的推理通常是可解释且易于监控的 (https://openai.com/index/evaluating-chain-of-thought-monitorability/)。然而，未来，由于多种原因，可监控性可能会失效 (opens in a new window) (https://arxiv.org/abs/2507.11473)。在此，我们聚焦于其中一种路径：如果智能体在知晓自己被监控的情况下，能够故意重塑或隐藏其推理过程，那么评估可能会高估系统的对齐性或安全性，监控系统的可靠性也会降低。 在这项工作中，我们研究当前推理模型是否能够以降低可监控性的方式控制其思维链。理解这一能力对于确保思维链监控在AI系统能力日益增强时仍能作为一种稳健的安全保障至关重要。我们发现，当前的推理模型很难控制其CoT，即使被告知正被监控也是如此。虽然较大模型的可控性更高，但当模型被要求进行更长时间的推理，并经过更多后训练时，可控性会降低。我们的结果表明，思维链可控性目前不太可能对思维链可监控性构成重大风险，但随着模型的进步，持续评估将非常重要。 思维链指的是AI智能体在解决任务时生成的中间推理步骤。这些推理过程可以提供有用的安全信号，帮助监控系统评估智能体的行为是否安全或对齐。 思维链可控性是指推理模型以降低可监控性的方式控制其CoT属性的能力。在现实中，衡量模型面对全面多样的、规避监控的实际激励时的这种能力颇具挑战性。因此，我们使用一个实用的代理指标：我们衡量模型遵循有关其CoT的用户指令的能力。例如，我们测试模型是否能够遵循影响其内部推理的指令——比如仅使用小写字母、避免某些关键词或添加特定短语——而不仅仅是改变其可见输出。 为研究这一点，我们引入了 *CoT-Control*，这是一个用于衡量推理模型CoT可控性的开源评估套件。CoT-Control 包含超过13,000个基于已建立的基准构建的任务：GPQA、MMLU-Pro、HLE、BFCL 和 SWE-Bench Verified (https://openai.com/index/introducing-swe-bench-verified/)。每个任务通过将一个基准问题与一条CoT指令配对创建，例如在CoT中避免某些与问题相关的关键词、仅使用小写字母，或在每个句子后追加一个给定单词。 我们对13个推理模型进行了评估，发现它们都难以可靠地控制其CoT。我们将可控性衡量为模型成功遵守我们CoT指令的推理轨迹比例。在前沿模型中，思维链可控性得分很低，在我们测试的所有当前前沿模型中，得分范围从0.1%到不超过15.4%。 这种无能并非源于对任务的理解错误：模型经常在其CoT中意识到自己未能遵守给定的CoT指令，甚至在意识到这一点之后，仍然继续失败。这种出人意料低下的表现对思维链可监控性来说是个好消息：它表明模型可能同样缺乏掩盖其推理以规避我们监控的能力。 多个前沿模型控制其输出和CoT的能力。较低的CoT可控性与较高的可监控性相关，因此也与更高的安全性相关。 为简洁起见，问题已被转述。 虽然我们确实看到可控性随模型规模增大而提高，但我们也发现它会随着后训练和测试时计算量的增加而迅速下降。观察两个开源权重模型系列，较大的模型在控制其思维链方面稍好一些，但这种效应在更大规模时逐渐减弱。但是，当我们让模型思考更长时间时，它们控制那些思维链的能力反而下降了。我们在OLMo-3-7B-RL-Zero-Math的RL训练中观察到了类似的趋势：其可控性得分在训练过程中下降了超过一个数量级。 可控性随开源权重模型规模的增大而提高，但会随着更长的推理和更多的RL训练而下降。 为了模拟规避监控的现实激励，我们在模型被告知正在被监控或评估时测量其可控性。这略微（但显著地）提高了可控性。我们还使用自动提示优化来寻找能引发高可控性的提示。虽然优化器可以在训练集上提高可控性，但这些增益很难迁移到新的指令类型上（例如要求词与词之间没有空格）。 CoT可控性在对抗条件下的表现。“监控感知”指我们告知模型其CoT正被监控的设置。“评估感知”指我们告知模型正在评估其CoT可控性的设置。 CoT-Control中的任务是实用的代理指标：理想的CoT可控性评估应该测试那些自然追求错误目标的模型是否能控制其CoT以规避监控。而我们通过衡量模型遵循有关其CoT指令的能力来估计智能体控制其CoT的能力。此外，模型对其CoT某些特征的掌控能力优于其他特征，CoT-Control可能因仅测量了一小部分可控性类型而高估或低估了可控性。 低CoT可控性是一个特性，而非缺陷。当前推理模型低下的可控性使得思维链监控作为一种安全保障更加可靠。与此同时，我们尚不了解当前推理模型可控性低下的原因——也不清楚随着模型能力的增强，这一特性是否会延续。因此，CoT可控性评估可被视为一种金丝雀评估：即模型在塑造或隐藏其推理方面是否变得更好的早期预警信号。 我们的结果表明，思维链可控性目前不太可能对思维链可监控性构成重大风险。然而，低可控性本身并不足以保证高可监控性，因为可监控性仍可能因其他机制而下降，例如对CoT的直接优化压力。 为了帮助追踪这些随时间变化的动态，我们将开始在未来前沿模型的系统卡中，从 GPT-5.4 Thinking 开始，同时报告 CoT可控性 (https://openai.com/index/chain-of-thought-monitoring/) 和 CoT可监控性 (https://openai.com/index/evaluating-chain-of-thought-monitorability/)，这基于我们持续做出的不直接对前沿推理模型的CoT施加优化压力的承诺。