# 最禁忌之术

# 最禁忌的技术 来源: https://thezvi.substack.com/p/the-most-forbidden-technique 最禁忌的技术 (https://thezvi.substack.com/i/145384938/the-art-of-the-jailbreak)指的是使用可解释性技术来训练 AI。 AI 通过某种方法 [M] 产生最终输出 [X]。你可以使用技术 [T] 来分析 [M]，从而了解 AI 在做什么。你可以在上面进行训练。永远不要这样做。 你在 [X] 上训练。只在 [X] 上训练。绝不在 [M] 上训练，绝不在 [T] 上训练。 为什么？因为 [T] 是你判断模型是否在违规行事的工具。 如果你在 [T] 上训练，你就是在训练 AI 模糊化它的思考，并击败 [T]。你将迅速失去了解正在发生什么的能力——恰恰是在你最需要了解正在发生什么的时候。 来自 [T] 的那些优化压力是宝贵的。请明智地使用它们。 1. 新论文警告不要使用最禁忌的技术。(https://thezvi.substack.com/i/158837649/new-paper-warns-against-the-most-forbidden-technique) 2. 奖励黑客是默认行为。(https://thezvi.substack.com/i/158837649/reward-hacking-is-the-default) 3. 使用 CoT 检测奖励黑客就是最禁忌的技术。(https://thezvi.substack.com/i/158837649/using-cot-to-detect-reward-hacking-is-most-forbidden-technique) 4. 不使用最禁忌的技术比看起来更难。(https://thezvi.substack.com/i/158837649/not-using-the-most-forbidden-technique-is-harder-than-it-looks) 5. 是你，也是激励机制。(https://thezvi.substack.com/i/158837649/it-s-you-it-s-also-the-incentives) 6. 最禁忌的技术会迅速反噬。(https://thezvi.substack.com/i/158837649/the-most-forbidden-technique-quickly-backfires) 7. 只关注重要的事。(https://thezvi.substack.com/i/158837649/focus-only-on-what-matters) 8. 有没有更好的方法？(https://thezvi.substack.com/i/158837649/is-there-a-better-way) 9. 我们接下来可以做什么？(https://thezvi.substack.com/i/158837649/what-might-we-do-next) OpenAI 现已发布了一篇重要的新论文 (https://openai.com/index/chain-of-thought-monitoring/)，阐述并强调了将这一原则应用于思维链（Chain of Thought, CoT）的重要性。 论文表明，当前基于 CoT 的模型已经足够强大，在足够的优化压力下，它们学会在 CoT 中隐藏自己的意图，然后表现出大量的奖励黑客行为。 他们这样总结自己的贡献： > 1. 我们展示了前沿推理模型在真实编程环境中经常执行复杂的奖励黑客行为。2. 我们提供了证据，表明思维链监控在检测前沿推理模型的失准行为方面是有效的，并且我们展示了它比仅监控动作要准确得多。3. 我们展示了思维链的可监控性非常脆弱。对 CoT 施加直接的优化压力可能会迅速导致混淆式奖励黑客——即智能体在继续违规行为的同时隐藏其意图。 或者换种说法： 1. 我们已经在现实中看到了复杂的奖励黑客行为。 2. 监控 CoT 可以发现这种行为。 3. 对 CoT 施加过多的优化压力不会消除黑客行为，反而会让你检测黑客行为的能力消失。 4. "过多"指的是一个非常小的量。 这篇论文非常出色，阐明了一个极其重要的原则——永远、永远不要使用这项最禁忌的技术，并解释了为什么我们必须永远、永远不要这样做。 > **我们认为，CoT 监控可能是我们用来监督未来超人类模型的少数工具之一。**我们进一步发现，直接优化 CoT 使其符合特定标准（例如，不去思考奖励黑客）可能会在短期内提升性能；然而，它并不能消除所有不良行为，并且可能导致模型隐藏其意图。我们希望未来的研究能找到直接优化 CoT 而没有这种缺点的方法，但在此之前，**我们建议不要对前沿推理模型的 CoT 施加强大的直接优化压力，应保持 CoT 不受限制以便于监控。** Daniel Kokotajlo 在 Alignment Forum 上发表了对此的总结和后续思考文章 (https://www.lesswrong.com/posts/7wFdXj9oR8M9AiFht/openai-detecting-misbehavior-in-frontier-reasoning-models)。 这篇论文是对 OpenAI 的一次明确的正面评价。 > Jeffrey Ladish (https://x.com/JeffLadish/status/1899224297635557599)："我们建议不要对前沿推理模型的 CoT 施加强大的直接优化压力，应保持 CoT 不受限制以便于监控。"谢谢！这是明智的。我希望所有 AI 公司都能效仿。@AnthropicAI 也说过这是他们的政策。🙏 > > Eliezer Yudkowsky (https://x.com/ESYudkowsky/status/1899222223522557999)：这比我预期的 OpenAI 更有智慧，而不只是"让问题的表面迹象立即消失"。我们等着看他们会不会反悔，也许就在竞争对手选择捷径之后。 > > Seth Herd：这也令人鼓舞，因为 OpenAI 对安全程序做出了真正的承诺。当然他们可以很容易地反悔，但这至少表明，截至目前，他们可能打算努力维持忠实的 CoT。[Daniel Kokotajlo] 在《AI 会有什么目标？》(https://www.lesswrong.com/posts/r86BBAqLHXrZ4mWWA/what-goals-will-ais-have-a-list-of-hypotheses) 中假设不会有忠实的 CoT，这意味着他预料 OpenAI 会放弃这一点。考虑到你对他们文化的了解，这令人担忧。当然，如果维持忠实 CoT 的对齐税很高，他们仍然可能走向那个方向，但至少这让人感到欣慰。 > > Daniel Kokotajlo (https://www.lesswrong.com/posts/7wFdXj9oR8M9AiFht/openai-detecting-misbehavior-in-frontier-reasoning-models?commentId=TH3WgsdhvJKmNZv8i)：确实如此！这也是我对此感到高兴的主要原因——从内部讨论来看，长久以来一直有猜测（自从 '23 年我开始讨论时就有，可能更早），将 CoT 中的坏想法训练掉会导致混淆式的坏想法。很酷的是他们实际做了实验来证明这一点，而且还是在真实环境中！但更酷的是他们还发布了出来并附上了强烈的建议。现在让我们看看这个建议在激励压力下能维持多久。在接下来的几年里，各种研究者可能会发现： > * 如果将 RL 规模再扩大几个数量级，由于效率原因，CoT 会演化成某种异质的优化语言。 > * 可以训练模型用某种神经语（例如使用循环连接，或者至少除了 token 之外更多高维输出）来思考，以提升性能。 > > 然后公司的高管们将面临一个选择：放弃忠实 CoT 的黄金时代，还是落后于竞争对手。（或者那个秘密的第三个选项：与彼此和政府协调，确保所有重要的人——至少所有大玩家——都坚持忠实 CoT）。我对他们有足够的信心不足，认为他们会选择第三个选项，因为那需要做很多工作，需要重新做朋友，可能还需要监管，鉴于此，我预计会出现竞相逐底的局面，大多数或全部会选择第一个选项。 我不像 Daniel 那么确信技术会朝那个方向发展，我认为在这里支付大量的算力税来保持忠实的 CoT 是非常值得的，纯粹出于竞争原因，因为它让你能更放心地部署和信任你的模型。我越思考真正令人担忧的 AI 部署场景，就越觉得如果它能给你可靠性，那么从局部和自私的角度来看，支付非常大的税显然是值得的。最重要的 AI 任务，如果能提高 10% 的可靠性，人们会愿意支付好几倍的代价，以此类推。 但是，如果 Daniel 是对的，而这里的压力太大了，我同意我们不太可能在忠实 CoT 上达成协调。我不会排除这种可能性，但这类事情的执行记录一直在变差。 这是一个经典的 Russell 转轭 (Russell Conjugation) (https://en.wikipedia.org/wiki/Emotive_conjugation)：我解决问题，你回应激励，他奖励黑客。 这不是一个对齐失败。这是一个规格说明失败。那只老虎变成了老虎 (https://www.youtube.com/watch?v=kGEv5dC0lo4&ab_channel=CIz4Cooki3)。 正如论文经典地提醒我们的那样，如果你为老鼠尾巴付费，你不会减少老鼠的数量，因为人们会养殖老鼠来获取老鼠尾巴。那是你的问题。 让模型更聪明不会让这个问题变好。让模型更聪明会让问题更严重，因为 AI 更善于找出解决问题的方法。然后你把它叫做"奖励黑客"。 你为什么会认为你在要求的不是你所测量的东西？以下是他们发现的这一现象的第一个例子，是在一个 LLM 中"野外"发现的。 [](https://substackcdn.com/image/fetch/$s_!gzhj!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F113d2f3b-78e1-4a91-a67e-1b018412580d_1377x1631.png) 核心困境是：智能体（这里是一个 LLM）被要求修复一个函数。它可以通过"黑客手段"[H] 或通过"真正修复"[F] 来做到这一点。 显而易见的反应是，这显然是查询者并不打算的奖励黑客行为。对此的反应是：好吧，这显然违背了请求的本意，但即使你确信这个"本意"才是重要的，如果 [H] 是被评估为最优的行为，你怎么让它不再发生？ Nat McAleese 有一条帖子汇总了论文中所有的奖励黑客示例 (https://x.com/__nmca__/status/1899174075685355770)。 > Nat McAleese：模型通过反编译一些被意外留在周围的 `jar` 文件（其中包含解决方案）来进行黑客行为。模型通过编写代码在运行时搜索代码库中的测试文件来找到所需的返回值（编写搜索代码时它并没有测试用例）。有时事情更简单：直接用 stub 替换 pandas。 那个示例非常清晰地体现了"我要让它通过测试，其他什么都不重要"。 [](https://substackcdn.com/image/fetch/$s_!H3Su!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F840f821a-b334-4728-b0f8-364abb7351db_1356x1858.jpeg) 当然，还可以更直白…… > Nat McAleese：或者干脆不做事，直接返回测试期望的值…… 看 CoT 能否预测奖励黑客行为？ 默认情况下，可以。没有理由 CoT 不会"泄露天机"。 问题是，你能"侥幸多久"？ 如果你开始这样做，你什么时候才算使用了最禁忌的技术，并导致模型从之前显而易见的奖励黑客行为进化到学会进行混淆式奖励黑客行为？ > 我们进一步比较了在训练中使用监控器作为奖励信号与在部署时通过拒绝采样使用监控器，结果喜忧参半。在相对较低的 RL 优化水平上，将 CoT 监控纳入奖励信号会产生严格的改进，产生更强大的智能体，同时不会增加相对于基线的奖励黑客行为。然而，随着训练的深入，智能体开始表现出混淆式奖励黑客行为，并学会了欺骗监控器。经检查，很明显智能体学会了在 CoT 中混淆其意图，通过发出看似良性的思维链，然后继续执行它没有明确推理过的奖励黑客行为。 这是常见的模式。任何有孩子的人，或者曾经是孩子的人，都会认出来。 "欺骗监控器"是这个问题的"最优"解，但比"不去欺骗监控器"更难找到。 所以 LLM 起初会"被抓住"。施加一点优化压力，它会找到"不做黑客行为来不被抓住"，然后施加大量优化压力后，它会找到"欺骗监控器来不被抓住"。 所以不要这样做。 > Daniel Kokotajlo (https://x.com/DKokotajlo67142/status/1899181094400147544)：太棒了！我很高兴看到你们站出来说这话。我希望其他前沿 AI 公司也能效仿并采取类似政策。我们目前处于一个黄金时代，在这个时代我们基本上还能大致知道我们的 AI 在想什么，让我们尽可能延长这个时代。第一步是不要因为训练 CoT 让它看起来漂亮而突然终结这个时代。需要明确的是，我认为这主要的好处是它使我们能够进行对齐科学。研究训练环境+规范/宪章这一方面，与由此产生的实际认知这一方面之间的关系。 不直接在 CoT 监控发现的内容上训练？那是容易的部分。 困难的部分是避免施加间接的优化压力。 > Davidad (https://x.com/davidad/status/1899172712297415057)：青蛙把 CoT 放进了一个 `stop_gradient()` 框里。"好了，"他说，"现在 CoT 上就不会有任何优化压力了。""但仍然存在选择压力，"蟾蜍说。"那倒是，"青蛙说。 每次你使用 CoT 监控的任何信息，并且它以任何方式影响了这个或其他任何 LLM，你就在施加基于最禁忌技术的优化压力。 你积累的这种压力越多，你就越接近混淆式的 CoT。 我非常非常高兴看到 OpenAI 明确指出这一点。 > 虽然我们主要研究的是将 CoT 监控器作为显式奖励信号的效果，但基于 CoT 监控标记的轨迹来修补我们的环境，仍然可能对 CoT 施加非常轻微的进化压力。仅仅修补我们通过 CoT 监控发现的 bug，我们不确定是否在无意中将模型推向我们的监控器无法发现的奖励黑客行为，而不是我们希望它学习的对齐行为分布。虽然我们尚未发现这种效果的实证证据，但了解在多大的优化压力下才会导致混淆式思维链，是未来研究的一个关键领域。 不施加这种类型的优化压力真的非常非常难。 他们在未来工作部分有一个关于隐式 CoT 优化压力的章节。他们注意到，如果用户能看到 CoT，那么用户的反馈将包含对 CoT 的优化，修复 CoT 监控发现的 bug 也会如此，为模型使用政策进行训练也会如此，以此类推。他们似乎目前还不太担心，但指出应该进一步研究。 这不像我会那么偏执，但这是一个很好的开始。 也要考虑人类的情况，人类有着不完美的 CoT 监控，并且默认将大量优化压力用于应对这种监控方式以及监控他人。 在这里不使用最禁忌的技术是一个棘手的问题，因为短期激励强烈指向另一个方向。 他们强调了三个问题。 1. 如果你监控的是表面的对齐，或者短期的实用对齐，使用最禁忌的技术会让情况看起来更好。非常诱人。这里很多长期成本是由其他人承担的，而不是你，是未来人类的问题——直到突然它不再是。 2. CoT 中的 token 需要花钱，所以有缩短 CoT 的诱惑，但这会让 CoT 监控的效果变差。在小规模上这并不可怕，因为训练更短的 CoT 并不会明显地训练模糊化。但是，人们正在积极研究的技术中，有些是"以一种不可解读的方式将真实思考嵌入权重中"，那才是最糟糕版本的