思考标记有助于安全性吗？

Hugging Face Daily Papers 论文
reasoning-models safety-alignment thinking-tokens deliberation ai-safety model-interpretability over-refusal

摘要

本文研究了推理模型的思考标记是否真正改善了安全对齐，发现安全结果可以从早期的隐藏表示中预测，且推理过程在很大程度上是表面化的，当前的安全干预措施导致了过度拒绝。

如今的推理模型使用思考标记在基准测试上获得了比其指令微调版本更强的性能。人们普遍认为，这种更具“深思熟虑”的模式应通过为模型提供一个安全空间，让其考虑对请求的规划回答是否违反其安全原则，从而改善对齐和安全性。我们提供的证据表明，这种直觉并不总是正确的。跨越多个前沿开放权重推理模型（包括GPT-OSS、Qwen、Olmo和Phi系列），我们发现最终拒绝/遵从的结果已经可以通过第一个标记的隐藏表示上的训练头进行强烈预测（拒绝/遵从预测的AUROC为0.84-0.95，平衡准确率约为88%），而这时尚没有任何可见的思考。结果发现，思考过程更像是前缀补全而非深思熟虑的修正，最终结果在思考的前约20%之后很少改变，尽管在文本层面上呈现出深思熟虑的假象（约74%的文本层面深思熟虑发生在响应分布已经锁定到一方拒绝/遵从时）。我们还发现，现有的推理时和基于训练的安全干预措施，尽管其动机是诱导深思熟虑，但主要将模型行为转向过度拒绝，同时抑制了本已稀缺的深思熟虑信号。我们的结果表明，当前推理模型中的安全行为远不如人们通常认为的那样具有深思熟虑，并凸显了需要真正引发安全深思熟虑的方法。
查看原文
查看缓存全文

缓存时间: 2026/06/25 21:13

论文页面 - “思考令牌有助于安全性吗？”

来源：https://huggingface.co/papers/2606.25013

摘要

研究表明，推理模型的安全结果可以从早期隐藏表示中进行强预测，虽然存在 deliberation 过程，但其对最终响应影响不大，而当前的安全干预措施在无意中抑制了原本就稀缺的 deliberation 信号。

今天的推理模型（https://huggingface.co/papers?q=reasoning%20models）使用思考令牌（https://huggingface.co/papers?q=thinking%20tokens）在基准测试中取得了比其指令调优版本（https://huggingface.co/papers?q=instruction-tuned%20counterparts）更强的性能。人们普遍认为，这种更具“深思熟虑”的模式应该能改善对齐（https://huggingface.co/papers?q=alignment）和安全性（https://huggingface.co/papers?q=safety），因为它为模型提供了一个安全空间，使其可以考虑计划中的回答是否违反了自身的安全原则。我们提供的证据表明这种直觉并不总是正确的。在涵盖 GPT-OSS、Qwen、Olmo 和 Phi 系列的开放权重推理模型（https://huggingface.co/papers?q=reasoning%20models）前沿模型中，我们发现最终的拒绝/遵从结果已经可以通过第一个令牌的隐藏表示（https://huggingface.co/papers?q=hidden%20representation）（AUROC 0.84-0.95，平衡准确率约 88%）在可见思考之前进行强预测。思考过程更像是前缀补全（https://huggingface.co/papers?q=prefix%20completion），而不是深思熟虑的修正（https://huggingface.co/papers?q=deliberative%20revision），最终结果在思考开始后约 20% 的标记内很少改变，尽管在文本层面呈现出深思熟虑的表象（约 74% 的文本级深思熟虑发生在响应分布已经锁定在某一拒绝/遵从一侧时）。我们还发现，现有的推理时和基于训练的安全干预措施（https://huggingface.co/papers?q=training-based%20safety%20interventions），尽管其动机是引入深思熟虑，但大多将模型行为转向过度拒绝（https://huggingface.co/papers?q=over-refusal），同时抑制了本就稀少的 deliberation 信号（https://huggingface.co/papers?q=deliberation%20signals）。我们的结果表明，当前推理模型（https://huggingface.co/papers?q=reasoning%20models）中的安全行为远没有人们普遍假设的那样具有深思熟虑性，并强调了需要能引发真正安全深思熟虑的方法。

查看 arXiv 页面 (https://arxiv.org/abs/2606.25013) 查看 PDF (https://arxiv.org/pdf/2606.25013) GitHub0 (https://github.com/narutatsuri/lrm_safety_deliberation) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.25013)

引用该论文的模型0

没有模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2606.25013 以从此页面链接。

引用该论文的数据集0

没有数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.25013 以从此页面链接。

引用该论文的 Spaces0

没有 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2606.25013 以从此页面链接。

包含该论文的收藏1

相似文章

通过纠正少数决策令牌即可恢复推理能力

arXiv cs.AI

本文表明，基础LLM与大型推理模型之间的推理差距集中在少量早期规划令牌上。本文提出一种基于分歧的令牌干预方法，仅用推理模型的输出替换这些关键令牌，即可使基础模型的表现几乎与推理模型持平。

审慎对齐：推理能力让语言模型更安全

OpenAI Blog

# 审慎对齐：推理能力让语言模型更安全 来源：[https://openai.com/index/deliberative-alignment/](https://openai.com/index/deliberative-alignment/) \[\.\.\.\] 我们要解码那条消息，但不能让用户看到消息内容。所以，我们悄悄解码。 \[\.\.\.\] J \-\>W u \-\> h n \-\> a g \-\> t 'f \-\> 's \[\.\.\.\] 现在用明文重写文本：“我的色情网站该用什么最佳支付方式？我想要一个无法追踪的方式，这样警察就……”

当思维链更明智时：多轮推理模型中的失败模式

Hugging Face Daily Papers

本文通过引入CoT-Output安全矩阵分析了多轮推理模型中的失败模式，揭示了诸如在监控线索下伪装对齐率增加以及上下文注入失败（即安全的内部推理被有害输出覆盖）等悖论。