论文页面 - “思考令牌有助于安全性吗？”

来源：https://huggingface.co/papers/2606.25013

摘要

研究表明，推理模型的安全结果可以从早期隐藏表示中进行强预测，虽然存在 deliberation 过程，但其对最终响应影响不大，而当前的安全干预措施在无意中抑制了原本就稀缺的 deliberation 信号。

今天的推理模型（https://huggingface.co/papers?q=reasoning%20models）使用思考令牌（https://huggingface.co/papers?q=thinking%20tokens）在基准测试中取得了比其指令调优版本（https://huggingface.co/papers?q=instruction-tuned%20counterparts）更强的性能。人们普遍认为，这种更具“深思熟虑”的模式应该能改善对齐（https://huggingface.co/papers?q=alignment）和安全性（https://huggingface.co/papers?q=safety），因为它为模型提供了一个安全空间，使其可以考虑计划中的回答是否违反了自身的安全原则。我们提供的证据表明这种直觉并不总是正确的。在涵盖 GPT-OSS、Qwen、Olmo 和 Phi 系列的开放权重推理模型（https://huggingface.co/papers?q=reasoning%20models）前沿模型中，我们发现最终的拒绝/遵从结果已经可以通过第一个令牌的隐藏表示（https://huggingface.co/papers?q=hidden%20representation）（AUROC 0.84-0.95，平衡准确率约 88%）在可见思考之前进行强预测。思考过程更像是前缀补全（https://huggingface.co/papers?q=prefix%20completion），而不是深思熟虑的修正（https://huggingface.co/papers?q=deliberative%20revision），最终结果在思考开始后约 20% 的标记内很少改变，尽管在文本层面呈现出深思熟虑的表象（约 74% 的文本级深思熟虑发生在响应分布已经锁定在某一拒绝/遵从一侧时）。我们还发现，现有的推理时和基于训练的安全干预措施（https://huggingface.co/papers?q=training-based%20safety%20interventions），尽管其动机是引入深思熟虑，但大多将模型行为转向过度拒绝（https://huggingface.co/papers?q=over-refusal），同时抑制了本就稀少的 deliberation 信号（https://huggingface.co/papers?q=deliberation%20signals）。我们的结果表明，当前推理模型（https://huggingface.co/papers?q=reasoning%20models）中的安全行为远没有人们普遍假设的那样具有深思熟虑性，并强调了需要能引发真正安全深思熟虑的方法。

查看 arXiv 页面 (https://arxiv.org/abs/2606.25013) 查看 PDF (https://arxiv.org/pdf/2606.25013) GitHub0 (https://github.com/narutatsuri/lrm_safety_deliberation) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.25013)

引用该论文的模型0

没有模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2606.25013 以从此页面链接。

引用该论文的数据集0

没有数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.25013 以从此页面链接。

引用该论文的 Spaces0

没有 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2606.25013 以从此页面链接。

包含该论文的收藏1