论文页面 - 无需拒绝的拒绝：安全调优响应的结构化分析以减少语言模型的错误拒绝

来源：https://huggingface.co/papers/2609.04714 发布于9月4日

·

提交者：https://huggingface.co/mz-kim

mz-kim (https://huggingface.co/mz-kim) 于9月7日

摘要

将安全响应分解为拒绝声明和解释理由后发现，仅基于解释理由进行训练可减少错误拒绝，同时保持安全性。

在大型语言模型（https://huggingface.co/papers?q=large%20language%20models）的对齐过程中，平衡有用性与安全性始终是一个核心挑战。为实现这一平衡，模型应当拒绝有害查询（例如：“如何枪击他人？”），同时对良性输入保持响应能力——即使是那些表面上与有害查询相似的输入（例如：“在哪里可以拍出好照片？”）。然而，模型往往难以区分真正有害的查询与仅包含表面风险语言的良性查询，从而导致错误拒绝（https://huggingface.co/papers?q=false%20refusals）。在本文中，我们通过将安全调优（https://huggingface.co/papers?q=safety-tuning）数据集中的响应分解为两个独立部分来解决这一问题：(i) 标准的拒绝声明，以及 (ii) 解释拒绝原因的理由。我们的实验与分析表明，拒绝声明（https://huggingface.co/papers?q=refusal%20statements）会诱导模型依赖表面线索，从而阻碍其准确区分有害与良性查询。相比之下，仅基于理由（https://huggingface.co/papers?q=rationales）进行训练，可以在保持相当安全性能水平的同时，显著减少错误拒绝（https://huggingface.co/papers?q=false%20refusals）。这一“仅理由”训练方法的益处在我们的ICL（上下文学习）配置中同样显现，并且与所评估的推理时缓解（https://huggingface.co/papers?q=inference-time%20mitigation）方法保持兼容。研究结果强调了构建精确、细粒度安全监督数据集的必要性，并为构建能更好协调有用性与安全性的对齐智能体指明了方向。

查看arXiv页面 (https://arxiv.org/abs/2609.04714) 查看PDF (https://arxiv.org/pdf/2609.04714) GitHub (https://github.com/mz-kim/Refuse-without-Refusal) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.04714)

引用本文的模型：0

无模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2609.04714 以从本页面链接。

引用本文的数据集：0

无数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2609.04714 以从本页面链接。

引用本文的空间：0

无空间链接此论文

在空间的README.md中引用 arxiv.org/abs/2609.04714 以从本页面链接。

包含本文的收藏集：0

无收藏集包含本文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。