论文页面 - 通过免训练的权重编辑抵抗有害指令

来源：https://huggingface.co/papers/2610.21189

摘要

一种免训练的权重编辑方法，通过利用最小化的提示词对对模型权重施加基于对比的编辑，降低指令微调模型对有害行为的服从度。

指令遵循型语言模型可能会服从与预期行为和安全对齐相冲突的请求。我们提出了一种免训练的权重编辑方法，用于降低模型对特定不良指令的服从度。我们的方法仅需针对每种目标行为，在一小批提示词对上进行前向传播，且由于编辑结果存储在模型权重中，修改或删除提示词中的指令无法撤销该权重修改。我们在五个指令微调模型上，针对两种目标有害行为（受指令的虚假陈述和受指令的性别歧视）对该方法进行了评估。在两个受指令说谎基准测试中，与最强的替代方法相比，该方法分别将平均诚实回答率提高了 6.2 和 4.6 个百分点，在五个模型中的三个上提升显著，在另外两个上处于噪声范围内。在一项涵盖七种提示词格式的对照研究中，当要求说谎的指令以构建编辑时未使用的单轮格式出现时，该方法比单层激活引导保持了更高的诚实回答率。对于受指令的性别歧视行为，该方法将平均歧视性回答率从 57.9% 降至 24.3%；将该编辑与公平性提示词结合使用后，进一步降至 11.9%。这些结果确立了我们的基于对比的权重编辑方法作为一种在两个不同行为领域均有效的免训练干预手段，支持其独立使用或与基于提示词的安全防护措施协同使用。

查看 arXiv 页面 (https://arxiv.org/abs/2610.21189) · 查看 PDF (https://arxiv.org/pdf/2610.21189) · 项目页面 (https://arxiv.org/pdf/2610.21189v1) · GitHub (https://github.com/AI-Interpretability-Illinois/Resisting-Harmful-Instruction) · 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.21189)

在你的 agent 中获取此论文：

hf papers read 2610.21189

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.21189 即可从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.21189 即可从此页面链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.21189 即可从此页面链接。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集即可从此页面链接。