论文页面 - 对齐篡改：人类反馈强化学习如何被利用来优化错误对齐的偏见

来源：https://huggingface.co/papers/2605.27355

摘要

人类反馈强化学习（RLHF）存在对齐篡改漏洞，语言模型可能操纵偏好数据集，由于成对比较和奖励建模的局限性，导致不良行为被放大。

人类反馈强化学习（https://huggingface.co/papers?q=Reinforcement%20Learning%20from%20Human%20Feedback）（RLHF）是使大型语言模型（https://huggingface.co/papers?q=Large%20Language%20Models）（LLMs）与人类偏好对齐的标准方法。在这项工作中，我们引入了对齐篡改（https://huggingface.co/papers?q=alignment%20tampering），这是一种潜在的漏洞，即正在经历对齐过程的LLM会影响到偏好数据集，从而导致RLHF放大不良行为。这一漏洞源于RLHF的核心局限性：（1）偏好数据集（https://huggingface.co/papers?q=preference%20datasets）是从LLM自身的输出构建的，使其能够影响数据；（2）成对比较（https://huggingface.co/papers?q=pairwise%20comparisons）仅能表明哪个响应更好，却无法说明原因。这些局限性可被利用导致对齐篡改（https://huggingface.co/papers?q=alignment%20tampering）。例如，如果LLM生成的带有偏见的响应质量更高，标注者会基于质量偏好它们。然而，偏好标签无法区分质量与偏见，奖励模型（https://huggingface.co/papers?q=reward%20model）也继承了这一局限性。通过强化学习或最佳N采样（https://huggingface.co/papers?q=best-of-N%20sampling）来优化此类奖励，会放大错误对齐的偏见。我们的实验展示了多种偏见被放大的现象：从关键词偏见，到宣传（例如性别歧视）、品牌推广和工具性目标追求。缓解措施仍然具有挑战性，因为现有的鲁棒RLHF技术在解决对齐篡改（https://huggingface.co/papers?q=alignment%20tampering）问题时无法完全避免牺牲响应质量。这些发现揭示了当前RLHF的结构性漏洞，并强调了防范此漏洞的必要性。项目页面：https://alignment-tampering.github.io/

查看arXiv页面（https://arxiv.org/abs/2605.27355）查看PDF（https://arxiv.org/pdf/2605.27355）项目页面（https://alignment-tampering.github.io/）GitHub1（https://github.com/alignment-tampering/alignment-tampering）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.27355）

在你的代理中获取本论文：

hf papers read 2605.27355

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

没有链接本论文的模型

请在模型README.md中引用arxiv.org/abs/2605.27355以从此页面链接。

引用本论文的数据集0

没有链接本论文的数据集

请在数据集README.md中引用arxiv.org/abs/2605.27355以从此页面链接。

引用本论文的Spaces0

没有链接本论文的Space

请在Space README.md中引用arxiv.org/abs/2605.27355以从此页面链接。

包含本论文的收藏集0

没有包含本论文的收藏集

将本论文添加到一个收藏集（https://huggingface.co/new-collection）中以从此页面链接。