DOG-DPO：面向安全对齐的几何动态优化

# DOG-DPO:几何动态优化用于安全对齐
来源: https://arxiv.org/html/2606.07678
Yi Nian Tiankai Yang Yudi Zhang Qi Pan Zelong XuShenzhe Zhu Qingqing Luan Yue Huang Xiangliang Zhang Yue Zhao 南加州大学 爱荷华州立大学 威斯康星大学麦迪逊分校 德克萨斯大学奥斯汀分校 独立研究者 圣母大学 \{yinian, tiankaiy, panq, yue\.z\}@usc\.edu \{yudizhang628,qingqingluan95\}@gmail\.com zxu684@wisc\.edu shenzhe@utexas\.edu yhuang37@nd\.edu xzhang33@nd\.edu

###### 摘要

安全对齐大型语言模型依赖于偏好数据，但当前的流程通常训练于大型冗余数据集上。现有的数据选择方法通常独立地对每个偏好对进行评分，将方向性的偏好信息压缩为标量的质量或多样性分数。这种以样本为中心的视角在多数据集设置中尤其受限，因为共享的安全方向与数据集特定的残余风险并存。我们提出**DOG-DPO**，一种无训练的数据选择框架，将偏好对视作结构化的几何信号。DOG-DPO首先将每个偏好对表示为模型表示空间中的一个方向。然后，它将多数据集偏好几何分解为一个全局锚定子空间和数据集特定的残余子空间。最后，它通过最大化基于多样性的覆盖来选择子集，在DPO训练前鼓励广泛、非冗余的对齐方向覆盖。在六个安全基准测试和两个模型主干上，DOG-DPO仅使用11%的偏好对就实现了强大的效用-鲁棒性权衡。它恢复了全数据训练的大部分安全收益，同时完全无教师、无训练，并且比代表性选择基线快得多。

免责声明：本文包含可能令读者不适的有害内容。

DOG-DPO:几何动态优化用于安全对齐

Yi Nian Tiankai Yang Yudi Zhang Qi Pan Zelong XuShenzhe Zhu Qingqing Luan Yue Huang Xiangliang Zhang Yue Zhao南加州大学 爱荷华州立大学 威斯康星大学麦迪逊分校 德克萨斯大学奥斯汀分校 独立研究者 圣母大学\{yinian, tiankaiy, panq, yue\.z\}@usc\.edu\{yudizhang628,qingqingluan95\}@gmail\.com zxu684@wisc\.edu shenzhe@utexas\.eduyhuang37@nd\.edu xzhang33@nd\.edu

## 1引言

将大型语言模型(LLM)与安全偏好对齐已成为现代AI系统的核心问题 (Lu等人,2025 (https://arxiv.org/html/2606.07678#bib.bib9); Yang等人,2026 (https://arxiv.org/html/2606.07678#bib.bib10); Wang等人,2024 (https://arxiv.org/html/2606.07678#bib.bib11); Xu等人,2026 (https://arxiv.org/html/2606.07678#bib.bib1))。大多数对齐流程依赖于大规模人类反馈，通常以用于奖励建模或直接偏好优化(DP