论文页面 - PLC-DPO：带噪声和歧义偏好优化中的后验标签校正

来源：https://huggingface.co/papers/2608.30597

摘要

后验标签校正 DPO 通过使用校准的策略-参考边际将带噪声的成对标签路由为清洁、翻转或平局案例，从而改进偏好优化。

直接偏好优化（https://huggingface.co/papers?q=Direct%20Preference%20Optimization）（DPO）通过成对比较简化了对齐过程，但假设所有观测到的偏好都是可靠的。真实数据经常违反这一假设，导致标签反转、微弱或模糊，从而引起有害的策略更新。为了解决这个问题，我们提出了后验标签校正 DPO（https://huggingface.co/papers?q=Posterior%20Label%20Correction%20DPO）（PLC-DPO），通过将每对训练信号路由为清洁、翻转或平局案例，以鲁棒地优化偏好。其关键思想是使用校准的策略-参考边际（https://huggingface.co/papers?q=policy-reference%20margin）作为在线证据，采取适当的校正操作。这将带噪声的偏好学习（https://huggingface.co/papers?q=preference%20learning）重新定义为主动校正监督方向和强度，而不仅仅是过滤可疑样本。在 57 个数据集-模型-基准单元上，PLC-DPO 在对阵 DPO 时获得了最佳平均胜率（60.5 对比次优方法的 55.5）。注入噪声和平局压力测试、人类分歧分析以及自我确认诊断进一步表明，该路由保持稳定，并能区分翻转案例与弱方向性案例。

查看 arXiv 页面 (https://arxiv.org/abs/2608.30597) 查看 PDF (https://arxiv.org/pdf/2608.30597) GitHub 仓库 (https://github.com/VennTum99/PLC-DPO) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.30597)

在您的智能体中获取此论文：

hf papers read 2608.30597

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.30597 以从本页面链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.30597 以从本页面链接。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.30597 以从本页面链接。

包含此论文的收藏 0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接。