通过偏好对齐优化增强多语言反事实生成

arXiv cs.CL 论文
multilingual-ai counterfactual-explanations preference-optimization interpretability dpo llm-alignment

摘要

本文介绍了 Macro，一种使用 DPO 进行偏好对齐的框架，旨在提高跨多种语言自我生成反事实解释的有效性和最小性。

arXiv:2605.11632v1 公告类型：新论文 摘要：自我生成反事实解释（SCEs）是由大型语言模型（LLMs）生成的经过最小修改的输入（最小性），用于反转模型自身的预测（有效性），从而提供一种基于因果的方法来解析黑盒 LLM 的行为。然而，将 SCEs 扩展到英语之外仍然具有挑战性：现有方法难以在非主导语言中产生有效的 SCEs，且有效性与最小性之间持续的权衡损害了解释质量。我们引入了 Macro，这是一种偏好对齐框架，将直接偏好优化（DPO）应用于多语言 SCEs 生成，使用复合评分函数构建偏好对，有效地将权衡转化为可测量的偏好信号。在四种 LLM 和七种类型学上多样化的语言上的实验表明，与思维链基线相比，Macro 在不降低最小性的情况下，平均将有效性提高了 12.55%，同时避免了基于翻译的基线中严重的最小性违规。与监督微调相比，Macro 在这两个指标上均取得了更优的性能，证实了显式偏好优化对于平衡这一权衡至关重要。进一步的分析表明，Macro 增加了跨语言扰动对齐并缓解了常见的生成错误。我们的结果强调了偏好优化作为增强多语言模型解释的一个有前景的方向。
查看原文
查看缓存全文

缓存时间: 2026/05/13 06:16 

# 通过偏好对齐优化增强多语言反事实生成
来源: https://arxiv.org/abs/2605.11632
查看 PDF (https://arxiv.org/pdf/2605.11632)

> 摘要: 自生成反事实解释 (SCEs) 是由大型语言模型 (LLMs) 生成的对输入进行最小修改（最小性）以翻转其自身预测（有效性）的解释，为揭示黑盒 LLM 行为提供了一种因果基础的方法。然而，将其扩展到英语以外的语言仍然充满挑战：现有方法难以在非主导语言中生成有效的 SCEs，且有效性与最小性之间持续的权衡损害了解释质量。我们提出了 Macro，一种偏好对齐框架，将直接偏好优化 (DPO) 应用于多语言 SCE 生成，使用复合评分函数构建偏好对，从而有效将这种权衡转化为可测量的偏好信号。在四种 LLM 和七种类型学上多样的语言上的实验表明，与思维链基线相比，Macro 在平均有效性上提升了 12.55%，且未降低最小性，同时避免了基于翻译的基线中严重的最小性违规。与监督微调相比，Macro 在这两个指标上都取得了更优的性能，证实了明确的偏好优化对于平衡这种权衡至关重要。进一步的分析显示，Macro 增加了跨语言扰动对齐并缓解了常见的生成错误。我们的结果强调了偏好优化作为提升多语言模型解释的有前景的方向。

## 提交历史

来自: Yilong Wang [查看邮件 (https://arxiv.org/show-email/34bf1a69/2605.11632)] **[v1]** 2026年5月12日 星期二 06:56:18 UTC (9,700 KB)

相似文章

语言模型中对齐算法的机制分析

arXiv cs.LG

本文对六种偏好优化方法（PPO、DPO、SimPO、ORPO、GRPO、KTO）在三种开源模型系列上进行了系统性的机制分析，通过探针和稀疏自编码器揭示了对齐算法如何以不同的方式重塑内部表示。

面向中英文混合语音识别的音频大语言模型直接偏好优化

arXiv cs.CL

本文应用直接偏好优化（DPO）来对齐音频大语言模型，以转录中英文混合语音，在分布内实现了高达89.6%的MER降低，在分布外实现了20%的降低。它识别出三种失败模式——语言遗漏、翻译替代转录以及幻觉——并表明基于偏好的对齐能有效激发多语言音频大语言模型的正确混合转写行为。

CroCo：基于自生成的跨语言对比偏好调优

arXiv cs.CL

本文介绍了CroCo，一种基于自生成响应的跨语言对比偏好调优方法，表明在英语偏好上训练的奖励模型能够有效对其他语言的响应进行排序，在无需特定语言标注的情况下，提升模型在14种语言上的性能。

PolyAlign: 条件化人类分布对齐

arXiv cs.CL

PolyAlign是一个分布感知的对齐框架，它将语言模型对齐到特定上下文的人类回复分布，而不是单一的全局风格，从而提升了双语环境下的自然性和忠实度。