StalePO:利用传统后编辑的机器翻译锚定令牌级偏好优化
摘要
StalePO引入了一种用于机器翻译的令牌级偏好优化方法,该方法利用传统后编辑来提升模型性能,在质量指标上显示出显著提升。
arXiv:2609.16340v1 公告类型:新
摘要:机器翻译系统定期升级到更强的模型,但可用的偏好信号是旧系统输出的人类后编辑,而新模型可能已经超越了这些。此外,为每个新模型收集新鲜的后编辑成本高昂。我们将此称为陈旧偏好问题。标准DPO在此场景下可能失败:它可能会增加劣质后编辑的可能性,侵蚀模型现有质量,并且无法提供纠正局部错误所需的逐令牌控制。我们引入StalePO,一个从该机制提出的三个要求中得出的目标函数。可能性移动必须在两个响应上向下,策略必须锚定其自身的基础响应,KL约束必须在令牌级别应用。这些要求是共同必要的。在消融实验中,每个机制单独使用时,模型性能与基础模型无法区分,只有它们的组合才能将陈旧反馈转化为收益。在英语到印地语和英语到土耳其语的本地化数据上,StalePO将通过所有LLM-as-judge MQM质量检查的片段比例分别提高了14.9和4.6个百分点,收益集中在风格和流畅性上。在相同框架下的人工评估确认了英语到印地语的这些收益,将通过所有七项人工检查的片段比例提高了13.8个百分点。
查看缓存全文
缓存时间: 2026/09/16 08:45
# StalePO:利用机器翻译中历史后编辑的锚定令牌级偏好优化 来源:https://arxiv.org/abs/2609.16340 查看PDF(https://arxiv.org/pdf/2609.16340) > **摘要**:机器翻译系统会定期升级到更强大的模型,但可用的偏好信号仅来自旧系统输出的人类后编辑,而新模型可能已经超越了这些结果。此外,为每个新模型收集新的后编辑成本过高。我们称此为过时偏好问题。标准DPO在此场景下可能失效:它可能增加劣质后编辑的可能性,侵蚀模型现有质量,并缺乏纠正局部错误所需的逐令牌控制能力。我们提出StalePO,一种基于此情境所提三项要求推导出的优化目标。对两种响应的似然变动必须向下,策略必须锚定于其自身基础响应,KL约束必须在令牌层级实施。这些要求共同不可或缺。在消融实验中,每种机制单独使用时,模型性能与基础模型无显著差异,只有它们的组合才能将过时反馈转化为性能提升。在英语-印地语和英语-土耳其语本地化数据上,StalePO分别将通过所有LLM作为评判者MQM质量检查的片段比例提升了14.9和4.6个百分点,增益主要集中在风格与流畅性方面。在同一框架下的人工评估确认了英语-印地语上的这些提升,将通过全部七项人工检查的片段比例提高了13.8个百分点。 ## 提交历史 来自:Rohit Dhaipule [查看邮件 (https://arxiv.org/show-email/33f30615/2609.16340)] **[v1]** 2026年9月14日,星期一,20:56:35 UTC(3,442 KB)
相似文章
基于注意力机制的Token加权直接偏好优化
提出AttentionPO,一种基于Token加权的直接偏好优化方法,它利用LLM自身的注意力来估计Token权重,在AlpacaEval、MT-Bench和ArenaHard上提升对齐性能,且无需单独奖励模型。
StepPO:面向智能体强化学习的步骤对齐策略优化
StepPO 引入了一种面向智能体强化学习的步骤中心范式,该范式将策略优化与智能体决策粒度对齐,在多轮交互任务中优于以令牌为中心的方法。
EasyPPO:稳定评价器是关键
EasyPPO 通过仅使用演员的超长过滤和噪声归一化回归来解决评价器的不稳定性,从而稳定大型语言模型的近端策略优化,相比基线方法实现性能提升。
STARE:惊奇度引导的令牌级优势重加权实现策略熵稳定性
STARE 通过引入惊奇度引导的令牌级优势重加权和目标熵调节,解决了基于GRPO的大语言模型强化学习中的策略熵崩溃问题,在AIME基准上实现了4%-8%的准确率提升。
StoicLLM:小语言模型中基于哲学对齐的偏好优化
本研究探讨了在Llama-3.2-3B和Qwen-3-4B等小型语言模型上使用偏好优化方法(ORPO、AlphaPO),通过微小数据集使其与斯多葛哲学对齐。研究发现,尽管300个样本可以有效编码斯多葛美德,但小型模型在处理外向型的宇宙公民义务时仍面临困难。