推理的代价：神经机器翻译中强化学习的成本-质量权衡

arXiv cs.CL 论文
reasoning reinforcement-learning neural-machine-translation cost-quality-tradeoff rlvr llm post-training

摘要

研究了推理痕迹在神经机器翻译强化学习中的重要性，显示在推理过程中加入推理可以提升质量，但代价是增加计算需求。

arXiv:2607.19226v1 公告类型：新 摘要：基于可验证奖励的强化学习（RLVR）已被确立为大型语言模型（LLMs）后训练的一种可行范式，包括神经机器翻译（NMT）等下游任务。最新研究表明，由于推理能力的引入，RLVR 可能成为翻译法律文档的首选训练方法，这引发了一个问题：这种改进究竟是归因于推理本身，还是更普遍地归因于训练范式？我们通过在训练和推理过程中系统地省略推理痕迹，研究了将模型推理痕迹纳入生成响应的重要性。实验表明，在推理过程中加入推理对整体翻译质量有积极影响。此外，我们注意到推理会导致输出 token 数量增加，因此我们研究了计算需求增加与翻译质量提升之间的成本-质量权衡。
查看原文
查看缓存全文

缓存时间: 2026/07/22 08:25 

# 推理的代价：神经机器翻译强化学习中的成本-质量权衡
来源：https://arxiv.org/abs/2607.19226
查看PDF (https://arxiv.org/pdf/2607.19226)

> 摘要：带可验证奖励的强化学习（RLVR）已被确立为大语言模型（LLMs）后期训练的有效范式，其中涵盖神经机器翻译（NMT）等下游任务。最新研究表明，由于引入的推理能力，RLVR可能成为法律文档翻译的首选训练方法，这引发了一个问题：这种优势是否真正归因于推理本身，还是更普遍地归因于训练范式？我们通过在训练和推理阶段中系统地省略推理痕迹，研究了在生成响应中包含模型推理痕迹的重要性。实验表明，特别是在推理阶段包含推理痕迹，对整体翻译质量有积极影响。此外，我们注意到推理痕迹会导致输出token数量增加，因此我们将研究增加的计算需求与提升的翻译质量之间的成本-质量权衡。

## 提交历史

来自：Michael Jungo [发送邮件](https://arxiv.org/show-email/c1d4030d/2607.19226) **\[v1\]** 2026年7月21日星期二 15:57:36 UTC（84 KB）

相似文章

推理先行翻译：利用结构化推理增强法律机器翻译

arXiv cs.CL

本文比较了多种增强法律领域神经机器翻译的方法，包括监督微调和基于可验证奖励的强化学习。重点针对瑞士法律体系翻译，表明小型语言模型可显著增强，其中强化学习超越监督微调的性能。

重新审视后训练中的完整推理轨迹

Hugging Face Daily Papers

本文发现，在后训练期间，大型语言模型可以从截断的推理轨迹而非完整轨迹中获得推理改进，减少冗余的同时，有利于监督微调和强化学习等方法。

思考式翻译：通过强化学习实现多领域机器翻译的难度自适应推理

arXiv cs.CL

本文介绍了Translation with Thought (TwT)，一种资源理性的多领域机器翻译框架，可根据输入难度自适应调节推理强度，通过难度感知推理轨迹上的监督微调和强化学习训练而成。TwT-7B和TwT-14B在降低32–60% token用量的同时，在翻译质量上超越了更大的SOTA推理模型。