推理先行翻译：利用结构化推理增强法律机器翻译

# 推理先于翻译：通过结构化推理增强法律机器翻译 来源：https://arxiv.org/html/2607.19181 Michael JungoEloi EynardMark DrenhausAndreas FischerJean HennebertSébastien Rumley ###### 摘要 法律领域的神经机器翻译（NMT）是一项在语言和概念上都具有高要求的任务，这主要归因于法律语言的复杂性及其所需的高精度。近期具备推理能力的语言模型的出现，为应对此类挑战开辟了新的可能性。它们补充了先前提出的其他用于提升翻译质量的技术，包括监督微调和强化学习。在本工作中，我们对这些不同方法进行了比较。更具体地说，我们评估了诸如 Qwen3.5 4B、Qwen3.5 9B 和 Gemma 3 12B 等小型语言模型，这些模型通过不同的*再训练范式*进行了增强，并将它们的性能与前沿推理模型进行了比较。我们专注于瑞士法律体系，其独特的多语言法规为推理增强型模型提供了一个极具挑战性的测试平台。我们的结果表明，小型“基础”模型的质量可以得到显著提升，并且基于可验证奖励的强化学习*可以应用于法律领域的 NMT，且其翻译质量超越了监督微调*。增强后的小型模型性能接近最先进的推理模型，但仍有所不及。我们还注意到，随着模型尺寸的增加，*再训练范式*带来的收益递减。代码和模型已公开在https://github.com/aixiuxiuxiu/Legal-MT-SFT-RL。 机器学习，ICML，AI4Law，法律翻译，RL，SFT，推理 ## 1. 引言 神经机器翻译（NMT）随着大型语言模型（LLM）的发展而快速进步，在许多领域和语言对中实现了翻译质量的实质性提升 (Kocmi and Federmann, 2023 (https://arxiv.org/html/2607.19181#bib.bib16); Finkelsteinet al., 2026 (https://arxiv.org/html/2607.19181#bib.bib45))。这些进展在多语言法律翻译的背景下尤其重要，因为精确性、一致性和法律含义的保留至关重要。在瑞士，德语、法语、意大利语和罗曼什语作为官方语言共存，加上瑞士法律体系的多语言特性，为 NMT 系统创造了一个特别具有挑战性的环境 (Martínez-Domínguezet al., 2020 (https://arxiv.org/html/2607.19181#bib.bib1); Canavese and Cadwell, 2024 (https://arxiv.org/html/2607.19181#bib.bib2); Niklauset al., 2025 (https://arxiv.org/html/2607.19181#bib.bib3))。除了多语言性之外，法律文本本身也带来了额外的挑战。它们的特点是专业术语、复杂的句法结构以及“法律行话”的正式语域——一种通常以高度技术性词汇、冗长且句法复杂的句子以及精确但僵化的表述为标志的法律写作风格 (Mattila, 2016 (https://arxiv.org/html/2607.19181#bib.bib18); Tiersma, 2008 (https://arxiv.org/html/2607.19181#bib.bib19); Martínez et al., 2023 (https://arxiv.org/html/2607.19181#bib.bib17))。这些语言特征——加上需要保留法律准确性、细微差别和内部一致性——不仅给人类译员，也给机器翻译系统带来了巨大的困难 (例如，Koehn and Knowles, 2017 (https://arxiv.org/html/2607.19181#bib.bib22); Wiesmann, 2019 (https://arxiv.org/html/2607.19181#bib.bib21))，并且持续挑战着即使是最高级 NMT 模型的极限。 近期工作表明，LLM（如 GPT）通过零样本和少样本提示展现出强大的通用翻译能力 (Hendy et al., 2023 (https://arxiv.org/html/2607.19181#bib.bib6); Jiao et al., 2023 (https://arxiv.org/html/2607.19181#bib.bib7))。在这些能力的基础上，一些方法试图通过在特定领域语料库上进行微调，将小型语言模型（SLM）适应于法律领域 (Niklaus et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib3))。这些方法在法律和机构环境中尤其相关，因为在这些环境中，计算效率、部署成本、数据隐私和本地推理约束可能会限制大型专有模型的实际使用。虽然这些方法相比未微调的模型性能有所提升，但在捕捉高质量法律翻译所需的全方位语言复杂性和精确性方面，它们往往达不到最先进的 LLM。 最近，NMT 的进展受到了大型推理模型（LRM）的出现的显著影响，例如 GPT-O 系列和 DeepSeek-R1 (Guo et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib27))，这些模型为解决复杂的翻译任务开辟了新的机会 (Liu et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib5))。这些模型在数学 (Ahn et al., 2024 (https://arxiv.org/html/2607.19181#bib.bib29); Xia et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib30)) 和编程 (El-Kishky et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib31); Zhao et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib32)) 等推理密集型任务上展示了令人印象深刻的性能，突出了它们反思、推理和迭代优化输出的能力。在翻译的背景下，LRM 通过将翻译视为一个动态推理过程来扩展其推理能力——从而能够更准确地处理上下文、文化细微差别和句法复杂性。例如，其自我反思机制可以在推理过程中用于错误检测和纠正，使它们能够更好地处理模糊和语言要求高的翻译场景 (Wang et al., 2024 (https://arxiv.org/html/2607.19181#bib.bib4); Chen et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib20); Wu et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib48))。 鉴于这些发展，本文探讨了如何利用推理来提高翻译质量，特别关注瑞士法律翻译。我们研究了不同训练范式的影响以及模型规模在基于推理的法律翻译中的作用。特别是，我们比较了跨不同尺寸模型（参数从 4B 到 12B）的监督微调（SFT）和强化学习（RL）方法，以更好地理解推理能力如何与模型容量相互作用。在 SFT 设置中，我们研究了两种变体：推理 SFT，即模型在附带中间推理步骤的翻译对上进行微调；以及简单 SFT，即模型仅在直接的句子级翻译对上进行训练。然后，我们将这些方法与基于组相对策略优化（GRPO）(Shao et al., 2024 (https://arxiv.org/html/2607.19181#bib.bib26)) 的 RL 设置进行比较，以评估推理增强训练策略在不同模型规模下对法律翻译的有效性。具体来说，我们做出了以下三个贡献： 1.  我们对将推理整合到翻译中的三种方法进行了系统且详细的比较，涉及不同的模型系列：（1）提示大型推理模型，（2）使用中间推理步骤微调小型语言模型，以及（3）应用 RL 技术优化模型的翻译。 2.  我们发布了一个包含 40,000 个法律翻译对的新数据集，其中包含使用 DeepSeek-R1 模型自动生成的中间推理步骤。该数据集旨在支持未来在法律领域进行推理增强翻译的研究。 3.  我们提出了一个 GRPO 训练方案，并附有一个简单而有效的、针对法律翻译任务定制的奖励公式，这可以作为未来在 NMT 中进行领域特定强化学习工作的蓝图。 我们的主要发现如下：（a）虽然 SFT 和 RL 都提高了翻译质量，但这些效果对于较小的模型尤其明显；（b）RL 比 SFT 带来了更显著的性能提升；（c）推理增强的 SFT 并不总是优于简单的 SFT；（d）模型规模起着重要作用，在所评估的较小规模模型中，经过 GRPO 训练的 Gemma 3 12B 在瑞士法律翻译方面取得了最佳性能。111代码可在 GitHub 仓库 https://github.com/aixiuxiuxiu/Legal-MT-SFT-RL 获取 ## 2. 相关工作：神经机器翻译中的推理 近期研究开始利用语言模型的推理能力来增强 NMT，方法涵盖从多智能体系统到强化学习。例如，Wang 等人 (2024 (https://arxiv.org/html/2607.19181#bib.bib4)) 提出了一个用于翻译比喻语言的多智能体框架，其中翻译智能体根据顾问和评估智能体的反馈迭代改进翻译。类似地，Wu 等人 (2025 (https://arxiv.org/html/2607.19181#bib.bib48)) 研究了基于推理的 MT 提示策略，并发现简单的自我改进策略（例如要求模型“重新翻译”）可以优于显式的思维链分解。 用于 MT 深度推理的强化学习是一个相对较新的领域，但新兴的研究反映了对其潜力的日益增长的兴趣。一个显著的例子是 R1-T1 (He et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib24))，它使用 COMET 分数 (Rei et al., 2020 (https://arxiv.org/html/2607.19181#bib.bib25)) 作为奖励信号，并通过修改的 REINFORCE++ 算法 (Hu et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib28)) 训练模型。在此基础上，Wang 等人 (2025 (https://arxiv.org/html/2607.19181#bib.bib23)) 使用 RL 增强了具备推理能力的 LLM，采用组相对策略优化（GRPO）(Shao et al., 2024 (https://arxiv.org/html/2607.19181#bib.bib26)) 作为训练基础。他们没有依赖预定义的启发式指标，而是使用一个高级 LLM 作为奖励模型，该模型使用精心设计的基于提示的评分标准来评估翻译输出和推理过程。最近，Finkelstein 等人 (2026 (https://arxiv.org/html/2607.19181#bib.bib45)) 引入了 TranslateGemma 模型，该模型结合了监督微调和强化学习，其中后一阶段使用包括 MetricX-QE (Juraska et al., 2024 (https://arxiv.org/html/2607.19181#bib.bib46)) 和 AutoMQM (Fernandes et al., 2023 (https://arxiv.org/html/2607.19181#bib.bib47)) 在内的奖励模型集成来优化翻译质量。 ## 3. 实验设置 ### 3.1 数据集 我们的实验基于 SwiLTra-Bench 数据集 (Niklaus et al., 2025 (https://arxiv.org/html/2607.19181#bib.bib3))，该数据集是目前公开可用的瑞士法律翻译最大数据集。该数据集涵盖五种语言：四种瑞士官方语言（德语、法语、意大利语和罗曼什语）以及英语。在本研究中，我们重点关注 SwissLawTranslations (CH-Law-Trans) 子集，该子集包含大约 631k 个对齐的翻译对用于训练，以及 22.7k 个句子对用于评估。 #### 训练数据集 为了构建适用于推理 SFT 的训练数据集，我们使用 DeepSeek-R1 模型为每个翻译示例生成中间推理步骤。具体来说，我们从 SwissLegalTranslations 的训练集中选取前 40,000 个句子对，并使用以下提示格式提示 DeepSeek-R1 生成推理步骤和最终翻译： > 将以下句子翻译成目标语言，同时尊重瑞士法律用语。以“Final translation:”开头给出最终翻译。以下是需要翻译的句子：源句子: source sentence 为了确保推理步骤对正确翻译有实际贡献，我们使用 ChrF (Popović, 2015 (https://arxiv.org/html/2607.19181#bib.bib13)) 分数评估最终输出，这是一个常用于机器翻译评估的字符 n-gram 重叠指标222我们在此处使用 ChrF 分数是因为它在捕捉词汇和术语准确性方面有效，这在法律领域尤其重要。我们只保留 ChrF 分数高于中位数（64.19）的样本，从而过滤掉低质量的翻译，同时保留大约一半生成的数据。此过滤步骤有助于分离出更可能支持高质量翻译的推理序列。生成的数据集包含 19,979 个句子对，其中 90% 用于训练，10% 用于验证。此过滤数据集中语言对的分布如 表 4 (https://arxiv.org/html/2607.19181#A1.T4) 所示。 #### 评估数据集 对于下一节描述的三个实验的评估，我们使用来自 SwissLegalTranslations 测试集的 22.7k 个句子对。为了确保可比性，我们从数据集中排除了罗曼什语，因为所考虑的翻译模型不支持该语言。过滤后，最终的评估数据集由 18.1k 个句子对组成。 ### 3.2 评估指标 为了评估，我们结合使用了常用的机器翻译评估指标，包括基于词汇和基于模型的方法：ChrF (Popović, 2015 (https://arxiv.org/html/2607.19181#bib.bib13))、METEOR (Banerjee and Lavie, 2005 (https://arxiv.org/html/2607.19181#bib.bib14))、COMET (Rei et al., 2020 (https://arxiv.org/html/2607.19181#bib.bib25)) 和 MetricX (Juraska et al., 2024 (https://arxiv.org/html/2607.19181#bib.bib46))。与测量生成翻译与参考翻译之间字符 n-gram 相似性的 ChrF 不同，METEOR 通过纳入词干提取和同义词来扩展词汇匹配，从而允许在翻译和参考之间进行更灵活的比较。COMET 是一种神经评估指标，它利用预训练的多语言语言模型，通过比较源文本、假设翻译和参考翻译来评估语义充分性和流畅性。MetricX 是一种基于大型语言模型的评估指标，旨在提供对翻译质量的细粒度评估，更侧重于语义正确性和事实一致性。虽然 GEMBA-MQM (Kocmi and Federmann, 2023 (https://arxiv.org/html/2607.19181#bib.bib16)) 已显示出与人工判断的高度相关性，但我们并未优先考虑它，因为它依赖基于 GPT 的评估，并且估计会产生超过 3,000 美元的高额评估成本。除了自动指标外，我们还对具有代表性的翻译样本进行了人工评估，以进一步评估翻译质量并验证自动评估结果。 ## 4. 实验 ### 4.1 实验 I：通过提示进行推理 为了评估当前最先进的大型推理模型在法律翻译方面的能力，我们评估了多个模型系列，包括 DeepSeek-R1、OpenAI 的 o4-mini、o4、o3 和 o3-mini。为了比较，我们还包含了一个较小的模型：Mistral-Small。所有实验均在 Azure AI Foundry 平台上进行333https://azure.microsoft.com/en-us/products/ai-foundry。我们的目标并非对所有现有前沿模型进行基准测试——例如，尽管 Niklaus 等人 (2025) 报告了 Claude 系列表现强劲，但我们并未对其进行测试。相反，本实验旨在为大型推理模型建立一个具有代表性的基线，作为后续使用小型模型进行 SFT 和 RL 实验的参考点。