LLM翻译中数字本地化分析

# 1 引言
Source: https://arxiv.org/html/2608.05232

###### 摘要

本文将数值翻译方面的工作进行了扩展，通过分析五个大型语言模型（LLMs）来考察时间、数字和日期的本地化（localisation）能力，而非翻译能力。我们选用了可以加载到消费级硬件上运行的模型，并计算了每种模式的基线质量，随后测试了三种不同的策略以提升该准确率。与Tang2025的发现相反，在测试的LLMs上，我们发现将本地化原则嵌入提示上下文相比直接翻译或替代策略，在统计上带来了显著的准确率提升。

###### 关键词：

数值本地化；数值翻译；大型语言模型

\pubvolume

1\issuenum1\articlenumber0\datereceived\daterevised\dateaccepted\datepublished\标题分析LLM翻译中的数值本地化\作者Patrizia Kaye1\orcidA\作者姓名Patrizia Kaye\通讯作者通讯：[email protected]

自然语言与编程语言有着根本性的不同：后者被精确且形式化地定义，而前者则因说话者、所在地点、说话时间等因素而发生变化。在自然语言中，词语的含义可能随时间而改变，并在不同文化和国家之间产生差异，例如：英式英语中的“chips”与美式英语中的“fries”含义相同，而美式英语中的“chips”则相当于英式英语中的“crisps”。因此，任何对语言的建模充其量只能是一种近似，不能期望得到完美的结果。即使某个模型在某一时刻达到了完美的准确率，这种准确率也会随时间衰减，因为语言始终在演化。

自OpenAI于2022年11月首次发布ChatGPT以来，人们对大型语言模型（LLMs）以及整个人工智能领域的兴趣急剧增长，使其成为公众和学术界讨论的热点。LLM擅长的一个领域是不同人类语言之间的翻译——它们目前已成为文本翻译最流行的方法，并普遍比传统的机器翻译方法更受青睐（Kocmi2024;Kocmi2025）。

然而，翻译不仅仅是词语选择：它还包括“本地化”——一套按国家、语言和地区而异的日期、时间和数字等信息格式化的惯例。再以英国和美国为例：英国使用的DD/MM/YYYY与美国使用的MM/DD/YYYY日期格式之间的混淆，清楚地说明了这一领域准确性的重要性。在本文中，我们研究英语和德语之间的翻译和本地化；如表1 (https://arxiv.org/html/2608.05232#S3.T1) 所示，德语使用句点（.）作为千位分隔符，逗号作为小数点，而在英国则相反。如果数字123.456在从英语翻译成德语时没有正确本地化，无论涉及何种数量，都将产生三个数量级的误差！对于任何经济或科学测量而言，这都会使翻译高度不准确，甚至变得毫无意义。选择英语和德语作为语言对，是因为高质量平行语料库的广泛可用性，以及作者对这两种语言的熟练掌握，从而便于开发和对结果进行验证。

一个研究不足的领域是，这种翻译能力如何应用于数字。目前唯一直接相关的研究是Tang2025的论文，该论文分析了英语⟷中文之间在多种情境下的数字翻译（Tang2025）。本文测试了Tang2025所描述的策略（见3.4节 (https://arxiv.org/html/2608.05232#S3.SS4)），并将其应用于数值本地化而非翻译。虽然这是一个小众领域，但它是翻译文本时应考虑的另一个方面，因为不同国家、文化和语言对值的格式化和本地化预期各不相同。

### 1.1 主要贡献

1. 使用两个通用LLM和三个翻译专用LLM分析英语⟷德语数值本地化。
2. 确定确保本地化准确性的最准确方法。
3. 提出一种可复现的方法论，适用于更多语言对。

### 1.2 范围

所选评估模型均可在消费级硬件（8GB显存和64GB系统内存）上运行，这也反映了许多组织和用户所拥有的设备条件。这些硬件限制使得模型规模被限制在约8B参数，并使得每种数据类型的实际样本上限为100个。

这些结果不一定能推广到测试之外的其他模型。这是因为模型会以不同的训练方法进行更新，或发布时采用不同的架构。然而，该框架的相关脚本和代码均可获得，从而可以对额外的和未来的模型进行可直接比较的分析。

## 2 文献综述

### 2.1 大型语言模型

Vaswani等人（Vaswani2017）提出的“Transformer”架构是一篇奠基性的论文（Vaswani2017）。在此之前，大多数LLM包含循环神经网络（RNN）组件和注意力机制，但作者令人信服地论证了RNN组件实际上并非必要。

在循环神经网络和卷积神经网络中，对两个词元之间依赖关系进行建模所需的计算量会随着它们之间距离的增加而增加。Transformer架构通过编码词元的相对位置，将计算量减少为恒定次数，与词元间的距离无关，然后使用多头注意力机制，其中每个头处理词元的不同投影值。该架构在WMT14的英语到德语和英语到法语翻译的BLEU指标上取得了最先进的成绩，而训练成本仅为之前模型的10%。

在开创性论文《Improving Language Understanding by Generative Pre-Training》（Radford2018）中，模型通过无监督学习在大量未标注文本语料库上进行预训练，为特定任务的监督微调提供了良好的初始基础。这使他们能够创建一个通用的基础模型，作为更专业化任务训练的起点。他们的结果表明，使用具有长距离依赖的文本（即超越短语和句子的文本，如段落和页面）并结合Transformer架构，可以提供最佳性能。

### 2.2 机器翻译

基于规则的机器翻译（RBMT）通常用于处理标准化文档（如技术手册），这类文档需要格式一致性和技术精确性。然而，RBMT对非结构化文本的用处较小；Tao等人（Tao2025）专注于战场报告的例子，这些报告通常包含细微差别和上下文歧义。他们为通用LLM创建了一个微调翻译数据集，其中包含从高质量、专家翻译的双语语料库中提取的词级、句级和段落级翻译（Tao2025）。他们测试了几个流行的Llama、Qwen和Deepseek LLM（参数量≤10b，以适应消费级硬件的限制），发现这些模型在各项测试指标上相较RBMT都有显著提升，并在相似的时间范围内收敛。尽管取得了这些结果，作者指出，在生产环境中部署这样的系统需要稳健的机制来减轻机密文档翻译中的幻觉风险，并遵守相关的数据治理标准。

BLEU指标在用于LLM时有一个关键缺陷：它无法识别词语或句法结构之间的等价性，例如用括号代替逗号对来表示插入语。因此，BLEURT被提出作为一种端到端学习型指标，以取代手工设计的BLEU指标（Sellam2020）。其理由是，BLEU与人工评估的对应性不强，而学习型指标在训练数据空缺处具有更好的插值能力，并且可以根据应用需求进行调优，偏向忠实度或特定风格。在预训练阶段，通过扰动维基百科文章、删除词语和往返翻译生成合成数据，并进一步针对任务特定（翻译或数据到文本）数据对模型进行训练。在WMT17-20基准测试中取得了一致改进，并发现预训练提高了模型在低质量数据下的可靠性。

### 2.3 数字翻译

尽管数字翻译在实际应用中无处不在，但相关研究仍然很少。最直接的相关工作是Tang2025的论文（Tang2025），标题恰为《Investigating Numerical Translation with LLMs》。作者描述了中英文之间整数、小数、数字及分隔符的翻译现状，指出没有哪个模型是完全准确的，无论是商业模型还是开源模型；并且虽然大多数模型的平均准确率处于90%出头的范围，但记录的准确率最低的是Bloomz-7b-mt模型，在en→cn和cn→en翻译中分别仅为83%和76%。

该研究创建了一个包含十种数字翻译类型的数据集，从大单位、范围和数字字符串（如员工编号），到比率、公式和负数。在测试的模型范围中，没有任何一个模型在所有任务中表现一致地更好，即使在某些直观预期下也是如此；例如，Llama3.1的8b参数模型在翻译比率和公式方面优于70b参数版本，而后者在分数和小数方面表现更好得多。

该研究评估了三种提高数字翻译可靠性的方法：

- •上下文学习（ICL）：在提示中包含转换原则。
- •思维链（CoT）：提示模型解释其过程（注意这是生成的文本，不一定对应于实际翻译步骤）。
- •后编辑（PE）：提取数值对并单独提示翻译。

ICL通常只能纠正一个错误，而CoT在解释过程中常常出现不正确的翻译，但最终阶段却是正确的。PE则始终优于ICL和CoT。作者指出，ICL和CoT的问题凸显了LLM理解数值计算的内在局限，而PE则专注于对已有文本的直接翻译/纠正，这是LLM非常擅长的任务。

虽然这似乎是唯一一项对数字翻译进行系统性研究的工作，但值的目标语言本地化并不在其研究范围内。本文旨在填补这一文献空白。

### 2.4 数据集

机器翻译数据集从单语到平行语料库不等，具有从社交媒体非正式单语评论到政府部长正式演讲的多种语域。以下数据集涵盖了不同级别的正式性和结构性，同时仍可提供平行语料库，从而能使用已知正确的示例对LLM生成的值进行验证。Statmt-europarl-10-deu-eng数据集-Europarl-2020：提取自欧洲议会程序文本，正式且涵盖广泛主题。Tilde-ema-2016-deu-eng数据集-EMA-2017：来自欧洲药品管理局文档门户的文本，正式且技术性强。Statmt-news_commentary-18.1-deu-eng数据集-NewsCommentary：中等程度的正式性，涵盖多种主题。

## 3 方法

实验旨在确定LLM是否能够如翻译文本一样有效地将数字本地化为目标语言。所有实验都在配备Nvidia GeForce 4060（8GB显存）和64GB系统内存的系统上运行。模型使用vllm Python库0.17.0版本加载和运行（Kwon2023）。在初始开发阶段，我们对提示进行了迭代调整，以改进输出、明确格式并删除多余文本：系统性优化需要大量针对特定模型的调优。

### 3.1 数据集

选用以下数据集，并使用MTData工具下载（gowda-etal-2021-many）。这些数据集涵盖了不同级别的正式性和结构性，同时仍可提供平行语料库，从而能用已知正确的示例对LLM生成的值进行验证。

- •Statmt-europarl-10-deu-eng数据集-Europarl-2020– 每种时间、日期和数字各取100个样本。
- •Tilde-ema-2016-deu-eng数据集-EMA-2017– 日期和数字各取100个样本。由于大量滴定比率的存在，在尝试提取时间示例时导致过多误报。
- •Statmt-news_commentary-18.1-deu-eng数据集-NewsCommentary– 日期和数字各取100个样本。鉴于提取方式，该数据集中可用时间实例少于100个，因此为保持结果间的一致性，未对这些时间数据进行分析。

总计每个模型有700个输入。每种数据类型/数据集组合取100个样本，被视为使模型结果清晰化的最小可用样本数。

### 3.2 数据格式

日期（包括数字和文本形式）、数字和时间被用作本地化分析的格式。表1 (https://arxiv.org/html/2608.05232#S3.T1) 给出了一些它们在英语和德语之间差异的示例。在德语中，格式通常遵循DIN-5008（DIN-5008-web），它与ISO-8601-1（ISO-8601-1:2019）一致，但额外允许DD.MM.YYYY日期格式等。在英语中，ISO-8601-1同样适用于正式和数据交换格式，但常规使用则更加灵活（CLDR）。

表1：数据格式的示例说明。

### 3.3 模型

选择以下模型，因为它们可免费获取且都可在消费级硬件上运行。我们还选择了两个通用模型和翻译专用模型，以观察特定训练是否会改善结果。所有模型均经过指令调优，并使用ChatML模板结构进行提示。

1. 通用：Qwen2-7B-Instruct（qwen2）
2. 通用：Qwen3-4B-Instruct-2507（qwen3technicalreport）
3. 翻译专用：TowerInstruct-7B-v0.2（tower_llm_2024）
4. 翻译专用：SalamandraTA-7b-instruct（Salamandra2025）
5. 翻译专用：SalamandraTA-2b-instruct（Salamandra2025）

模型的温度设置为0——由于每个样本只处理一次，必须衡量模型最可能的词元输出，而不是从其概率分布中随机抽取单个样本。

### 3.4 策略

首先，执行直接翻译以设定一个基线质量，然后衡量其他策略（如有）所带来的改进。模型仅被指示将源句子翻译为目标语言。为尝试找到更好的方法来确保数值在翻译时正确本地化，我们评估了三种策略。

- •上下文学习：向模型提供若干提示来指导本地化，例如每种语言中的数字和小数点分隔符。
- •思维链：指示模型解释翻译背后的过程。正如Tang2025所指出的，生成的文本并不一定对应实际采取的翻译步骤。
- •后编辑：提取数值对并分别提示进行翻译。

ICL通常只能纠正一个错误，CoT则经常在解释过程中出现不正确的翻译，但最终阶段是正确的。而PE始终优于ICL和CoT。作者指出，ICL和CoT的这些问题凸显了LLM在理解数值计算方面的内在局限性，而PE专注于对已有文本的直接翻译/纠正，这正是LLM非常擅长的任务。