通过经验回放和模型融合对 IndicTrans2 在 21 种印度语言上进行会话域适应

# 基于经验回放和模型汤的IndicTrans2在21种印度语言中的对话领域适应性
来源：https://arxiv.org/html/2606.29024
（2026年6月）

## 摘要

IndicTrans2是最强的开源英译印度语言系统，但与大多数系统一样，它在通用文本上训练，在随意、对话式的输入上往往显得生硬。我们仅使用公开数据（OpenSubtitles、BPCC-H-Daily、Tatoeba）将IndicTrans2-1B适应到所有21种印度语言的对话语域。直接微调提高了对话chrF但忘记了通用领域（印地语的FLORES下降了3.9 chrF）。将通用数据混合回训练中（经验回放），然后对微调权重与基础模型进行平均（模型汤），消除了这种权衡：最终模型在所有21种语言上的对话chrF都优于IndicTrans2-1B（平均+6.2），同时在FLORES上与之匹配（平均变化-0.17，所有在0.7 chrF内）。配对自助法检验证实对话提升显著（p≤0.004），并且FLORES没有显著下降。我们刻意限定范围：这些是chrF的提升，而盲人机加多模型LLM检查并未确认其为感知质量提升，因此我们将对话提升主要视为与参考文献的语域匹配，而非更好翻译的证据。这些技术并非新颖；贡献在于在印度语对话环境中进行的诚实、端到端的研究。

## 1. 引言

大多数翻译系统是在FLORES-200等通用基准上进行调优和测量的。但大量真实翻译是对话式的：聊天、字幕、语音命令。这类文本比新闻更短、更地道、更省略，一个在FLORES上得分高的模型在随意对话中仍可能产出生硬的输出。

对于印度语言，IndicTrans2是最好的开源选择，在2.3亿对的BPCC语料库上训练。它是一个通用领域模型，因此我们提出了一个简单的问题：

> 我们能否仅使用公开数据，将一个强大的多语言模型适应到许多语言的对话语域，而不损害其通用质量？

从chrF来看，答案似乎是明确肯定的。直接微调会导致预期的灾难性遗忘，而经验回放加模型汤在修复这一问题的同时，在所有21种语言上带来了巨大的对话提升，且FLORES没有显著损失（§5）。

我们并没有止步于此。整个论点的关键是翻译*质量*，而不是chrF，因此我们还进行了盲人机加LLM评估（§6）。该检查并未确认质量提升。我们诚实地报告这两种结果：配方在指标上有效，但指标夸大了它对对话的帮助程度。

贡献。

1. 1. 一个可复现的、针对英译印度语言对话适应性的研究，覆盖21种语言，完全基于公开数据构建，包含有效的反遗忘配方和显著性检验。
2. 2. 对该配方局限性的诚实描述：直接微调下的遗忘、简单的领域内测试集上膨胀的提升、一个夸大对话质量的指标、以及基础模型在资源最少语言上设定的下限。

我们使用的技术，模型汤和回放，都是成熟的。其价值在于系统性的研究以及在一个没有人以这种方式测量的环境中的诚实评估。

## 2. 相关工作

NMT的领域适应性。在领域数据上微调通用模型是标准做法，其主要失败模式是忘记通用领域。在微调期间混合通用数据是一种已知的修复方法，是经验回放的一种形式[Chu等人，2017；Robins，1995]。

模型汤。对微调模型的权重进行平均可以提高准确性[Wortsman等人，2022a]；WiSE-FT将微调模型与其起点平均，以平衡领域内和领域外性能[Wortsman等人，2022b]。我们将这种基础到微调的平均应用于翻译。

指标与人工判断。chrF和BLEU奖励与参考文献的重叠，可能与人类评估存在差异[Callison-Burch等人，2006；Mathur等人，2020；Freitag等人，2021]。当适应性使模型向参考文献风格靠拢时，指标可能上升而质量并未提升。我们的结果是这一情况在印度语对话翻译中的一个具体案例。

印度语MT。IndicTrans2 [Gala等人，2023]和BPCC是基础模型和数据来源。WAT托管印度语翻译共享任务[Nakazawa等人，2024]。

## 3. 数据

基础模型。ai4bharat/indictrans2-en-indic-1B（11亿参数）。

对话数据（英译印度语言，每对带有其目标语言标签）：

- •OPUS OpenSubtitles 针对拥有大量字幕数据的五种印度语言（hi、ml、ta、te、ur），每种限制为4万对。
- •BPCC-H-Daily，人工编写的日常和助手话语，适用于所有21种语言（每种约1.8k至11k对）。
- •Tatoeba 日常句子（印地语）。

在根据长度、长度比、精确重复和文字进行过滤后，对话数据集共有294,119对，覆盖21种语言（训练集283,753/开发集4,183/测试集6,183）。仅印地语的运行还应用了LaBSE余弦过滤器（阈值0.70）以丢弃不对齐的字幕对。

通用锚点（用于回放）：BPCC-H-Wiki，一种通用语域，大致与对话数据按1:1比例采样（254,469对）。因此混合训练集包含538,222对。

对话数据量非常不均匀。五种OpenSubtitles语言各有3万至4.8万对；其余16种语言依赖BPCC-H-Daily（约2k至11k）。这种偏差源于可用数据，并影响了结果（§7）。

## 4. 方法

我们比较了三种设置，均对IndicTrans2-1B进行微调（IndicProcessor预处理，每示例目标语言标签，bf16，Adafactor，单NVIDIA A10G GPU）：

1. 1. 直接FT。仅对对话数据进行微调。
2. 2. 混合FT（回放）。对对话数据加通用锚点（约1:1）进行微调。
3. 3. 模型汤。对基础模型和微调模型进行平均，soup = (1 - a) * base + a * finetuned，扫描混合权重a，选择最佳的对话-通用权衡。我们对两个检查点的张量进行流式处理，以保持内存有界。

仅印地语模型使用14.6万对话对（2至3个epoch）。多语言模型使用完整的29.4万对话对和53.8万混合集（分别为2 epoch和1 epoch，按看到的示例进行匹配）。

我们在保留的对话测试集和FLORES-200 devtest上，按语言计分chrF2（sacreBLEU），并对代表性语言进行配对自助法显著性检验。

## 5. 结果

从指标来看，配方有效。这些数字是真实的；§6接着询问它们是否意味着看起来的那样。

### 5.1 印地语案例研究

表1分离了印地语上的机制。图1展示了同样的故事。

表1：印地语（chrF2）。

模型对话FLORESIndicTrans2基线51.661.7直接对话FT57.057.8（遗忘）混合FT56.060.6模型汤（a=0.6）54.161.8直接微调对话chrF提升了5.4，但FLORES下降了3.9，这是明显的遗忘。混合FT恢复了大部分通用质量，而模型汤在两个轴上达到或超过基线。从0.3到0.7扫描a，拐点在0.6。

参考图标题图1：在印地语上，直接微调提升了对话chrF，但FLORES低于基线。回放保持了大部分通用质量，而与基线平均则恢复了FLORES，同时在对话方面保持领先。
### 5.2 所有21种语言

混合模型汤在每种语言上提升了对话chrF（平均+6.2），而FLORES几乎没有变动（平均-0.17，所有在0.7以内）。图2显示了每种语言的提升；图3显示对话提升伴随的通用质量基本不变。

表2：所有21种语言，基线到混合汤（chrF2）。

语言对话（差值）FLORES（差值）asm61.9到69.4（+7.6）44.2到44.1（-0.1）ben68.7到73.6（+4.8）58.1到58.1（0.0）brx62.1到68.0（+5.9）45.9到46.0（+0.1）doi63.4到71.7（+8.3）49.8到49.6（-0.2）gom69.4到75.6（+6.2）49.1到49.2（+0.1）guj53.7到65.9（+12.2）55.3到54.7（-0.6）hin53.9到56.8（+2.9）60.0到59.6（-0.5）kan52.4到57.1（+4.7）59.0到58.7（-0.3）kas45.8到51.3（+5.5）39.1到38.8（-0.4）mai57.8到65.2（+7.4）56.6到56.6（0.0）mal45.7到48.4（+2.7）61.1到61.4（+0.3）mar70.2到77.3（+7.1）55.0到54.5（-0.5）mni56.4到62.8（+6.4）48.2到48.3（+0.2）npi68.8到72.1（+3.3）59.4到59.0（-0.5）ory56.4到65.7（+9.2）52.0到51.3（-0.7）pan68.0到76.5（+8.4）55.3到54.8（-0.5）san54.5到63.6（+9.1）36.3到36.5（+0.2）sat50.7到56.2（+5.6）30.7到30.3（-0.4）tam52.7到55.1（+2.4）64.1到64.4（+0.3）tel49.9到60.0（+10.1）62.4到62.0（-0.4）urd48.1到49.4（+1.3）54.7到54.7（+0.1）平均+6.2-0.17参考图标题图2：所有21种语言的对话chrF提升。蓝色标记了拥有硬字幕测试集的五种语言；这些是值得信赖的提升。灰色的大提升来自简单的领域内测试集（§7）。参考图标题图3：每个点代表一种语言。每种语言在对话上都有提升（所有点高于零），而通用质量保持在基线周围0.7 chrF的带内。
### 5.3 显著性

我们对三种拥有最难以字幕为基础的对话测试的语言运行配对自助法重采样（sacreBLEU，1000次重采样，n=500）。

表3：配对自助法，基线 vs 混合汤（chrF2）。

语言对话（p）FLORES（p）印地语51.5到54.1（p=0.001）61.9到61.9（p=0.372，不显著）泰米尔语50.9到55.1（p=0.001）64.7到64.6（p=0.290，不显著）马拉雅拉姆语46.9到49.5（p=0.004）62.5到62.8（p=0.038，上升）对话提升是显著的。FLORES没有显示出显著下降（印地语和泰米尔语不显著，马拉雅拉姆语甚至显著*更好*）。如果将其解读为质量声明，这恰好是§6显示具有误导性的结果。

## 6. 指标显示与未显示的内容

chrF衡量与参考文献的重叠，而不是质量，而对话有两个特定的陷阱，我们希望明确指出而不是隐藏。

总体结果是平局，而非胜利。在FLORES上，模型汤与基线匹配（印地语61.8 vs 61.7，所有21种语言差异在0.7以内）。因此我们声称通用质量得以保持，而非提升。

部分对话提升源于参考文献风格匹配。我们的对话参考文献是字幕，较为随意。适应后的模型也更加随意（非正式代词、口语词序），因此它与参考文献的重叠更多，得分更高，无论意思是否更好。在基线和模型汤意见不一致的对上，模型汤持续更口语化，因此对话提升可解读为“更接近随意的参考文献风格”，这与“更好的翻译”有重叠但并不等同。

保留下来的几点。两个说法成立：配方保持了通用chrF（FLORES平局，经过显著性检验），并且其输出与人类对话参考文献在可测量意义上更接近（在最难的测试上显著）。对人类而言这是否意味着更高质量，是指标无法回答的单独问题。在印地语上进行的盲人机加多模型LLM检查并未确认感知到的提升，这就是为什么我们将每个主张的范围限定在chrF。

## 7. 分析

遗忘是真实的，修复方法有效。直接对话微调降低了FLORES（印地语3.9）。在模型汤之前加入通用锚点，FLORS回到了基线水平（平均-0.17），这确认了回放是机制。

提升大小部分是测试集伪影。最大的提升（古吉拉特语+12.2、泰卢固语+10.1、奥里亚语+9.2）出现在对话测试仅为BPCC-H-Daily的语言中，这些测试简短、公式化，且与训练风格相同。值得信赖的提升来自拥有更难字幕测试的语言（印地语+2.9、泰米尔语+2.4、马拉雅拉姆语+2.7），这些恰好是§5.3发现显著的语言。因此，根据不同的测试风格按原始对话差异对语言进行排名将会产生误导。

低资源语言的下限。桑塔利语（FLORES 30.7）、梵语（36.3）、克什米尔语（39.1）和博多语（45.9）在适应后仍然较低。它们的通用质量受限于基础模型，而基础模型又受限于它们可用的平行数据量。对话适应无法提高这个下限；这需要更多的通用数据，而大规模公开数据并不存在。这是数据限制，而非方法限制。

## 8. 结论

通过使用回放和模型汤这两种成熟技术，我们将IndicTrans2适应到所有21种印度语言的对话语域，同时保持通用质量，对话chrF显著提升且通用质量没有显著损失。该配方在整个语言族中具有普适性，其局限性由资源最少语言的基础模型设定。从指标上看，结果是一个单一的即插即用模型，在FLORES上与基线匹配，并且与人类对话参考文献显著更接近。这种接近性是否是人类感知的质量提升是一个开放性问题，我们明确表示当前证据尚未解决这一问题。

## 9. 局限性

- •仅限于自动指标。所有数字均为chrF2。字符n-gram指标衡量重叠而非质量，当领域内参考文献具有独特风格时可能会夸大适应提升[Callison-Burch等人，2006；Mathur等人，2020；Freitag等人，2021]。我们的参考文献是字幕，因此部分对话提升可能反映了语域匹配（§6）。确认人类感知的提升需要一项受控的多标注者研究；这是下一步的优先事项，目前尚无定论，因此我们不做任何人类质量声明。
- •单一训练种子。每种设置仅进行一次实验；我们尚未量化训练方差（显著性检验仅涉及测试集方差）。
- •仅在子集上进行显著性检验。配对自助法仅针对21种语言中的3种（拥有最难测试的语言）报告。扩展到所有21种是直接的未来工作。
- •不同语言的语域不同。对话测试语域因语言而异（字幕 vs 日常话语），这混淆了跨语言比较（§7）。
- •单一方向。仅英译印度语言。印度语译英语和印度语译印度语未经测试，可能以不同方式遗忘。

## 可复现性

代码、论文、模型和评估框架均为公开。

- •代码和论文：https://github.com/Aditya-PS-05/indictrans2-conversational
- •模型：https://huggingface.co/adipras1407/indictrans2-en-indic-1B-conversational

关键脚本：数据（src/data/build_multiling_conv.py、src/data/build_ml_mixed.py），训练（src/train/finetune_it2_ml.py），汤制作（src/train/make_soup.py），评估（src/eval/ml_eval.py），显著性（src/eval/sig_test.py）。发布的模型：ft_it2_ml_mixed及其汤ft_it2_ml_mixed_soup。环境：Python 3.11，transformers==4.40.2，IndicTransToolkit，sacreBLEU 2.6。

## 参考文献

- •Callison-Burch, Osborne, Koehn. Re-evaluating the Role of BLEU in MT Research. EACL 2006.
- •Chu, Dabre, Kurohashi. An Empirical Comparison of Domain Adaptation Methods for NMT. ACL 2017.
- •Freitag, Foster, Grangier, et al. Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for MT. TACL 2021.
- •Gala et al. IndicTrans2: Towards High-Quality and Accessible MT for all 22 Scheduled Indian Languages. TMLR 2023.
- •Koehn. Statistical Significance Tests for MT Evaluation. EMNLP 2004.
- •Lison and Tiedemann. OpenSubtitles2016. LREC 2016.
- •Mathur, Baldwin, Cohn. Tangle