ComplexityMT：文本复杂度与机器翻译交互的基准测试

# ComplexityMT：文本复杂度与机器翻译交互作用的基准测试
来源：https://arxiv.org/html/2606.05421
Joseph Marvin Imperial¹,³、Junhong Liang⁴、Belal Shoer⁴、Abdullah Barayan²,⁹、Rodrigo Wilkens⁵、Omar Mussa¹⁰、Dawn Knight²、Eugénio Ribeiro⁶,⁷、Ekaterina Kochmar⁴、Sowmya Vajjala⁸、Fernando Alva\-Manchego²、Harish Tayyar Madabushi¹
¹巴斯大学，²卡迪夫大学，³菲律宾国立大学，⁴穆罕默德·本·扎耶德人工智能大学，⁵埃克塞特大学，⁶INESC\-ID Lisboa，⁷里斯本大学学院（ISCTE\-IUL），ISTAR，⁸加拿大国家研究委员会，⁹阿卜杜勒阿齐兹国王大学，¹⁰沙特电子大学
jmri20@bath\.ac\.uk（mailto:[email protected]）、alvamanchegof@cardiff\.ac\.uk（mailto:[email protected]）

## 摘要

文本经过翻译后，其复杂度是否得以保留？我们引入 **ComplexityMT**，这是一个新的挑战，旨在评估文本复杂度与机器翻译如何相互作用并相互影响，采用《欧洲语言共同参考框架》（CEFR）等级作为文本复杂度的衡量标准。涵盖阿拉伯语、荷兰语、英语、法语、印地语和俄语六种语言，我们评估了三个开源模型、一个闭源模型以及一个商业机器翻译系统在两项任务上的表现：i) CEFR与翻译难度的相关性，以及 ii) 源文本CEFR等级的变化。我们的实验表明，较高的CEFR等级使文本更难翻译，并且对于大多数语言，机器翻译会改变目标文本相对于源文本的CEFR等级。这些发现为从事多语言教学内容生成和机器翻译难度估计的研究者和实践者提供了新见解。

**CEFR** – 欧洲语言共同参考框架  
**LLM** – 大语言模型  
**MT** – 机器翻译  
**NLP** – 自然语言处理

---

# ComplexityMT：文本复杂度与机器翻译交互作用的基准测试

Joseph Marvin Imperial¹,³、Junhong Liang⁴、Belal Shoer⁴、Abdullah Barayan²,⁹、Rodrigo Wilkens⁵、Omar Mussa¹⁰、Dawn Knight²、Eugénio Ribeiro⁶,⁷、Ekaterina Kochmar⁴、Sowmya Vajjala⁸、Fernando Alva\-Manchego²、Harish Tayyar Madabushi¹  
¹巴斯大学，²卡迪夫大学，³菲律宾国立大学，⁴穆罕默德·本·扎耶德人工智能大学，⁵埃克塞特大学，⁶INESC\-ID Lisboa，⁷里斯本大学学院（ISCTE\-IUL），ISTAR，⁸加拿大国家研究委员会，⁹阿卜杜勒阿齐兹国王大学，¹⁰沙特电子大学  
jmri20@bath\.ac\.uk（mailto:[email protected]）、alvamanchegof@cardiff\.ac\.uk（mailto:[email protected]）

参考图1说明：**图1**：我们观察到现有机器翻译模型的两个局限性：i) **鲁棒性问题**——对于复杂度较高的源文本，它们往往产生质量较低（通过COMET或GEMBA评估）的翻译；ii) **保留问题**——它们往往改变源文本的教学复杂度等级（例如CEFR）。

## 1 引言

长期以来，为学习者量身定制与其水平相匹配的阅读材料一直是教育研究的热点。传统方法如可读性公式（Kincaid 等，1975；DuBay，2004；Crossley 等，2017）以及专有指标如 Lexile 分数（Lennon 和 Burdick，2004）曾被用于评估现有材料并使其适应特定阅读水平。近年来，自然语言处理（NLP）研究已实现了该方向两个基础任务的自动化，即自动可读性评估（Aluisio 等，2010；Ciobanu 等，2015；Xia 等，2016；Deutsch 等，2020；Vajjala，2022）和文本简化（Maddela 和 Xu，2018；Scarton 和 Specia，2018；Nishihara 等，2019；Alva\-Manchego 等，2020；Maddela 等，2021；Sheang 和 Saggion，2021；Alva\-Manchego 等，2025；Barayan 等，2025），两者共同支持针对特定阅读水平的文本生成。这一方向的研究自然集中于英语等资源丰富的语言，因为数据和模型较为充足。

机器翻译（MT）为将适合阅读水平的文本扩展到更多语言提供了一种自然的方法（Xu 等，2016；Marchisio 等，2019；Alva\-Manchego 和 Shardlow，2022；Zouhar 等，2026）。但要了解现有 MT 模型是否真正适合此目的，需要实证证据来说明文本复杂度如何影响翻译质量，以及它是否保留了所翻译源文本的复杂度。理解这些交互作用将指导如何利用 MT 和文本简化来跨语言扩展内容生成。

复杂的文本可能难以翻译，这一假设并不新奇。文本简化曾被视为降低翻译难度、提高翻译质量的预处理步骤——无论是在早期 MT 模型中还是近期（如 Chandrasekar 等，1996；Mehta 等，2020）。最近的研究表明，复杂文本确实难以翻译（Shardlow 和 Alva\-Manchego，2022）。与此同时，另一条研究线将简化描述为一种翻译共性，即翻译后的文本往往更具可读性、复杂度更低，因为它依赖目标语言中的高频词汇（Corpas Pastor 等，2008；Lu 等，2021；Wastl 等，2025）。在所有这类研究中，复杂度的概念主要是二元的。鉴于文本复杂度与机器翻译之间看似截然不同的观点，我们在本文中重新审视这些问题，特别是从教学难度的角度，并使用 CEFR 量表（欧洲理事会，2001）进行操作化。因此，我们提出以下研究问题：

- **RQ1**：文本的 CEFR 等级与翻译难度如何相关？
- **RQ2**：文本的 CEFR 等级在翻译过程中如何变化？

这些问题源于多语言教学导向内容生成中的实际困难，同时也为 MT 难度估计研究做出贡献。据我们所知，过去 NLP 研究中尚未系统探讨过 MT 与基于教学难度的内容生成之间的交互作用，本文通过两项任务（见第3节）引入了一个研究框架。

## 2 相关工作

我们认为现有 NLP 研究中有两条主线与本工作直接相关：MT 难度估计和复杂度控制的 MT。

#### MT 难度估计

MT 是 NLP 的核心研究问题之一，而 MT 难度估计（即文本对于 MT 系统的翻译难度以及如何缓解该影响）在过去研究中已受到一定关注。研究者探索了多种文本级特征（如文本长度、词汇多样性）来建模源文本的翻译难度（Hale 和 Campbell，2002；Mishra 等，2013；Li 等，2014；Bugliarello 等，2020；Araghi 和 Palangkaraya，2024；Proietti 等，2025；Zouhar 等，2026）。Proietti 等（2025）最近考虑了 CEFR 量表（欧洲理事会，2001）作为描述翻译难度的一种方式。文本简化也被探索为 MT 前的预处理步骤，以使文本更易于（机器）翻译并提高翻译质量（Chandrasekar 等，1996；Mehta 等，2020）。然而，据我们所知，以往所有关于 MT 难度估计的研究主要聚焦于句子级别的文本和英语源数据，主要动机是提高 MT 翻译质量，而非像我们这样出于教学目的。

本文通过考虑 CEFR 量表作为文本难度指标，并将 MT 质量作为机器翻译难度的度量，来审视 MT 难度估计。与其他工作不同，我们超越了句子级别分析和对英语的依赖，还考虑了跨多种语言的文档级别，以探索该问题。

#### 复杂度控制的 MT

通过控制礼貌程度（Sennrich 等，2016）、正式程度（Nadejde 等，2022）和个性化（Mirkin 和 Meunier，2015）等方面来生成翻译变体，在 NLP 研究中已得到充分研究。在这一研究线中，控制 MT 中的文本复杂度（Agrawal 和 Carpuat，2019；Marchisio 等，2019；Tani 等，2022；Zouhar 等，2026）与我们的第二个研究问题有一定关联，尽管之前的工作并未探索翻译是否能保留原始文本复杂度这一特定问题。此外，这一研究线假设目标翻译的文本复杂度级别是预先指定的。

在本文中，我们探讨翻译是否能在目标语言中保留源语言的文本复杂度。与以往工作相比，我们使用教学复杂度构造——CEFR 作为复杂度的主要参考，来衡量 MT 模型引起的复杂度变化。

## 3 ComplexityMT：基准测试文本复杂度与机器翻译的交互作用

如第2节所述，先前工作对文本复杂度与以 MT 质量衡量的 MT 难度之间的关系表达了不同观点。在这一背景下，我们引入 **ComplexityMT** 框架，用于评估文本复杂度对 MT 的影响，涵盖两个核心方面：**鲁棒性**和**保留性**。**鲁棒性** 捕捉了良好 MT 模型应在文本复杂度全谱上维持翻译质量的期望，从而解决 RQ1。**保留性** 建立在翻译过程中文本复杂度得以保持的期望之上，解决 RQ2。以下各节描述评估这两个方面的实验流程。

### 3.1 ComplexityMT-鲁棒性

此任务评估 MT 质量是否与源文本复杂度相关。给定一组带有 CEFR 标签的源文本以及一组目标语言，MT 系统的鲁棒性评估如下：

1. 将每个带有黄金标准 CEFR 级别 $\ell_x \in \{A1, A2, B1, B2, C1, C2\}$ 的源文本 $x$ 翻译成每个目标语言 $L_{\text{tgt}}$，使用待评估的 MT 模型生成翻译 $y$；
2. 然后估计一个无参考的 MT 质量分数 $q(y) \in [0, 1]$；
3. 最后计算源 CEFR 级别与 MT 质量分数之间的 Spearman 相关系数 $\rho = \mathrm{corr}(\ell_x, q(y))$。

我们使用计算出的文本复杂度与 MT 质量之间的相关系数 $\rho$ 作为主要的鲁棒性指标，数值越接近零表示鲁棒性越高。显著的负相关系数（$\rho < 0$）表明翻译质量随 CEFR 级别的提高而下降，意味着更高级别的文本对 MT 系统构成更大挑战。相反，正相关（$\rho > 0$）表明更高级别的文本获得更好的质量分数，这一结果虽不直观但在理论上可能存在。

### 3.2 ComplexityMT-保留性

此任务评估 MT 系统在翻译后是否保留源文本的 CEFR 等级。由于无法为每个评估的 MT 系统生成的翻译获得手动文本复杂度标注，我们依赖于一个预训练的多语言 CEFR 等级分类器（参见 §4.4