孟加拉地区方言的多方言神经机器翻译系统

# 目录
来源：https://arxiv.org/html/2608.12018
用于孟加拉语区域方言的多方言神经机器翻译系统

Rakib Ullah1,\*,Ruhul Islam Rahul1,Tanbir Ahmed1

1计算机科学与工程系

西尔赫特工程学院，西尔赫特

孟加拉国西尔赫特

\*通讯作者：secrakibullah@gmail\.com

区域方言差异对孟加拉语的自然语言处理（NLP）构成了根本性挑战。超过2.4亿说话者使用多种区域变体进行交流，这些变体在音系、形态和词汇方面与标准口语孟加拉语（SCB）存在显著差异。当代神经机器翻译（NMT）架构和大语言模型（LLMs）主要假设语言分布是均质的，导致在翻译低资源区域方言时性能严重下降。在本工作中，我们提出了一个统一的多方言神经机器翻译系统，能够在12种孟加拉语区域方言之间进行多方向翻译，而无需通过中间标准语作为枢轴。我们构建了迄今为止最大的孟加拉语多方言平行语料库，包含12种方言的51,531个非空平行句对，并为五种此前未被研究的方言加入了2,500个经专家验证的双向平行句对。在权重分解低秩适配（DoRA）下评估序列到序列架构时，我们微调的BanglaT5模型取得了最先进的翻译性能（BLEU 29.26，chrF++ 57.26），在保持形态连贯性的同时优于NLLB-200（615M）和mBART-50（611M）。此外，我们进行了系统的跨方言迁移分析和数据集规模研究，为低资源方言适配建立了经验阈值。最后，我们将优化后的INT8量化模型部署为开放访问的Web应用程序，以促进边缘化方言社区的数字包容性。完整数据集公开于Mendeley Data（https://data.mendeley.com/datasets/v9cf66fk2t/2）。

索引词——孟加拉语区域方言，多方言翻译，神经机器翻译，权重分解低秩适配（DoRA），数据集规模研究，开放科学。

2026年8月22日

###### 目录

1. 1引言 (https://arxiv.org/html/2608.12018#S1)1. 1\.1背景与动机 (https://arxiv.org/html/2608.12018#S1.SS1) 2. 1\.2问题陈述 (https://arxiv.org/html/2608.12018#S1.SS2) 3. 1\.3拟议系统与贡献 (https://arxiv.org/html/2608.12018#S1.SS3) 4. 1\.4论文组织 (https://arxiv.org/html/2608.12018#S1.SS4)
2. 2文献综述 (https://arxiv.org/html/2608.12018#S2)1. 2\.1孟加拉语区域NLP概述 (https://arxiv.org/html/2608.12018#S2.SS1) 2. 2\.2方言机器翻译与LLM基准 (https://arxiv.org/html/2608.12018#S2.SS2) 3. 2\.3批判性综合与研究空白 (https://arxiv.org/html/2608.12018#S2.SS3) 4. 2\.4方言资源总结 (https://arxiv.org/html/2608.12018#S2.SS4)
3. 3研究假设与目标 (https://arxiv.org/html/2608.12018#S3)1. 3\.1研究假设 (https://arxiv.org/html/2608.12018#S3.SS1) 2. 3\.2研究目标 (https://arxiv.org/html/2608.12018#S3.SS2)
4. 4方法论 (https://arxiv.org/html/2608.12018#S4)1. 4\.1数据集构建与整合 (https://arxiv.org/html/2608.12018#S4.SS1) 2. 4\.2数据预处理流程 (https://arxiv.org/html/2608.12018#S4.SS2) 3. 4\.3模型架构 (https://arxiv.org/html/2608.12018#S4.SS3)1. 4\.3\.1BanglaT5 (https://arxiv.org/html/2608.12018#S4.SS3.SSS1) 2. 4\.3\.2NLLB\-200 (https://arxiv.org/html/2608.12018#S4.SS3.SSS2) 3. 4\.3\.3mBART\-50 (https://arxiv.org/html/2608.12018#S4.SS3.SSS3) 4. 4\.4超参数 (https://arxiv.org/html/2608.12018#S4.SS4) 5. 4\.5数据集规模协议 (https://arxiv.org/html/2608.12018#S4.SS5) 6. 4\.6微调策略 (https://arxiv.org/html/2608.12018#S4.SS6)1. 4\.6\.1阶段1：最佳模型选择 (https://arxiv.org/html/2608.12018#S4.SS6.SSS1) 2. 4\.6\.2阶段2：扩展训练 (https://arxiv.org/html/2608.12018#S4.SS6.SSS2) 7. 4\.7多方向翻译范式 (https://arxiv.org/html/2608.12018#S4.SS7) 8. 4\.8评估指标 (https://arxiv.org/html/2608.12018#S4.SS8)1. 4\.8\.1BLEU（双语评估替补）(https://arxiv.org/html/2608.12018#S4.SS8.SSS1) 2. 4\.8\.2chrF\+\+（字符n\-元语法F分值）(https://arxiv.org/html/2608.12018#S4.SS8.SSS2) 3. 4\.8\.3METEOR (https://arxiv.org/html/2608.12018#S4.SS8.SSS3) 4. 4\.8\.4TER（翻译编辑率）(https://arxiv.org/html/2608.12018#S4.SS8.SSS4)
5. 5结果与讨论 (https://arxiv.org/html/2608.12018#S5)1. 5\.1模型选择（第一阶段）(https://arxiv.org/html/2608.12018#S5.SS1) 2. 5\.2最终模型性能（第二阶段）(https://arxiv.org/html/2608.12018#S5.SS2)1. 5\.2\.1总体指标 (https://arxiv.org/html/2608.12018#S5.SS2.SSS1) 2. 5\.2\.2跨方言翻译分析 (https://arxiv.org/html/2608.12018#S5.SS2.SSS2) 3. 5\.2\.3定性翻译示例 (https://arxiv.org/html/2608.12018#S5.SS2.SSS3) 4. 5\.2\.4错误分析 (https://arxiv.org/html/2608.12018#S5.SS2.SSS4) 3. 5\.3数据集规模分析 (https://arxiv.org/html/2608.12018#S5.SS3) 4. 5\.4与先前研究的比较 (https://arxiv.org/html/2608.12018#S5.SS4)
6. 6部署与应用架构 (https://arxiv.org/html/2608.12018#S6)1. 6\.1模型量化与服务 (https://arxiv.org/html/2608.12018#S6.SS1) 2. 6\.2推理流程与长文档处理 (https://arxiv.org/html/2608.12018#S6.SS2) 3. 6\.3推理延迟基准 (https://arxiv.org/html/2608.12018#S6.SS3) 4. 6\.4用户界面与翻译演示 (https://arxiv.org/html/2608.12018#S6.SS4)
7. 7局限性与未来工作 (https://arxiv.org/html/2608.12018#S7)1. 7\.1当前局限性 (https://arxiv.org/html/2608.12018#S7.SS1) 2. 7\.2未来方向 (https://arxiv.org/html/2608.12018#S7.SS2)
8. 8结论 (https://arxiv.org/html/2608.12018#S8)
9. 参考文献 (https://arxiv.org/html/2608.12018#bib)

## 1引言

### 1\.1背景与动机

孟加拉语（孟加拉语）属于印欧语系印度-雅利安语支，是世界上使用最广泛的语言之一，是孟加拉国以及邻近的印度西孟加拉邦、特里普拉邦和阿萨姆邦超过2.4亿人的母语。尽管该语言拥有丰富的文学传统和相当大的社会政治认可度，但它远非单一同质的语言。许多区域方言——包括西尔赫蒂语、吉大港语、巴里萨尔语、诺阿卡利语、朗普尔语、拉杰沙希语和迈门辛语——在音系、形态、句法和词汇维度上与标准口语孟加拉语（SCB）存在差异。对于某些边缘变体，如吉大港语和西尔赫蒂语，这些差异非常显著，以至于与标准孟加拉语之间的相互可理解性严重受限[7 (https://arxiv.org/html/2608.12018#bib.bib7)]。

这种方言多样性虽然具有文化意义，但也造成了实际的沟通障碍。区域方言的使用者在正式场合——法律程序、教育机构和行政互动——中常常举步维艰，因为这些场合完全使用标准口语孟加拉语进行。这一问题延伸到了数字领域：当代自然语言处理（NLP）工具、机器翻译服务和对话界面绝大多数是为标准孟加拉语构建的，实际上将数百万方言使用者排除在数字经济的全面参与之外。由此产生的语言技术差距凸显了构建包容性NLP系统的迫切需求，这类系统应能服务方言社区，而不要求他们在语言上同化。

### 1\.2问题陈述

虽然神经机器翻译（NMT）架构和大语言模型（LLMs）在高资源语言之间的跨语言任务上取得了显著性能，但当翻译边界位于单一语言内部——即其标准语与区域方言之间时，其有效性急剧下降。几乎所有现有的孟加拉语NLP基准和预训练模型都假设语言分布是均质的，从而忽视了反映实际语言使用的丰富跨方言变异。

三个相互关联的技术障碍是这一缺陷的基础。首先，涵盖多种方言的平行语料库仍然稀缺，使得微调流程缺乏稳健泛化所需的监督信号。其次，区域方言缺乏标准化正字法约定，加剧了分词错误：基于SCB文本校准的子词分割算法，如BPE[29 (https://arxiv.org/html/2608.12018#bib.bib29)]和WordPiece[36 (https://arxiv.org/html/2608.12018#bib.bib36)]，往往将方言标记切分为碎片，从而丧失其原有的形态连贯性。第三，少数可用的方言数据集表现出严重的类别不平衡，并且主要面向分类任务（例如方言识别、情感分析），而非生成式翻译所需的序列到序列对齐。

形式上，多方言翻译问题表述如下。设D={d1,d2,...,dk}\\mathcal\{D\}=\\\{d\_\{1\},d\_\{2\},\\ldots,d\_\{k\}\\\}表示kk个区域方言变体（包括SCB）的集合。给定方言ds∈Dd\_\{s\}\\in\\mathcal\{D\}中的源句子x=(x1,x2,...,xm)\\mathbf\{x\}=\(x\_\{1\},x\_\{2\},\\ldots,x\_\{m\}\)以及目标方言dt∈Dd\_\{t\}\\in\\mathcal\{D\}，其中ds≠dtd\_\{s\}\\neq d\_\{t\}，目标是学习一个统一映射Tθ:(x,ds,dt)→y\\mathcal\{T\}\_\{\\theta\}:\(\\mathbf\{x\},d\_\{s\},d\_\{t\}\)\\rightarrow\\mathbf\{y\}，生成目标句子y=(y1,y2,...,yn)\\mathbf\{y\}=\(y\_\{1\},y\_\{2\},\\ldots,y\_\{n\}\)，该句子在保留x\\mathbf\{x\}语义内容的同时，采用dtd\_\{t\}的形态和词汇惯例。实现这一目标要求从孤立的单方言建模转向统一的多方言方法（见图1 (https://arxiv.org/html/2608.12018#S1.F1)）。

图1：传统枢轴翻译方法（通过标准孟加拉语路由）与所提出的直接多方言映射拓扑之间的结构比较。
### 1\.3拟议系统与贡献

为克服上述局限性，本研究引入了一个统一的多方言神经机器翻译系统，旨在适应孟加拉语区域方言的形态和句法特性。如图2 (https://arxiv.org/html/2608.12018#S1.F2)所示，所提出的架构在单一模型内支持三种翻译范式：方言→\\rightarrow标准孟加拉语、标准孟加拉语→\\rightarrow方言，以及直接的方言→\\rightarrow方言翻译。通过实现直接的方言间转换，该系统避免了基于枢轴方法（即所有翻译通过SCB路由）中固有的级联错误累积。

图2：多方言神经机器翻译框架的端到端架构工作流程，描绘了五个阶段：来自七个现有数据集的源语料整合、数据处理流程、使用DoRA的NMT模型微调、多方向翻译范式，以及使用四种标准MT指标的评估。本论文的主要贡献总结如下：

1. 1\.最大的多方言平行语料库：我们构建了迄今为止最广泛的孟加拉语多方言机器翻译语料库，包含12个区域方言列、14,552行对齐数据。该语料库整合了七个先前数据集——Ancholik\-NER、Anubhuti、BanglaDial、BhasaBodh、ChatgaiyyaAlap、ONUBAD和Vashantor——并为五种此前未被研究的方言（朗普尔语、坦盖尔语、吉绍雷甘杰语、纳拉伊尔语、纳尔辛迪语）加入了2,500个手工创建、双向、经专家验证的平行句对，最终在12种方言中产生了51,531个非空平行对。为支持可复现研究和开放获取，我们编译的数据集公开于Mendeley Data（https://data.mendeley.com/datasets/v9cf66fk2t/2）。
2. 2\.用于多方言翻译的NMT架构系统性基准测试：据我们所知，本工作首次在参数高效微调下，对著名序列到序列架构——特别是BanglaT5[2 (https://arxiv.org/html/2608.12018#bib.bib2)]、NLLB\-200[22 (https://arxiv.org/html/2608.12018#bib.bib22)]和mBART\-50[33 (https://arxiv.org/html/2608.12018#bib.bib33)]——在多方向、多方言孟加拉语翻译任务上进行了系统性实证评估。
3. 3\.跨方言迁移分析与数据集规模研究：我们进行了严格的数据集规模研究（从500个平行实例逐步扩展到4,499个）以及跨方言迁移机制的定量表征，揭示了形态接近性和训练数据量如何共同影响不同评估指标下的翻译效能。
4. 4\.真实世界Web部署：我们将性能最佳的NMT模型部署为可公开访问的INT8量化Web应用程序，支持12种方言的实时多方言翻译，为边缘化方言使用者弥合数字语言鸿沟。
5. 5\.全面的多指标评估框架：与先前主要使用单一指标（通常是BLEU）或至多两种指标（BLEU和chrF++）评估翻译质量的研究不同，我们实施了更全面的评估协议。通过将METEOR（语义和形态对齐）和翻译错误率（TER，译后编辑工作量）与标准指标相结合，我们提供了对句法准确性、语义保持和实际译后编辑效用的多维度评估。

### 1\.4论文组织

本报告的其余部分组织如下。第2节批判性地回顾了孟加拉语区域NLP和方言机器翻译的相关文献。第3节正式陈述研究假设和目标。第4节详细阐述方法论，包括数据集构建、模型架构和微调配置。第5节展示实验结果，包括跨方言分析、错误分类、数据集规模发现以及与先前研究的比较。第6节描述部署架构和可公开访问的Web应用程序。第7节讨论局限性并提出未来研究方向。第8节总结本论文。

## 2文献综述

### 2\.1孟加拉语区域NLP概述

从历史上看，孟加拉语的计算语言学资源一直以标准语为中心，导致区域方言严重代表性不足。然而，在过去几年中，越来越多的研究工作开始解决这一不平衡问题，早期努力集中于为文本分类和情感分析创建资源。

Sultana等人[32 (https://arxiv.org/html/2608.12018#bib.bib32)]编制了用于区域文本分类的BdRegionText语料库，并表明在标准孟加拉语上训练的分类器在面对方言词汇时表现出显著的性能下降；其性能最佳的流程（使用TF\-IDF特征的随机森林）仅达到79.15%的准确率。在此基础上，Mahi等人[19 (https://arxiv.org/html/2608.12018#bib.bib19)]发布了BanglaDial，这是一个整合了12种方言、包含60,729个句子的数据集。他们对语料库的统计特征分析量化了现有方言数据中普遍存在的严重类别不平衡，报告了不平衡比率o