LLM对越南方言的鲁棒性如何？

# LLM 对越南语方言的鲁棒性如何？

Minh Tran1\通讯作者，Trinh Chau2，Thanh-Nhan Le3，Nam Tran4，Luan Thanh Nguyen5，Cuong Dang6，Duc Hoang7

###### 摘要

大型语言模型（LLMs）通常在标准书面越南语上进行评估，然而日常交流经常涉及保留意义但表面形式不同的地区方言。现有的越南语方言研究主要通过方言到标准的归一化来解决这一问题，而不是衡量模型在越南语方言输入下如何失效。为填补这一空白，我们提出了第一项系统评估 LLM 在多种任务中对越南语方言变化的鲁棒性的研究，量化了方言引起的性能下降并分析了其背后的失败模式。我们引入了 VialectBench（越南语方言基准测试），这是一个受控基准，用于测试当任务内容以六个越南语方言群表达时，模型决策是否保持稳定。VialectBench 包含 400 条标准越南语源实例和 2,400 条人工撰写的方言改写，涵盖情感识别（ER）、自然语言推理（NLI）、问答（QA）和多项选择问答（MCQA）。使用固定参考语言模型进行的数据集评估表明，方言改写会导致可衡量的模型相对似然偏移，同时其长度与标准版本几乎相同。在十个指令微调模型中，方言输入使平均性能下降 2.82%，且没有评估的模型完全不受方言影响。四个任务均受到影响，其中 QA 的平均下降幅度最大。鲁棒性在不同方言群之间也有很大差异：PNT3 和 PNT2 分别造成最大的平均性能下降，分别为 6.17% 和 4.73%，而 PNB 使平均性能略微提升了 0.42%。中部方言群（PNT1–PNT4）在所有模型中的平均有害翻转率也最高，为 6.54%。这些发现表明，在标准越南语上的强性能并不能保证在保留意义的地区变体下具有可靠的行为。

## 1 引言

参见图 1：越南语方言变化如何影响 LLM 的解释并导致不忠实的回答。

大型语言模型（LLMs）已成为自然语言处理（NLP）中的主导范式，在广泛的任务上取得了最先进的性能 [Zhao et al., 2026](https://arxiv.org/html/2608.10414#bib.bib1)。然而，它们在自然输入变化下的可靠性仍然脆弱，包括措辞、风格和语言形式的变化，这可能导致性能下降 [Zhu et al., 2024](https://arxiv.org/html/2608.10414#bib.bib2)。在这些自然变化形式中，方言变化尤其重要。与合成扰动不同，方言变化反映了真实社区的语言使用，但仍可能改变模型预测并加剧公平性或安全问题 [Hofmann et al., 2024](https://arxiv.org/html/2608.10414#bib.bib3)；[Faisal et al., 2024](https://arxiv.org/html/2608.10414#bib.bib15)。最近的基准测试已经在英语、阿拉伯语和多语言环境中研究了这一问题 [Ziems et al., 2022](https://arxiv.org/html/2608.10414#bib.bib16)；[Mousi et al., 2025](https://arxiv.org/html/2608.10414#bib.bib20)；[Faisal et al., 2024](https://arxiv.org/html/2608.10414#bib.bib15)；[Lin et al., 2025](https://arxiv.org/html/2608.10414#bib.bib13)；[Gupta et al., 2025](https://arxiv.org/html/2608.10414#bib.bib14)，一致表明在标准化语言上表现良好的模型在处理地区变体时可能仍然不可靠。

这个问题对越南语尤其重要，因为越南语在北部、