TeochewBench：一个经人工审核的潮州汉字翻译基准测试

arXiv:2609.18156v1 公告类型：新 摘要：潮州话拥有庞大的使用者群体，并表现出独特的词汇、句法和语用特征，然而用于评估大型语言模型的文本资源仍然有限。我们推出了 TeochewBench，一个经人工审核的基准测试，包含 300 个潮州汉字表达，用于评估从潮州汉字到普通话和英语的翻译。该数据集涵盖五个类别：基础词汇；日常句子；潮州特有表达；声调、礼貌和语境；以及习语、歧义和文化特定表达。一位主要的潮州话使用者审核员单独检查了所有条目并根据需要进行了修订，另外两位潮州话使用者验证了选定的项目。 我们的主评估涵盖了 11 个官方通用后训练模型在审核数据集上的两个翻译方向，产生了 6,600 个预测。两个官方基础检查点提供了 1,200 个预测用于补充诊断，总计 13 个模型和 7,800 个预测。我们还包含了一个汉字复制控制，它不改变源输入原样返回，以评估共享汉字如何影响普通话翻译的自动评分。Qwen3.5-27B 在评估的检查点中获得了最高的整体 chrF 风格分数，为 60.63，其次是 Qwen2.5-72B-Instruct 的 56.61、Gemma-3-27B-IT 的 56.36 和 GLM-4-32B-0414 的 55.82。在 11 个主评估模型中，平均 chrF 风格分数从低特异性项目的 69.25 下降到高特异性项目的 27.52。高特异性表达获得了较低的分数，并表现出较小的跨模型差异，表明它们在此处评估的模型系列中构成了一个共同的低分区域。汉字复制控制进一步表明，低特异性项目中的表面重叠可能会显著影响普通话翻译的自动评分。

# TeochewBench：经人工审校的潮州汉字翻译基准测试集
来源：https://arxiv.org/abs/2609.18156
文献工具

## 文献与引用工具

文献浏览器切换

代码、数据与媒体

## 本文相关代码、数据与媒体资源

演示系统

## 演示系统

相关论文

## 推荐系统与搜索工具

关于 arXivLabs

## arXivLabs：与社区合作者共同推进的实验性项目

arXivLabs 是一个支持协作者直接在我们网站上开发和共享 arXiv 新功能的框架。

所有与 arXivLabs 合作的个人和组织均认同并遵循我们关于开放性、社区共建、卓越标准与用户数据隐私的价值理念。arXiv 致力于维护这些原则，仅与遵循相同准则的合作伙伴开展协作。

若有能为 arXiv 社区创造价值的项目构想，**欢迎进一步了解 arXivLabs**（https://info.arxiv.org/labs/index.html）。