SEA-NLI：以自然语言推理透视东南亚文化理解

arXiv cs.CL 论文
natural-language-inference benchmark southeast-asia cultural-understanding llm-evaluation underrepresented-cultures multilingual

摘要

介绍了SEA-NLI，一个基于文化的自然语言推理基准，涵盖八个东南亚国家，揭示了LLMs在特定文化知识上的低性能，尤其是在语言和科学/技术方面。结果表明，文化感知提示有所帮助，但思维链提升有限。

arXiv:2606.03284v1 公告类型：新发布 摘要：前沿LLM在西方语境下表现良好，但在东南亚等代表性不足的文化中测试较少。现有的NLI基准大多以西方为中心、源于翻译或为单语，限制了其衡量基于文化推理的能力。我们引入了SEA-NLI，一个原生且基于文化的NLI基准，涵盖八个东南亚国家，使用英语和当地语言，并由母语者验证。在17个编码器和解码器模型中，我们观察到所有模型性能较低，尤其是在语言、科学和技术等知识密集型类别。我们的分析表明，失败案例主要源于缺乏东南亚文化知识：适应东南亚的模型和文化感知提示提升了性能，而思维链提示的提升有限。
查看原文
查看缓存全文

缓存时间: 2026/06/03 09:38 

# SEA-NLI：自然语言推理作为理解东南亚文化的视角
来源：https://arxiv.org/abs/2606.03284
查看 PDF (https://arxiv.org/pdf/2606.03284)

> 摘要：前沿大语言模型在西方语境下表现良好，但在东南亚等代表性不足的文化中仍缺乏充分测试。现有的 NLI 基准大多以西方为中心、源自翻译或仅限单语，限制了其衡量文化基础推理的能力。我们提出 SEA-NLI，这是一个原生且植根于文化的 NLI 基准，涵盖八个东南亚国家，使用英语和当地语言，并由母语者验证。在 17 个编码器和解码器模型中，我们观察到所有模型的表现均较低，尤其是知识与密集型类别（如语言、科学与技术）。我们的分析表明，失败案例主要源于缺失东南亚文化知识：针对东南亚优化的模型和文化感知提示能够提升性能，而思维链提示带来的收益有限。

## 提交历史

来自：Peerat Limkonchotiwat \[查看邮件 (https://arxiv.org/show-email/55010c4d/2606.03284)\] **\[v1\]** 2026年6月2日星期二 07:49:50 UTC (1,588 KB)

相似文章

当英语改写本地知识：大语言模型中的全球叙事主导

arXiv cs.CL

本文介绍了CulturalNB（一个孟加拉文化问答对数据集），并评估了九种大语言模型的跨语言文化偏见。研究结果表明，英文提示会增加全球叙事替代并减少本地视角，揭示了大语言模型中的文化失败是立足点和优先级问题，而不仅仅是知识缺失。

LLMs 能推断文化背景但回应时未能应用

arXiv cs.CL

本文介绍了 CAPRI，一个用于评估 LLMs 是否能够从对话线索中推断用户文化背景并相应调整回应（例如使用适当的计量单位）的数据集。实验表明，LLMs 能够推断文化背景，但除非明确提示，否则常常未能应用这一信息。

从文化遗产保护视角重新思考Indic AI

arXiv cs.AI

本文综述了印度语言自然语言处理（NLP）的挑战与演变，强调文化遗产，并提出一个名为“文化感知”的新研究方向，以解决代表性差距并确保AI输出具有文化意义。

非洲语言NLI评估的样本量缩放

arXiv cs.CL

本文利用AfriXNLI基准测试，研究标注数据大小对16种非洲语言自然语言推理性能的影响。结果表明，缩放行为对语言敏感且通常非单调，挑战了常见的单调改进假设，并强调了需要为特定语言创建数据集以及更强的多语言策略。