SEA-NLI：以自然语言推理透视东南亚文化理解

arXiv cs.CL 论文
natural-language-inference benchmark southeast-asia cultural-understanding llm-evaluation underrepresented-cultures multilingual

摘要

介绍了SEA-NLI，一个基于文化的自然语言推理基准，涵盖八个东南亚国家，揭示了LLMs在特定文化知识上的低性能，尤其是在语言和科学/技术方面。结果表明，文化感知提示有所帮助，但思维链提升有限。

arXiv:2606.03284v1 公告类型：新发布 摘要：前沿LLM在西方语境下表现良好，但在东南亚等代表性不足的文化中测试较少。现有的NLI基准大多以西方为中心、源于翻译或为单语，限制了其衡量基于文化推理的能力。我们引入了SEA-NLI，一个原生且基于文化的NLI基准，涵盖八个东南亚国家，使用英语和当地语言，并由母语者验证。在17个编码器和解码器模型中，我们观察到所有模型性能较低，尤其是在语言、科学和技术等知识密集型类别。我们的分析表明，失败案例主要源于缺乏东南亚文化知识：适应东南亚的模型和文化感知提示提升了性能，而思维链提示的提升有限。
查看原文
查看缓存全文

缓存时间: 2026/06/03 09:38 

# SEA-NLI：自然语言推理作为理解东南亚文化的视角
来源：https://arxiv.org/abs/2606.03284
查看 PDF (https://arxiv.org/pdf/2606.03284)

> 摘要：前沿大语言模型在西方语境下表现良好，但在东南亚等代表性不足的文化中仍缺乏充分测试。现有的 NLI 基准大多以西方为中心、源自翻译或仅限单语，限制了其衡量文化基础推理的能力。我们提出 SEA-NLI，这是一个原生且植根于文化的 NLI 基准，涵盖八个东南亚国家，使用英语和当地语言，并由母语者验证。在 17 个编码器和解码器模型中，我们观察到所有模型的表现均较低，尤其是知识与密集型类别（如语言、科学与技术）。我们的分析表明，失败案例主要源于缺失东南亚文化知识：针对东南亚优化的模型和文化感知提示能够提升性能，而思维链提示带来的收益有限。

## 提交历史

来自：Peerat Limkonchotiwat \[查看邮件 (https://arxiv.org/show-email/55010c4d/2606.03284)\] **\[v1\]** 2026年6月2日星期二 07:49:50 UTC (1,588 KB)

相似文章

当英语改写本地知识：大语言模型中的全球叙事主导

arXiv cs.CL

本文介绍了CulturalNB（一个孟加拉文化问答对数据集），并评估了九种大语言模型的跨语言文化偏见。研究结果表明，英文提示会增加全球叙事替代并减少本地视角，揭示了大语言模型中的文化失败是立足点和优先级问题，而不仅仅是知识缺失。

LLMs 能推断文化背景但回应时未能应用

arXiv cs.CL

本文介绍了 CAPRI，一个用于评估 LLMs 是否能够从对话线索中推断用户文化背景并相应调整回应（例如使用适当的计量单位）的数据集。实验表明，LLMs 能够推断文化背景，但除非明确提示，否则常常未能应用这一信息。

内在文化：迈向对大语言模型文化推理机制的理解

arXiv cs.CL

该论文提出了 CultureLens——一个基于参考基准的评测与机制研究，用于探究大语言模型如何使用文化信息。研究表明，当引入相互矛盾的规范时，模型的一致性回答会显著下降，而通过有监督微调可以在很大程度上缓解这一弱点。