标签
介绍了SEA-NLI，一个基于文化的自然语言推理基准，涵盖八个东南亚国家，揭示了LLMs在特定文化知识上的低性能，尤其是在语言和科学/技术方面。结果表明，文化感知提示有所帮助，但思维链提升有限。
本文证明了大语言模型严重偏向英语，并表明持续预训练在将模型适配到其他语言（尤其是文化理解方面）时，并不比从头训练更具成本优势。
OpenAI 推出了 IndQA，这是一个包含 2,278 个问题的新基准，涵盖 12 种印度语言和 10 个文化领域，旨在评估 AI 模型对现有基准无法捕捉的文化细微差别和推理密集型任务的理解能力。IndQA 由 261 位领域专家创建，针对 MMMLU 等现有多语言基准的饱和问题，重点关注真实世界的文化理解，而不是翻译或多选题任务。