标签
本文介绍了 CulturalMenuBench，这是一个包含 4,870 个项目的基准，涵盖 10 种语言和 18 个地区，旨在测试多模态模型在超越单纯识别的基础上应用烹饪知识的能力。评估揭示了一个知识应用差距：在要求文化归属时，模型的性能下降，尽管识别得分很高。
PUMA是一个包含900个任务的波兰语基准，旨在评估多模态AI模型在图像、音频和文档方面的文化理解能力和实际技能。
介绍了SEA-NLI，一个基于文化的自然语言推理基准，涵盖八个东南亚国家，揭示了LLMs在特定文化知识上的低性能，尤其是在语言和科学/技术方面。结果表明，文化感知提示有所帮助，但思维链提升有限。
本文证明了大语言模型严重偏向英语，并表明持续预训练在将模型适配到其他语言（尤其是文化理解方面）时，并不比从头训练更具成本优势。
OpenAI 推出了 IndQA，这是一个包含 2,278 个问题的新基准，涵盖 12 种印度语言和 10 个文化领域，旨在评估 AI 模型对现有基准无法捕捉的文化细微差别和推理密集型任务的理解能力。IndQA 由 261 位领域专家创建，针对 MMMLU 等现有多语言基准的饱和问题，重点关注真实世界的文化理解，而不是翻译或多选题任务。