cultural-understanding

OpenAI 推出了 IndQA，这是一个包含 2,278 个问题的新基准，涵盖 12 种印度语言和 10 个文化领域，旨在评估 AI 模型对现有基准无法捕捉的文化细微差别和推理密集型任务的理解能力。IndQA 由 261 位领域专家创建，针对 MMMLU 等现有多语言基准的饱和问题，重点关注真实世界的文化理解，而不是翻译或多选题任务。