MuseBench: 对多模态大语言模型中意图层面视听艺术理解的基准评估

Hugging Face Daily Papers 论文
benchmark multimodal large-language-models artistic-understanding creative-intent zero-shot evaluation

摘要

MuseBench是一个全面基准，旨在评估多模态大语言模型对视听艺术中细微意图层面的理解，结果显示即使最佳模型也仅达到48.29%的准确率，而人类专家为87.18%。

视听艺术涵盖多种创意学科，包括电影、视觉艺术、舞台表演和游戏设计，其中艺术意义源于视觉、听觉和叙事元素的精心组合（例如，通过幽闭恐惧感的构图放大恐惧，或通过沉默和漫长的特写传达悲伤）。真正的艺术理解不仅在于识别描绘的内容，更在于推理为何通过特定的创意选择来表达。尽管多模态大语言模型（MLLMs）取得了显著进展，但这一艺术理解的关键方面仍未被充分探索，因为现有基准大多衡量感知识别，而忽略了关于创意意图的推理。为弥补这一空白，我们引入了Musebench，一个全面基准，旨在评估MLLMs对细微艺术理解的能力。它包含4,016个问题，涵盖电影艺术、静态视觉艺术、舞台表演艺术和游戏艺术，这些问题是从超过10,000个候选视频论文中提炼而来，这些视频论文将专业评论与视觉演示相结合。为捕捉大规模艺术分析的开放性，该基准结合了单选和变量多选问题。所有问题都通过一个四阶段迭代流程生成和优化，结合了快捷方式过滤、对抗性干扰项和专家验证。对28个最先进MLLMs的全面零样本评估显示，即使最佳模型也仅达到48.29%的准确率，远低于人类专家87.18%的表现，揭示了当前模型在创意领域专业知识方面的显著差距。
查看原文
查看缓存全文

缓存时间: 2026/07/08 06:48

论文页面 - MuseBench：多模态大语言模型中意图级视听艺术理解的基准测试

来源：https://huggingface.co/papers/2606.30026

摘要

本文提出了一个名为 Musebench 的综合基准测试，用于评估多模态大语言模型在细微艺术理解方面的能力，揭示了当前模型与人类专家在创意领域专业性之间存在的显著差距。

视听艺术（https://huggingface.co/papers?q=visual%20arts）涵盖多种创意学科，包括电影、视觉艺术（https://huggingface.co/papers?q=visual%20arts）、舞台表演和游戏设计。在这些艺术中，艺术意义源于视觉、听觉和叙事元素的精心组合（例如，通过幽闭恐惧式的构图放大恐惧感，或通过沉默和拉近的特写镜头传达悲伤）。真正的艺术理解（https://huggingface.co/papers?q=artistic%20understanding）超越了识别画面内容的能力，需要推理出作品为何通过特定的创作选择来表达其内涵。尽管多模态大语言模型（https://huggingface.co/papers?q=multimodal%20large%20language%20models）（MLLMs）取得了显著进展，但艺术理解（https://huggingface.co/papers?q=artistic%20understanding）这一关键方面仍然探索不足——现有基准测试大多衡量感知层面的识别能力，而忽略了关于创作意图（https://huggingface.co/papers?q=creative%20intent）的推理。为填补这一空白，我们提出了 Musebench（https://huggingface.co/papers?q=Musebench），一个旨在评估 MLLMs 在细微艺术理解方面表现的综合基准测试。它包含 4,016 道题目，涵盖电影艺术（https://huggingface.co/papers?q=cinematic%20arts）、静态视觉艺术（https://huggingface.co/papers?q=visual%20arts）、舞台表演艺术（https://huggingface.co/papers?q=stage%20performing%20arts）和游戏艺术（https://huggingface.co/papers?q=game%20arts），这些题目源自超过 10K 个候选视频论文（这些论文将专业评论与视觉演示相结合）。为了在大规模上捕捉艺术分析开放式的特性，该基准测试结合了单选和多选（选项数量可变）两种题型。所有题目均通过一个四阶段迭代流程生成并优化，该流程包含了捷径筛选、对抗性干扰项和专家验证（https://huggingface.co/papers?q=expert%20validation）。对 28 个最先进 MLLMs 进行的全面零样本评估（https://huggingface.co/papers?q=zero-shot%20evaluation）显示，即使是表现最好的模型也仅达到 48.29% 的准确率，远低于人类专家 87.18% 的表现，这暴露了当前模型在创意领域专业性方面的显著差距。

查看 arXiv 页面（https://arxiv.org/abs/2606.30026）查看 PDF（https://arxiv.org/pdf/2606.30026）项目页面（https://musebench.github.io/）GitHub1（https://github.com/musebench/musebench-code）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.30026）

在你的代理中获取这篇论文：

hf papers read 2606.30026

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接这篇论文

请在模型 README.md 中引用 arxiv.org/abs/2606.30026 以从该页面链接。

引用本文的数据集 0

没有数据集链接这篇论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.30026 以从该页面链接。

引用本文的 Spaces 0

没有 Space 链接这篇论文

请在 Space README.md 中引用 arxiv.org/abs/2606.30026 以从该页面链接。

包含本文的收藏 0

没有包含这篇论文的收藏

请将这篇论文添加到一个收藏（https://huggingface.co/new-collection）中以从该页面链接。

相似文章