论文页面 - SemComp-Bench：视频生成中语义任务完成的基准测试

来源：https://huggingface.co/papers/2608.17426

摘要

语义任务完成视频生成评估生成视频是否在具有语义依据的情况下实现预期结果，由一个精心策划的数据集和基于视觉语言模型的基准测试提供支持。

我们引入语义任务完成视频生成（https://huggingface.co/papers?q=Video%20Generation），这是一种以结果为导向的视频生成（https://huggingface.co/papers?q=video%20generation）任务。在此框架下，成功需要同时实现预期结果并具有语义依据（https://huggingface.co/papers?q=semantic%20grounding）。语义依据（https://huggingface.co/papers?q=Semantic%20grounding）刻画了参考图像与生成结果之间在与任务相关的高级语义层面的对应关系。评估侧重于生成的结果，既不需要呈现完整的中间任务步骤序列，也不需要与参考图像保持传统的外观一致性。为支持系统性评估，我们构建了 SemComp-Data，一个涵盖六个领域的评估数据集。每个实例包含一个参考图像、一个详细指令、一个简短指令和一个以结果为中心的视频片段。一个可扩展的四阶段策划流程将原始视频转换为标准化的 SemComp-Data 实例。我们进一步引入了 SemComp-Bench，这是一个使用视觉语言模型（https://huggingface.co/papers?q=vision-language%20model）（VLM）回答结构化二元问题的评估协议。SemComp-Bench 分别报告结果达成度（https://huggingface.co/papers?q=Outcome%20Achievement）和生成可靠性（https://huggingface.co/papers?q=Generation%20Reliability）的 OA 分数和 GR 分数。在代表性的视频生成（https://huggingface.co/papers?q=video%20generation）模型上的实验表明，在实现预期结果的同时，保持参考图像中与任务相关的语义依据（https://huggingface.co/papers?q=semantic%20grounding）仍然具有挑战性。

查看 arXiv 页面 (https://arxiv.org/abs/2608.17426)查看 PDF (https://arxiv.org/pdf/2608.17426)项目页面 (https://semcomp-bench.github.io/)GitHub (https://github.com/Kelly372/SemComp-Bench)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.17426)

通过你的代理获取此论文：

hf papers read 2608\.17426

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.17426 以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.17426 以从此页面链接它。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.17426 以从此页面链接它。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。