论文页面 - AVE-Compass：迈向音视频编辑能力的全面评估

来源：https://huggingface.co/papers/2607.24821

摘要

尽管基于指令的视频编辑技术发展迅速，但现实世界中的视频包含紧密耦合的音频和视觉信号，编辑一种模态往往需要另一种模态的协调变化。现有基准主要评估无声片段上的视觉变换或孤立的音频编辑，导致复杂的音视频联合编辑和跨模态一致性仍未得到充分探索。我们引入AVE-Compass，一个全面的基准，包含145个精选源视频、196条音视频耦合的编辑指令和2,688个细粒度检查项。它通过基于检查项的MLLM评判和专用真实性评估标准来评估指令遵循、保真度保持、真实感和编辑意图，并辅以自动化的跨模态、视频和音频指标。大量评估表明，最先进的模型在跨模态指令执行和非目标内容保持方面仍存在困难。我们进一步提出AVE-Agent，一个模块化智能体框架，将复杂指令分解为相关的子任务，并通过自我反思和评估器反馈迭代改进编辑结果。AVE-Agent在联合编辑中提升了指令执行、保真度保持和音视频对齐，同时保持了有竞争力的感知质量。

查看 arXiv 页面 (https://arxiv.org/abs/2607.24821)查看 PDF (https://arxiv.org/pdf/2607.24821)项目页面 (https://ave-compass.github.io/)GitHub (https://github.com/NJU-LINK/AVE-Compass)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.24821)

在您的智能体中获取此论文：

hf papers read 2607\.24821

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.24821 以从此页面链接。

引用此论文的数据集1

NJU-LINK/AVE-Compass-v2 查看器• 更新于8天前 • 196 • 925 • 2 (https://huggingface.co/datasets/NJU-LINK/AVE-Compass-v2)

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.24821 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。