论文页面 - 关于镜头的思考：通过智能体推理实现一致的多镜头视频编辑

来源: https://huggingface.co/papers/2608.26809 发布于 8 月 27 日

·

提交者：https://huggingface.co/FireCRT

Fuchen (https://huggingface.co/FireCRT) 于 8 月 28 日

摘要

一个结合大语言模型（LLMs）和视觉语言模型（VLMs）的智能体框架，能够对长多镜头视频进行一致且多指令的编辑，同时保持其时空结构。

尽管生成式AI已在视频编辑领域取得了显著进展，但现有方法主要关注单镜头或短视频片段的编辑。对长视频进行多指令编辑仍然是一个艰巨的挑战。简单的分块策略（例如，固定时长分割）往往导致实体碎片化、严重的编辑幻觉以及时空连续性的破坏。为弥补这一差距，我们提出了多指令多镜头长视频编辑（MMLVE）任务，该任务围绕三个核心目标构建：跨镜头编辑一致性（CSEC）、多指令解耦（MID）和时空结构零破坏（ZDSS）。为应对这三个独特挑战，我们引入了一个智能体编辑框架，利用大语言模型（LLMs）和视觉语言模型（VLMs）的协同作用，实现镜头级的视频解耦和精确的指令解析。此外，为了全面评估这项任务，我们构建了MMLVE-Bench，这是一个专注于MMLVE的数据集，其特点是具有复杂的现实世界时空动态、高密度的异构指令以及稀疏、随机的实体分布。我们进一步开发了三个专注于MMLVE的评估指标来评估编辑结果的质量。大量实验表明，我们提出的MMLVE-Agent超越了现有的闭源最先进方法（例如 Seedance 2.0），成功消除了编辑幻觉，保持了跨镜头编辑一致性，并实现了无缝的时空过渡。

查看 arXiv 页面 (https://arxiv.org/abs/2608.26809) 查看 PDF (https://arxiv.org/pdf/2608.26809) 项目页面 (https://wucy0519.github.io/MMLVE/) GitHub2 (https://github.com/Wucy0519/MMLVE) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.26809)

在您的智能体中获取此论文：

hf papers read 2608\.26809

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.26809 以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.26809 以从此页面链接它。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.26809 以从此页面链接它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。