论文页面 - OmniXRef：多模态多参考视频编辑的统一框架

来源：https://huggingface.co/papers/2610.22744

摘要

视频编辑中的创作意图可以通过文本指令（例如，“remove the people”）、图像参考（例如，主体外观）、视频参考（例如，摄像机运动）或上述任意组合来表达。我们提出 OmniXRef，一个多模态多参考视频编辑的统一框架，允许用户组合任意数量的文本、图像和视频参考来控制源视频的多种属性。我们首先设计了一种统一的输入方案，包含参考库接口，并引入 R²-RoPE 以支持对更多参考的泛化能力。随后，我们的模型 OmniXRef-Model 使用单一序列流扩散 Transformer，在交错序列中联合处理源视频以及来自 MLLM 的多模态上下文。针对视频参考编辑训练数据稀缺的问题，我们通过为不同编辑任务和参考组合构建合成管线，构建了 OmniXRef-Data 数据集。我们采用课程学习策略，逐步提升任务复杂度和分辨率。为支持对视频作为控制模态的系统性评估，我们提出了 OmniXRef-Bench，一个涵盖摄像机（Camera）、运动（Motion）、内容（Content）、风格（Style）和视觉特效（VFX）的视频参考属性迁移基准测试。综合评估表明，我们的 OmniXRef-Model 优于针对特定任务的基线方法和商业模型。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22744)　查看 PDF (https://arxiv.org/pdf/2610.22744)　项目页面 (https://oliver-cong02.github.io/OmniXRef.github.io/)　添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.22744)

在你的 agent 中获取此论文：

hf papers read 2610.22744

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.22744 即可从此页面链接。

引用此论文的数据集 0

没有数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.22744 即可从此页面链接。

引用此论文的 Spaces 0

没有 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.22744 即可从此页面链接。

包含此论文的收藏集 0

没有收藏集包含此论文。

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。