论文页面 - DomainShuttle：自由开放域主题驱动文本到视频生成

来源：https://huggingface.co/papers/2606.26058

摘要

DomainShuttle 实现了开放域主题驱动的文本到视频生成，通过域感知建模和双 RoPE 方案，在域内和跨域场景中均具备高保真度和灵活性。

开放域主题驱动文本到视频（S2V）生成在学术界和工业界引起了广泛关注。开放域 S2V 主要涉及两种场景：域内场景（要求尽可能保留参考主题特征）和跨域场景（在保留主题内在特征的同时，允许与主题无关的属性根据文本提示灵活变化）。现有方法主要专注于在域内场景中最大化主题保真度，这限制了它们在跨域场景（如新风格、语义组合或域属性）中的可编辑性和适应性。在本研究中，我们提出理想的 S2V 方法应能在不同域之间灵活穿梭，在域内和跨域场景中均表现出色。为此，我们提出了 DomainShuttle，能够实现开放域视频个性化的高保真度和生成灵活性。具体来说，我们引入了 Domain-MoT，它解耦视频和参考特征，并引入域感知 AdaLN (https://huggingface.co/papers?q=domain-aware%20AdaLN) 进行参考图像的域特定建模 (https://huggingface.co/papers?q=domain-specific%20modeling)。然后我们引入了视频-参考双 RoPE (https://huggingface.co/papers?q=Video-Reference%20DualRoPE) 方案，将参考图像 token (https://huggingface.co/papers?q=reference%20image%20tokens) 和视频 token (https://huggingface.co/papers?q=video%20tokens) 放置在独立的 RoPE 空间 (https://huggingface.co/papers?q=RoPE%20spaces) 中，以实现精确的主题级空间建模 (https://huggingface.co/papers?q=subject-level%20spatial%20modeling)，以及跨对一致性损失 (https://huggingface.co/papers?q=Cross-Pair%20Consistent%20Loss)，旨在提取不受无关特征影响的内在主题特征。大量实验表明，DomainShuttle 相比现有方法取得了显著的性能提升，在多样化的开放域应用场景中展现出高主题保真度和生成灵活性。

查看 arXiv 页面 (https://arxiv.org/abs/2606.26058)查看 PDF (https://arxiv.org/pdf/2606.26058)项目页面 (https://cn-makers.github.io/DomainShuttle/)GitHub21 (https://github.com/HKUST-C4G/DomainShuttle)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.26058)

在您的代理中获取此论文：

hf papers read 2606\.26058

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.26058 即可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.26058 即可从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.26058 即可从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将这篇论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接。