论文页面 - SwiftI2V：通过条件分段生成实现高效的超高分辨率图像到视频生成

来源：https://huggingface.co/papers/2605.06356

摘要

SwiftI2V 是一个高效的超高分辨率图像到视频生成框架，它利用条件分段生成和双向上下文交互，以较低的算力需求实现可扩展且忠实于输入的视频合成。

超高分辨率 (https://huggingface.co/papers?q=High-resolution) 图像到视频 (I2V) 生成旨在在保留输入图像细粒度外观细节的同时合成逼真的时间动态。在 2K 分辨率下，这一任务极具挑战性，且现有解决方案存在各种弱点：1) 端到端模型在内存和延迟方面通常过于昂贵；2) 将低分辨率生成与通用视频超分辨率级联往往会导致细节幻觉并偏离输入特定的局部结构，因为超分辨率阶段并未明确以输入图像为条件。为此，我们提出了 SwiftI2V，这是一个专为超高分辨率 (https://huggingface.co/papers?q=high-resolution) I2V 设计的高效框架。遵循广泛使用的两阶段设计，它首先生成低分辨率运动参考以降低 Token 成本并减轻建模负担，然后在运动引导下执行强图像条件的 2K 合成，以控制开销并恢复忠实于输入的细粒度细节。具体而言，为了使生成更具可扩展性，SwiftI2V 引入了条件分段生成 (https://huggingface.co/papers?q=Conditional%20Segment-wise%20Generation) (CSG)，在有限的每步 Token 预算 (https://huggingface.co/papers?q=token%20budget) 下逐段合成视频，并在每个分段内采用双向上下文交互 (https://huggingface.co/papers?q=bidirectional%20contextual%20interaction) 以改善跨分段连贯性 (https://huggingface.co/papers?q=cross-segment%20coherence) 和输入忠实度 (https://huggingface.co/papers?q=input%20fidelity)。在 2K 分辨率的 VBench-I2V 上，SwiftI2V 实现了与端到端基线模型相当的性能，同时将总 GPU 时间减少了 202 倍。特别是，它使得在单个数据中心 GPU (如 H800) 或消费级 GPU (如 RTX 4090) 上进行实用的 2K I2V 生成成为可能。

查看 arXiv 页面 (https://arxiv.org/abs/2605.06356) 查看 PDF (https://arxiv.org/pdf/2605.06356) 项目页面 (https://hkust-longgroup.github.io/SwiftI2V/) GitHub (https://github.com/HKUST-LongGroup/SwiftI2V) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.06356)

在您的智能代理中获取此论文：

hf papers read 2605\.06356

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.06356 即可从此页面链接它。

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.06356 即可从此页面链接它。

引用此论文的 Space 0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.06356 即可从此页面链接它。

包含此论文的收藏集 0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。