论文页面 - FlowMimic：无需掩码的视觉编辑与生成——基于像素对扭曲流场的在线视频编辑数据生成与模态模仿

来源：https://huggingface.co/papers/2607.18227

摘要

顺应视觉研究的主流方向，我们探索在单一模型中整合视频与图像模态的生成与编辑能力。当前收集视频编辑数据的典型方法依赖于繁琐耗时的人工筛选流程——包括对象掩码标注、通过I2V模型与ControlNet式引导进行易出错的配对合成、以及基于VLM的质量过滤或优化——并且任务扩展性有限。因此，可支持的编辑任务多样性远不及图像编辑模型。我们开发了一种像素对时间扭曲流场，能够直接从图像编辑样本实时生成对应的视频编辑样本，并证明模型仅需此类数据即可学习视频编辑。我们将图像模态视为视频模态的一种特殊形式。据此，我们设计了模态模仿生成损失和模态模仿编辑损失，通过相互模仿使两种模态的能力（从而输出分布）相对对齐。此外，基于语言的视觉编辑要求理解编辑指令与参考视觉内容、定位参考视觉内容中指令对应的区域、并修改该区域。现有方法主要依赖外部辅助，例如微调额外的多模态大语言模型，或在推理时显式提供掩码序列作为辅助输入。相比之下，我们希望模型内化这一能力。为此，我们引入感知相关任务（如指代分割），并配套相应的编辑区域感知潜在级损失和注意力级损失。

查看arXiv页面 (https://arxiv.org/abs/2607.18227)
查看PDF (https://arxiv.org/pdf/2607.18227)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18227)

引用本文的模型 0

尚无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.18227 以便从此页面链接它。

引用本文的数据集 1

FlowMimic/Uncompressed 更新于约7小时前 • 13 (https://huggingface.co/datasets/FlowMimic/Uncompressed)

引用本文的Space 0

尚无Space链接此论文

请在Space README.md中引用 arxiv.org/abs/2607.18227 以便从此页面链接它。

包含本文的收藏 0

尚无收藏包含此论文

请将此论文添加到收藏 (https://huggingface.co/new-collection) 以便从此页面链接它。