Bootstrap Your Generator: 基于流匹配的非配对视觉编辑
摘要
Bootstrap Your Generator (ByG) 是一个用于流匹配编辑模型非配对训练的框架,利用基础模型知识和梯度路由,在数据稀缺的图像和视频编辑任务中实现了最先进的成果。
查看缓存全文
缓存时间: 2026/06/03 15:38
论文页面 - Bootstrap Your Generator:使用流匹配的无配对视觉编辑
来源:https://huggingface.co/papers/2606.03911
摘要
Bootstrap Your Generator 框架通过利用基础模型的知识和梯度路由,在数据稀缺场景下实现流匹配编辑模型的无配对训练,从而提升泛化能力。
现代生成模型对视觉内容有着深刻理解,但训练它们进行图像编辑通常需要大量配对样本的数据集。这限制了可扩展性,尤其是在视频编辑领域,收集配对数据成本极高。我们提出 Bootstrap Your Generator(ByG),一个用于流匹配编辑模型的无配对训练的通用框架。它无需任何外部信号即可利用基础模型的知识。我们的方法将从冻结模型中提取的指令跟随提示与用于结构保持的循环一致性相结合。为了使这一方法可行,我们提出将下游损失的梯度从干净预测路由到带噪训练状态。我们在数据稀缺的图像和视频编辑挑战性场景中展示了最先进的结果。大量评估和用户研究表明,我们的方法能有效泛化到未见过的领域,并且优于在数百万样本上训练的有监督基线。分析表明,我们的梯度路由弥合了训练-推理差距,而从基础模型中提取语义提示提供了稳健的训练信号,从而无需外部奖励模型。
查看 arXiv 页面 (https://arxiv.org/abs/2606.03911)查看 PDF (https://arxiv.org/pdf/2606.03911)项目页面 (https://research.nvidia.com/labs/par/byg/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.03911)
在您的 agent 中获取此论文:
hf papers read 2606.03911
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.03911 以从此页面链接。
引用此论文的数据集0
没有数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.03911 以从此页面链接。
引用此论文的 Space0
没有 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.03911 以从此页面链接。
包含此论文的收藏0
没有收藏包含此论文
请将此论文添加到一个收藏 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
基于流生成模型的残差空间进化优化
介绍了一个结合流生成编辑和进化算法的框架,用于在残差空间中进行优化,支持使用不可微目标进行可控数据编辑。在MorphoMNIST和晶体数据上进行了验证。
感知流匹配用于少步生成建模
感知流匹配在感知特征空间中对流匹配进行监督,使得仅需4-8步采样而非35-50步即可实现高质量少步生成,且无需教师模型。
Energy-Guided Flow Matching
能量引导流匹配通过使用移动端点和自适应调度改进生成图像质量,以降低的训练成本达到最先进FID分数。
DanceOPD:基于策略的生成场蒸馏
DanceOPD提出了一种基于策略的生成场蒸馏框架,用于流匹配模型。该框架通过能力特定路由和基于速度的训练,统一了文本到图像生成、局部编辑和全局编辑,在保持基准生成质量的同时,提升了多能力组合。
我构建了‘第一个’流匹配图像生成器,以下是我的心得 [P]
作者分享了构建一个小型流匹配图像生成模型的经历,该模型基于 Apple 表情符号图像进行训练,描述了最初失败的方法以及后来成功转向使用 RGB 通道、残差块和注意力的过程。