DanceOPD:基于策略的生成场蒸馏
摘要
DanceOPD提出了一种基于策略的生成场蒸馏框架,用于流匹配模型。该框架通过能力特定路由和基于速度的训练,统一了文本到图像生成、局部编辑和全局编辑,在保持基准生成质量的同时,提升了多能力组合。
查看缓存全文
缓存时间: 2026/06/26 02:04
论文页面 - DanceOPD: 在线策略生成场蒸馏
来源:https://huggingface.co/papers/2606.27377
摘要
我们提出了一种新颖的在线策略生成场蒸馏框架,名为 DanceOPD,通过能力特定路由和基于速度的训练,在流匹配模型中统一了文生图、局部编辑和全局编辑能力。
现代图像生成需要单一模型来统一多种能力,包括文生图 (https://huggingface.co/papers?q=text-to-image)(T2I)、局部编辑 (https://huggingface.co/papers?q=local%20editing) 和全局编辑 (https://huggingface.co/papers?q=global%20editing)。然而,这些能力很少自然对齐,且常常相互冲突。例如,编辑往往会降低 T2I 性能,而全局编辑和局部编辑 (https://huggingface.co/papers?q=local%20editing) 会相互干扰。因此,有效组合这些能力已成为图像生成模型训练的核心挑战。为解决此问题,我们引入了 DanceOPD,这是一个针对流匹配模型 (https://huggingface.co/papers?q=flow-matching%20models) 的在线策略 (https://huggingface.co/papers?q=on-policy) 生成场蒸馏 (https://huggingface.co/papers?q=generative%20field%20distillation) 框架。该框架将每个样本路由到一个能力场,查询一个低噪声学生诱导状态,并使用简单的速度 MSE 目标 (https://huggingface.co/papers?q=velocity%20MSE%20objective) 进行训练。通过将每个能力源定义为共享流状态空间上的速度场 (https://huggingface.co/papers?q=velocity%20field),学生模型从其自身展开状态查询到的场中学习,以组合专家能力 (https://huggingface.co/papers?q=expert%20capabilities)。该公式还能吸收操作符定义的场,例如无分类器指导 (https://huggingface.co/papers?q=classifier-free%20guidance)。在 T2I、编辑、现实主义场吸收和 CFG 吸收方面的综合实验表明,我们的方法改进了多能力组合,增强了目标能力,同时保留了锚定生成质量。我们相信,这项工作为流匹配模型 (https://huggingface.co/papers?q=flow-matching%20models) 中的生成场蒸馏 (https://huggingface.co/papers?q=generative%20field%20distillation) 建立了一条实用路径。
查看 arXiv 页面 (https://arxiv.org/abs/2606.27377)
查看 PDF (https://arxiv.org/pdf/2606.27377)
项目页面 (https://danceopd.github.io/)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.27377)
在您的 agent 中获取此论文:
hf papers read 2606\.27377
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2606.27377 以从此页面链接。
引用此论文的数据集0
没有数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2606.27377 以从此页面链接。
引用此论文的 Space0
没有 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2606.27377 以从此页面链接。
包含此论文的收藏0
没有包含此论文的收藏
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
Flow-OPD:用于流匹配模型的对策蒸馏
Flow-OPD 是一篇研究论文,介绍了一种用于流匹配文生图模型的两阶段对策蒸馏框架。基于 Stable Diffusion 3.5 Medium,该框架显著提升了生成质量和对齐指标。
面向自回归视频生成的在线策略对抗流蒸馏
提出对抗流蒸馏(AFD),用于将异质黑盒视频生成模型蒸馏为自回归学生模型,采用在线策略反馈和前向过程流匹配更新。
DiffusionOPD:扩散模型中在线策略蒸馏的统一视角
DiffusionOPD提出了一种扩散模型的多任务训练范式,利用在线策略蒸馏将任务特定的教师模型高效地整合到统一的学生模型中,在所有评估基准上取得了最先进的结果。
AnyFlow:基于在策略流图蒸馏的任意步长视频扩散模型
AnyFlow 提出了一种新颖的任意步长视频扩散蒸馏框架,通过流图过渡学习和反向模拟优化完整的 ODE 采样轨迹,在匹配甚至超越基于一致性模型的同时,能够随采样步数预算进行扩展。
Draft-OPD:面向推测式草稿模型的在线策略蒸馏
Draft-OPD 引入在线策略蒸馏,结合目标辅助展开和错误重放,克服了训练用于推测解码的草稿模型时存在的离线到推理不匹配问题,实现了超过5倍的无损加速,相较于EAGLE-3和DFlash分别提升了23%和13%。