通过在线上下文蒸馏将智能体经验内化到扩散模型权重中
摘要
论文提出 D-OPCD(Diffusion On-Policy Context Distillation),将文本生成图像智能体框架(harness)通过记忆、技能和迭代优化获得的增益蒸馏进扩散模型权重中,使模型在仅使用原始查询时也能保留部分收益,平均直接生成分数从 60.52 提升至 65.09,并通过 AutoSkillEvolver 实现框架与模型的持续协同进化。
查看缓存全文
缓存时间: 2026/10/08 12:14
论文页面 - 通过在线策略上下文蒸馏将智能体经验内化到扩散模型权重中
来源: https://huggingface.co/papers/2610.07250
摘要
将图像生成模型封装在智能体框架(agentic harness)中可以有效提升文生图(Text-to-Image)任务的表现:智能体框架能够利用记忆、技能、工作流编排、结果验证和迭代式优化,持续地构建和修改提示词(prompt),从而生成更好的图像。然而,这些增益仍然游离于扩散模型之外,只有在完整智能体框架运行时才能实现。我们提出了Diffusion On-Policy Context Distillation(D-OPCD),该方法将智能体优化后的提示词视为特权上下文(privileged context),并把智能体框架中编码的知识蒸馏到扩散模型的权重中,使模型在仅以原始查询为条件时也能保留部分智能体框架带来的收益。结合我们提出的 AutoSkillEvolver(ASE),我们展示了 D-OPCD 能够将智能体框架的能力内化到生成器的权重中,在四个基准测试上将平均直接生成分数从 60.52 提升到 65.09。当这些知识被吸收到权重中之后,智能体框架便可以淘汰已饱和的技能并继续进化:在更新后的生成器上进行第二轮 ASE,相比无技能的智能体框架又额外提升了 1.83 分,这指向了一个前景——智能体框架与模型可以通过持续的共同进化不断相互促进。
查看 arXiv 页面 | 查看 PDF | 项目页面 | GitHub | 添加到收藏
在你的智能体中获取这篇论文:
hf papers read 2610.07250
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
没有模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2610.07250 即可从本页面链接它。
引用此论文的数据集 0
没有数据集链接此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.07250 即可从本页面链接它。
引用此论文的 Spaces 0
没有 Space 链接此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.07250 即可从本页面链接它。
包含此论文的收藏 0
没有收藏包含此论文
将此论文添加到收藏以从本页面链接它。
相似文章
通过 On-Policy 上下文蒸馏将智能体经验内化到扩散模型权重中
该论文提出 D-OPCD(Diffusion On-Policy Context Distillation),将 T2I 智能体 harness 通过提示词积累的经验蒸馏进扩散模型权重中,使模型在仅用原始查询条件时也能保留部分 harness 增益,并结合 Auto Skill Evolver 实现 harness 与模型的持续共同进化。
DiffusionOPD:扩散模型中在线策略蒸馏的统一视角
DiffusionOPD提出了一种扩散模型的多任务训练范式,利用在线策略蒸馏将任务特定的教师模型高效地整合到统一的学生模型中,在所有评估基准上取得了最先进的结果。
简化并改进用于少步扩散的同策略蒸馏
提出简化匹配蒸馏(SMD)框架,通过纯回归的同策略速度回归与Pivot残差代理,实现无需辅助评分模型或对抗训练的4步少步扩散生成,在图像、3D、视频及音视频联合生成任务上超越强基线,并可扩展至330亿参数。
通过在线策略蒸馏实现数据高效的自回归到扩散语言模型
本文介绍了OPDLM,一种通过在线策略蒸馏将自回归语言模型转换为扩散语言模型的方法,所需训练令牌数量减少15倍到7000倍,同时保留原始模型的知识。
扩散模型的纠正训练
论文提出一种针对扩散模型的“修正训练”框架,通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距,显著提升无引导/无条件生成的样本质量,并可通过蒸馏将收益无损保留到基模型中。