通过在线上下文蒸馏将智能体经验内化到扩散模型权重中

Hugging Face Daily Papers 论文

摘要

论文提出 D-OPCD(Diffusion On-Policy Context Distillation),将文本生成图像智能体框架(harness)通过记忆、技能和迭代优化获得的增益蒸馏进扩散模型权重中,使模型在仅使用原始查询时也能保留部分收益,平均直接生成分数从 60.52 提升至 65.09,并通过 AutoSkillEvolver 实现框架与模型的持续协同进化。

将图像生成模型包装在智能体框架中可以有效提升文本生成图像(Text-to-Image)任务的表现:该框架能够利用记忆、技能、工作流编排、结果验证和迭代优化来不断构建和修正提示词,从而生成更优质的图像。然而,这些增益始终处于扩散模型之外,只有在整个框架完整运行时才能实现。我们提出了 Diffusion On-Policy Context Distillation(D-OPCD),该方法将智能体改进后的提示词视为特权上下文,并将智能体框架中编码的知识蒸馏到扩散模型的权重中,使模型在仅以原始查询为条件时也能保留部分框架带来的收益。借助配备我们提出的 Auto Skill Evolver(ASE)的文本生成图像智能体,我们证明 D-OPCD 能够将框架能力内化到生成器的权重中,在四个基准测试上将平均直接生成分数从 60.52 提升至 65.09。当这些知识被吸收到权重中后,框架可以摆脱已饱和的技能并继续进化:在更新后的生成器上进行第二轮 ASE 进化,比无技能框架额外提升 1.83 分,这为文本生成图像系统指明了框架与模型通过持续协同进化不断相互提升的发展方向。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:14

论文页面 - 通过在线策略上下文蒸馏将智能体经验内化到扩散模型权重中

来源: https://huggingface.co/papers/2610.07250

摘要

将图像生成模型封装在智能体框架(agentic harness)中可以有效提升文生图(Text-to-Image)任务的表现:智能体框架能够利用记忆、技能、工作流编排、结果验证和迭代式优化,持续地构建和修改提示词(prompt),从而生成更好的图像。然而,这些增益仍然游离于扩散模型之外,只有在完整智能体框架运行时才能实现。我们提出了Diffusion On-Policy Context Distillation(D-OPCD),该方法将智能体优化后的提示词视为特权上下文(privileged context),并把智能体框架中编码的知识蒸馏到扩散模型的权重中,使模型在仅以原始查询为条件时也能保留部分智能体框架带来的收益。结合我们提出的 AutoSkillEvolver(ASE),我们展示了 D-OPCD 能够将智能体框架的能力内化到生成器的权重中,在四个基准测试上将平均直接生成分数从 60.52 提升到 65.09。当这些知识被吸收到权重中之后,智能体框架便可以淘汰已饱和的技能并继续进化:在更新后的生成器上进行第二轮 ASE,相比无技能的智能体框架又额外提升了 1.83 分,这指向了一个前景——智能体框架与模型可以通过持续的共同进化不断相互促进。

查看 arXiv 页面 | 查看 PDF | 项目页面 | GitHub | 添加到收藏

在你的智能体中获取这篇论文:

hf papers read 2610.07250

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.07250 即可从本页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.07250 即可从本页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.07250 即可从本页面链接它。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏以从本页面链接它。

相似文章

通过 On-Policy 上下文蒸馏将智能体经验内化到扩散模型权重中

arXiv cs.AI

该论文提出 D-OPCD(Diffusion On-Policy Context Distillation),将 T2I 智能体 harness 通过提示词积累的经验蒸馏进扩散模型权重中,使模型在仅用原始查询条件时也能保留部分 harness 增益,并结合 Auto Skill Evolver 实现 harness 与模型的持续共同进化。

简化并改进用于少步扩散的同策略蒸馏

Hugging Face Daily Papers

提出简化匹配蒸馏(SMD)框架,通过纯回归的同策略速度回归与Pivot残差代理,实现无需辅助评分模型或对抗训练的4步少步扩散生成,在图像、3D、视频及音视频联合生成任务上超越强基线,并可扩展至330亿参数。

扩散模型的纠正训练

arXiv cs.AI

论文提出一种针对扩散模型的“修正训练”框架,通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距,显著提升无引导/无条件生成的样本质量,并可通过蒸馏将收益无损保留到基模型中。