论文页面 - iADD：改进扩散策略优化中的对齐性与多样性

来源：https://huggingface.co/papers/2610.01789

摘要

基于强化学习的扩散模型后训练方法，如去噪扩散策略优化（Denoising Diffusion Policy Optimization，DDPO），在奖励函数下对反向扩散过程进行优化。然而，当前的奖励优化方法往往以牺牲多样性和质量为代价。本文通过严谨的理论分析与方法设计，实现了更好的权衡。我们分析了理论框架，并通过数学推导证明，与先前工作中得出的结论相反，仅更新扩散模型的后期时间步可能会损害多样性。此外，我们基于坚实的理论基础提出了一种增量式 Feynman-Kac 训练方法，以实现迄今最佳的对齐-多样性权衡。我们在三个不同任务上进行了大量实验，将我们的方法与相关的扩散策略优化方法进行比较，并对每个组件进行了充分的消融实验，从而验证了该方法在对齐性和多样性两方面均能带来显著的性能提升。

查看 arXiv 页面 (https://arxiv.org/abs/2610.01789) 查看 PDF (https://arxiv.org/pdf/2610.01789) 项目页面 (https://saugat2002.github.io/iadd/) GitHub (https://github.com/Saugat2002/iADD) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.01789)

在你的 agent 中获取此论文：

hf papers read 2610.01789

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

无模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2610.01789，即可从此页面链接该模型。

引用本文的数据集 0

无数据集链接到本文

在数据集 README.md 中引用 arxiv.org/abs/2610.01789，即可从此页面链接该数据集。

引用本文的 Spaces 1

收录本文的合集 0

无合集收录本文

将本文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接该合集。