标签
本文介绍了 MARBLE，这是一种针对扩散模型进行多奖励强化学习微调的梯度空间优化框架，无需手动权重调整即可实现策略梯度的和谐统一。
Self-Distillation Zero (SD-Zero) 是一种新颖的训练方法，通过双角色训练将稀疏的二元奖励转化为密集的token级监督，其中模型同时充当生成器和修订者，在数学和代码推理基准上实现了超过10%的性能提升，且样本效率高于强化学习方法。