论文页面 - LeapAlign：通过构建两步轨迹在任何生成步骤中实现流匹配模型的后训练

来源：https://huggingface.co/papers/2604.15311

摘要

LeapAlign通过降低计算成本并实现通过缩短的轨迹步骤进行稳定的梯度传播，同时保持与人类偏好的一致性，改进了流匹配模型的微调。

本文聚焦于流匹配模型与人类偏好的对齐。一种有前景的方法是通过流匹配的可微生成过程直接反向传播奖励梯度进行微调。然而，通过长轨迹进行反向传播会导致过高的内存成本和梯度爆炸。因此，直接梯度方法难以更新早期生成步骤，而这些步骤对于确定最终图像的整体结构至关重要。为了解决这个问题，我们提出了LeapAlign，这是一种微调方法，它降低了计算成本，并实现了从奖励到早期生成步骤的直接梯度传播。具体来说，我们将长轨迹缩短为仅两步，通过设计两个连续的跳跃，每个跳跃跳过多个ODE采样步骤，并单步预测未来的潜在变量。通过随机化跳跃的起始和结束时间步，LeapAlign在任何生成步骤上都能实现高效且稳定的模型更新。为了更好地利用这些缩短的轨迹，我们为那些与长生成路径更一致的轨迹分配更高的训练权重。为了进一步增强梯度稳定性，我们降低了大范数梯度项的权重，而不是像之前的工作那样完全移除它们。在微调Flux模型时，LeapAlign在各种指标上始终优于最先进的基于GRPO和直接梯度方法，实现了卓越的图像质量和图像-文本对齐。

查看arXiv页面查看PDF项目页面添加到收藏

在你的代理中获取此论文：

hf papers read 2604\.15311

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的README.md中引用arxiv.org/abs/2604.15311，即可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2604.15311，即可从此页面链接。

引用此论文的Space0

没有Space链接此论文

在Space的README.md中引用arxiv.org/abs/2604.15311，即可从此页面链接。

包含此论文的收藏1