论文页面 - Self-OPD：无需教师模型的流动匹配模型在策略蒸馏

来源：https://huggingface.co/papers/2608.26872 作者： ,

,

,

,

,

,

,

,

,

摘要

Self-OPD 通过使用自探索的随机分支与归一化优势函数来优化速度场，以实现多目标对齐，从而在流动匹配模型中无需任务特定的教师模型。

在策略蒸馏（https://huggingface.co/papers?q=On-policy%20distillation）（OPD）利用预训练的、专门的教师模型来提供密集监督信号，在大语言模型（LLMs）中取得了显著成功，并且最近已被应用于流动匹配（https://huggingface.co/papers?q=flow%20matching）模型。然而，这种范式存在两个主要问题：首先，为每个新目标训练一个单独的、任务特定的教师模型会导致高昂的计算成本。其次，教师与学生分布之间的差异通常会导致沿着生成轨迹产生累积误差。在本文中，我们引入了Self-OPD（https://huggingface.co/papers?q=Self-OPD），一个用于流动匹配（https://huggingface.co/papers?q=flow%20matching）模型的无教师OPD框架，它将学生自身的自探索转化为逐步监督。在每个时间步，Self-OPD（https://huggingface.co/papers?q=Self-OPD）将确定性的下一状态预测分支为K个随机SDE候选（https://huggingface.co/papers?q=SDE%20candidates），使用ODE采样器（https://huggingface.co/papers?q=ODE%20sampler）对其进行采样，并将它们的奖励与确定性的自参考基线进行比较，以获得归一化优势（https://huggingface.co/papers?q=normalized%20advantages）。速度场通过一个全分支拉推目标（https://huggingface.co/papers?q=pull-push%20objective）进行优化，其中高优势分支在方向感知衰减（https://huggingface.co/papers?q=direction-aware%20attenuation）和SDE方差归一化（https://huggingface.co/papers?q=SDE-variance%20normalization）下吸引学生，而低优势分支则排斥学生。为了实现多目标对齐（https://huggingface.co/papers?q=multi-objective%20alignment），Self-OPD（https://huggingface.co/papers?q=Self-OPD）在奖励层面融合归一化分数，避免了直接的梯度冲突。在单一和混合奖励基准上的实验表明，Self-OPD（https://huggingface.co/papers?q=Self-OPD）无需任务特定教师，其性能优于先前的强化学习和OPD方法。

查看arXiv页面（https://arxiv.org/abs/2608.26872）查看PDF（https://arxiv.org/pdf/2608.26872）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2608.26872）

在你的代理中获取此论文：

hf papers read 2608\.26872

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2608.26872以从本页链接它。

引用此论文的数据集0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2608.26872以从本页链接它。

引用此论文的空间0

无空间链接此论文

在空间README.md中引用arxiv.org/abs/2608.26872以从本页链接它。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从本页链接它。