论文页面 - Any-OPD: 异构同策略蒸馏用于流匹配模型，基于表示空间桥接

源：https://huggingface.co/papers/2608.03316 发布于 8 月 4 日

·

提交者：https://huggingface.co/simingfu

fu (https://huggingface.co/simingfu) 于 8 月 5 日

摘要

同策略蒸馏（on-policy distillation）中，教师模型会纠正学生模型自身生成的样本，其前提是这两个模型使用相同的“语言”：相同的 VAE 潜空间、匹配的架构，以及共同的时间步网格。我们探究当这些条件都不成立时会发生什么，例如当可用的最强教师模型与期望部署的学生模型来自不同的模型家族时。我们发现标准方案无解：教师潜变量无法在外部坐标系中作为目标；针对随机重绘局部细节的教师模型计算逐像素损失会退化为模糊或发散；时间步索引在不同调度不匹配时也失去意义。我们提出 Any-OPD，据我们所知，这是首个在任意潜空间流匹配生成器对之间进行同策略蒸馏的框架。Any-OPD 将教师模型纯粹视为黑盒采样器，并仅在一个点上连接两个模型：一个冻结的、与模型无关的视觉表示，在此表示中比较它们独立解码的输出，从而绕过了关于潜变量、特征或架构的每一个假设。轨迹对应关系通过匹配连续噪声水平而非步进索引来恢复；一个简短的锚定阶段（教师样本通过学生自己的 VAE 重新编码）确保同策略梯度衡量的是样本质量而非域不匹配。将 12B 的 FLUX.1-dev 蒸馏到 2.5B 的 SD3.5-Medium，Any-OPD 将学生的 PickScore 从 0.846 提升到 0.884，HPSv3 从 9.12 提升到 10.97，以其五分之一的规模媲美教师，而直接潜变量回归则完全无法训练。

查看 arXiv 页面 (https://arxiv.org/abs/2608.03316) 查看 PDF (https://arxiv.org/pdf/2608.03316) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.03316)

在你的 agent 中获取此论文：

hf papers read 2608\.03316

没有最新的 CLI？curl -LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.03316 以从此页面链接它。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.03316 以从此页面链接它。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.03316 以从此页面链接它。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。