一瞥强制：让双向扩散在一瞥间实现自回归

Hugging Face Daily Papers 论文
video-generation diffusion-models knowledge-distillation autoregressive efficiency

摘要

Glance Forcing 提出一种轻量级蒸馏框架，将双向扩散模型的去噪轨迹解耦为慢速与快速两个专家，仅需单条 PF-ODE 轨迹即可超越全训练 SOTA 基线（VBench 总分从 84.04 提升至 84.22），并将轨迹采集成本从数千 GPU 小时降至约 1 个 A100 GPU 小时。

自回归生成是真时因果视频合成的基础，也是视频世界模型的骨干。当前的主流方法将双向扩散模型蒸馏为因果少步学生模型，但现有流程的转换成本高得令人难以承受，需要离线生成概率流常微分方程}（PF-ODE）轨迹，耗费数万 GPU 小时和数 TB 存储空间。我们表明，这一过程的效率可以大幅提升。为将效率推向极限，我们将轨迹监督减少至单个样本这一最严格的设定，并发现这会导致生成质量严重崩溃。我们将其根源追溯至教师模型的轨迹几何特性：主导语义布局和运动的高噪声阶段与主导精细纹理的低噪声阶段，在曲率和优化行为上存在根本差异，因此单一的一体化学生模型无法同时拟合两者，从而引发严重的表征干扰。受此启发，我们提出了 Glance Forcing，这是一种轻量级蒸馏框架，将去噪轨迹解耦为互补的慢速和快速两个专家模型，分别由针对各自阶段定制的目标引导，同时保持预训练教师模型完全冻结。这种解耦进一步揭示了少步蒸馏背后的一种普遍机制：PF-ODE 蒸馏主要使少步轨迹的几何形态趋于平直，而后续的分布匹配阶段则独立决定分布质量。仅使用一条 PF-ODE 轨迹，Glance Forcing 就已超越经过完整训练的最先进基线，将 VBench 总分从 84.04 提升至 84.22，同时将轨迹采集成本从数千 GPU 小时降至约一个 A100 GPU 小时，在动态程度、VisionReward 和指令遵循方面取得了显著更大的提升，并且在与强基线的比较中持续获得人工评估者的青睐。
查看原文
查看缓存全文

缓存时间: 2026/10/15 10:58

论文页面 - Glance Forcing：让双向扩散一瞥间实现自回归

来源：https://huggingface.co/papers/2610.20220

摘要

Glance Forcing 将去噪过程拆分为由阶段特定目标指导的专门专家，从而提高视频生成效率，在降低训练成本的同时提升质量.

自回归生成 (https://huggingface.co/papers?q=Autoregressive%20generation)是实时因果视频合成的基础，也是视频世界模型 (https://huggingface.co/papers?q=video%20world%20models)的核心支柱. 当今的主流方法将双向扩散模型 (https://huggingface.co/papers?q=bidirectional%20diffusion%20model)蒸馏为因果少步学生模型，但现有流程使这一转换的成本高得难以承受，需要离线生成概率流 ODE (https://huggingface.co/papers?q=Probability%20Flow%20ODE)} (PF-ODE (https://huggingface.co/papers?q=PF-ODE)) 轨迹，耗费数万 GPU 小时和数 TB 存储空间. 我们证明，这一过程的效率可以大幅提高. 为将效率推向极致，我们将轨迹监督缩减至单个样本，即所能采用的最严格设置，却发现这会导致严重的质量崩溃. 我们将其归因于教师模型的轨迹几何 (https://huggingface.co/papers?q=trajectory%20geometry)：控制语义布局和运动的高噪声区间，与控制精细纹理的低噪声区间，在曲率和优化行为上存在根本差异，因此单一的整体式学生模型无法同时拟合两者，进而造成严重的表征干扰. 受此启发，我们提出 Glance Forcing (https://huggingface.co/papers?q=Glance%20Forcing)，这是一个轻量级蒸馏框架，将去噪轨迹解耦为两个互补的慢速和快速专家，每个专家均由量身定制的阶段特定目标指导，同时保持预训练教师模型完全冻结. 这种解耦还揭示了少步蒸馏 (https://huggingface.co/papers?q=few-step%20distillation)背后的一种通用机制：PF-ODE (https://huggingface.co/papers?q=PF-ODE)蒸馏主要使少步轨迹几何 (https://huggingface.co/papers?q=trajectory%20geometry)变直，而后续的分布匹配阶段则独立决定分布质量. 仅使用一条 PF-ODE (https://huggingface.co/papers?q=PF-ODE)轨迹，Glance Forcing (https://huggingface.co/papers?q=Glance%20Forcing)就已超越经过充分训练的最先进基线，将 VBench (https://huggingface.co/papers?q=VBench)总分从 84.04 提升至 84.22，同时将轨迹收集成本从数千 GPU 小时降至约一个 A100 GPU 小时，并在动态程度、VisionReward 和指令遵循方面取得显著更大的提升，而且相较于强基线持续获得人工评估者的偏好.

查看 arXiv 页面 (https://arxiv.org/abs/2610.20220)查看 PDF (https://arxiv.org/pdf/2610.20220)项目页面 (https://zhuobaidong.github.io/Glance-Forcing/)GitHub3 (https://github.com/CSU-JPG/Glance-Forcing)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20220)

在你的智能体中获取这篇论文：

hf papers read 2610\.20220

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.20220，即可从此页面链接到该模型.

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.20220，即可从此页面链接到该数据集.

引用这篇论文的 Spaces0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.20220，即可从此页面链接到该 Space.

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.

相似文章

CacheScope：用于免训练扩散模型加速的精确计算分配

arXiv cs.LG

CacheScope 提出一种无需训练的扩散模型推理加速方法，通过归一化浅层探测变化信号，在线识别高风险缓存步骤并回退到精确计算，在 FLUX.1-dev、Wan2.1 和 Open-Sora 上实现最高 3.57 倍加速，并使 LPIPS 中位数降低 70.1%。

简化并改进用于少步扩散的同策略蒸馏

Hugging Face Daily Papers

提出简化匹配蒸馏（SMD）框架，通过纯回归的同策略速度回归与Pivot残差代理，实现无需辅助评分模型或对抗训练的4步少步扩散生成，在图像、3D、视频及音视频联合生成任务上超越强基线，并可扩展至330亿参数。

SpecKCast：用于扩散加速的谱卡尔曼预测

Hugging Face Daily Papers

SpecKCast 是一种免训练的扩散 Transformer 推理加速方法，在频域中用逐频带 Kalman 滤波器预测模型输出并自适应调度去噪步，在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上最高实现 6 倍加速，额外内存开销不足 0.05 GiB。