交互式视频生成中的推测采样
摘要
提出推测采样策略,通过追加噪声潜变量扩展双向窗口并缓存预测结果,在不牺牲质量的前提下实现低延迟的交互式视频生成,使窗口大小成为质量与速度联合优化的决策变量。
查看缓存全文
缓存时间: 2026/10/16 03:02
论文页面 - 交互式视频生成中的推测采样
来源:https://huggingface.co/papers/2610.20556 发表于 10 月 14 日
·
提交者https://huggingface.co/zzyx
yuxuan (https://huggingface.co/zzyx)于 10 月 15 日
摘要
推测采样通过缓存预测结果并逐步交付,实现了使用大型双向窗口的交互式视频生成,在不牺牲质量的前提下降低延迟\。
交互式视频生成通常依赖小型双向分块 (https://huggingface.co/papers?q=bidirectional%20chunks)来降低响应延迟\。然而,我们的初步实验表明,较大的分块能够提升视频质量,更充分地利用 GPU 的并行能力,仅需适度增加采样时间,就能对更多潜变量进行采样\。基于这些观察,我们提出了推测采样 (https://huggingface.co/papers?q=Speculative%20Sampling),这是一种将大型双向窗口的建模能力与小型窗口的低延迟交互相结合的策略\。该策略通过追加噪声潜变量 (https://huggingface.co/papers?q=noise%20latents)作为填充来扩展建模窗口,并缓存由此产生的预测结果,以便在条件保持不变时复用\。预测结果逐步交付,而尚未确定的未来部分仍可替换\。我们的延迟分析表明,这消除了分块边界所造成的等待时间下限,将优化重点从缩小分块大小转向加速每个分块的采样 (https://huggingface.co/papers?q=per-chunk%20sampling)\。因此,双向窗口大小成为联合优化视觉质量与采样时间的决策变量,而非低延迟交互的必要约束\。这为在交互式流式传输 (https://huggingface.co/papers?q=interactive%20streaming)系统中部署大型双向模型开辟了道路,无需复杂的流式后训练\。
查看 arXiv 页面 (https://arxiv.org/abs/2610.20556)查看 PDF (https://arxiv.org/pdf/2610.20556)项目页面 (https://yubo-shankui.github.io/speculative_sampling/)GitHub0 (https://github.com/Yubo-Shankui/SpeculativeSampling)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20556)
在你的智能体中获取这篇论文:
hf papers read 2610\.20556
还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
暂无链接到这篇论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2610.20556,即可从本页面链接到该模型\。
引用这篇论文的数据集0
暂无链接到这篇论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2610.20556,即可从本页面链接到该数据集\。
引用这篇论文的 Spaces0
暂无链接到这篇论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.20556,即可从本页面链接到该 Space\。
收录这篇论文的收藏集0
暂无收录这篇论文的收藏集
将这篇论文添加到收藏集 (https://huggingface.co/new-collection),即可从本页面链接到该收藏集\。
相似文章
用于高效自回归视频生成的推测式强制
推测强制通过将中间的干净估计视为草稿并提前接受词元、跳过不必要的去噪步骤,加速少步自回归视频生成,在 LongLive 上以每词元约 1.7 步达到四步生成器的质量,速度提升超过 1.5 倍。
自回归视频生成的投机解码
SDVG 将投机解码引入自回归视频扩散,通过图像质量路由器在 MovieGenVideoBench 上实现最高 2.09× 加速,同时保留 95.7% 质量。
FrameMorrow:面向长时序视频生成的前瞻式未来引导帧选择方法
FrameMorrow 提出一种面向长时序视频生成的前瞻式帧选择方法,通过预测代表未来信息需求的紧凑 prospective tokens 来从历史中挑选相关帧,实现跨生成器的即插即用集成,并在五个基准、11 个生成模型上取得一致提升。
SGF+:解耦自回归视频生成中的梯度流
论文提出 Self Gradient Forcing Plus(SGF+),通过为上下文写入与去噪角色解耦参数并保留因果注意力交互,显著提升自回归视频生成的视觉质量与长时一致性,仅用5秒训练片段即可支持长达24小时的连续生成。
ForcingBooster:用于快速自回归视频扩散的自适应分块去噪
ForcingBooster 提出一种自适应逐 patch 去噪框架,根据视频块难度动态分配去噪步数,在保持画质的同时将总去噪步数减少约 50%,加速自回归视频扩散模型的生成。