论文页面 - SpecKCast：面向扩散加速的谱卡尔曼预测

来源：https://huggingface.co/papers/2610.26837

摘要

SpecKCast 在频域中预测扩散 Transformer 的输出，采用逐频带卡尔曼滤波器和自适应步长调度，以极小的内存开销加速推理。

Diffusion Transformers (https://huggingface.co/papers?q=Diffusion%20Transformers)（DiTs）能够实现高保真的图像和视频生成，但由于需要在多个去噪步中反复执行 Transformer，推理开销很大。Feature caching (https://huggingface.co/papers?q=Feature%20caching)（特征缓存）通过在不同去噪步之间复用特征来降低这一开销。近期的 forecasting (https://huggingface.co/papers?q=forecasting)（预测）方法进一步扩展了这一思路：不再复用特征，而是将特征外推到被跳过的步。然而，现有的 forecasting (https://huggingface.co/papers?q=forecasting) 方法对所预测的特征进行均匀外推，而这些特征的空间-频率分量在去噪的不同阶段变化程度差异很大。它们还忽视了去噪过程是非均匀推进的，因此相同的步长间隔可能对应着差异巨大的变化量。这些不匹配会随着跳过步数的增多而放大预测误差，限制了所能达到的加速效果。我们提出 SpecKCast，这是一种无需训练的方法，在 frequency domain (https://huggingface.co/papers?q=frequency%20domain)（频域）中预测模型输出。SpecKCast 对输出施加 2D discrete cosine transform (https://huggingface.co/papers?q=2D%20discrete%20cosine%20transform)（2D 离散余弦变换，DCT），并用轻量级的 Kalman filter (https://huggingface.co/papers?q=Kalman%20filter)（卡尔曼滤波器）沿由 noise schedule (https://huggingface.co/papers?q=noise%20schedule)（噪声调度）导出的频带特定时间坐标追踪每个系数。该滤波器跟踪每个系数的取值及其变化率，只有当滤波器的预测不确定性超过阈值时才执行 Transformer。在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上的实验表明，SpecKCast 在加速与保真度之间取得了优于现有缓存和 forecasting (https://huggingface.co/papers?q=forecasting) 方法的权衡，最高可实现 6 倍加速，额外内存开销不足 0.05 GiB。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26837)查看 PDF (https://arxiv.org/pdf/2610.26837)项目页面 (https://rajabi2001.github.io/speckcast)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.26837)

在你的 agent 中获取这篇论文：

hf papers read 2610.26837

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.26837 即可从此页面链接它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.26837 即可从此页面链接它。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.26837 即可从此页面链接它。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到一个收藏 (https://huggingface.co/new-collection) 即可从此页面链接它。