Flash-BoN:扩散模型推理时扩展的即时草稿
摘要
Flash-BoN 通过时间步截断、层跳过和激活代理生成廉价的草稿候选,然后使用多阶段验证选择最佳草稿进行完整细化,从而在固定挂钟预算下优于基线,提高文本到图像生成的效率。
查看缓存全文
缓存时间: 2026/07/10 06:17
论文页面 - Flash-BoN:扩散模型推理时缩放的即时草稿生成
来源:https://huggingface.co/papers/2607.04461
摘要
Flash-BoN 通过使用时间步长截断、层跳过和激活代理生成的廉价草稿候选,配合多阶段验证,在固定墙钟预算下提升了文本到图像生成的效率,其表现优于现有方法。
文本到图像生成的推理时缩放已从简单的 Best-of-N (https://huggingface.co/papers?q=Best-of-N) (BoN) 采样发展到引导搜索方法 (https://huggingface.co/papers?q=guided%20search%20methods),这些方法在中间去噪步骤 (https://huggingface.co/papers?q=denoising%20steps) 验证并引导候选轨迹。这些方法重点关注去噪过程中何时以及以何种频率进行验证,但通常将生成本身的成本视为固定。此外,通过函数评估次数 (https://huggingface.co/papers?q=function%20evaluations) (NFEs) 比较方法的标准实践仅计数去噪前向传播,而忽略了验证器的开销,这可能会扭曲效率排名。我们表明,在墙钟评估 (https://huggingface.co/papers?q=wall-clock%20evaluation) 下,简单的 BoN 已经匹配或超越了几种引导搜索技术,这表明计算资源更适合用于更广泛的探索,而不是重复的中间验证。这激发了 Flash-BoN (https://huggingface.co/papers?q=Flash-BoN) 的提出,它通过结合三种互补的加速旋钮:时间步长截断 (https://huggingface.co/papers?q=timestep%20truncation)、层跳过 (https://huggingface.co/papers?q=layer%20skipping) 和激活代理 (https://huggingface.co/papers?q=activation%20proxies),将其配置为一个针对每个模型优化的单一配置,从而生成大量廉价的草稿候选。然后,高效的多阶段验证 (https://huggingface.co/papers?q=multi-stage%20verification) 过程识别出最有希望的草稿,并以全质量进行精炼。在三个基准测试和三种模型规模上,Flash-BoN (https://huggingface.co/papers?q=Flash-BoN) 在固定墙钟预算下始终优于所有基线,其增益随着模型规模增大而增长(+8% AUC)。我们进一步表明,我们的策略与现有正交技术(如基于反射的提示优化,+16% AUC)结合良好并改进了它们。这些增益与候选多样性的增加 (https://huggingface.co/papers?q=candidate%20diversity) 相关,这也使得草稿引导选择能够加速 RL 后训练收敛 (https://huggingface.co/papers?q=RL%20post-training%20convergence)。
查看 arXiv 页面 (https://arxiv.org/abs/2607.04461)查看 PDF (https://arxiv.org/pdf/2607.04461)项目页面 (https://flash-bon.github.io/)GitHub3 (https://github.com/flash-bon/flash-bon)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04461)
在您的智能体中获取此论文:
hf papers read 2607\.04461
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2607.04461 即可从本页面链接。
引用此论文的数据集0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2607.04461 即可从本页面链接。
引用此论文的 Space0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2607.04461 即可从本页面链接。
包含此论文的收藏集0
没有包含此论文的收藏集
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接。
相似文章
@simplifyinAI: 研究人员刚刚通过零精度损失将 LLM 的速度提升了 8.5 倍。这项技术被称为 DFlash。它取代了缓慢的自回归…
研究人员提出了 DFlash,这是一种用块扩散模型替代自回归草稿模型的方法,在零精度损失的情况下实现了 8.5 倍的 LLM 推理加速。
DFlash:用于快速投机解码的块扩散
DFlash 是一种新的投机解码框架,它使用轻量级的块扩散模型进行并行标记起草,与自回归方法相比,实现了超过 6 倍的加速。在保持高输出质量的同时,其性能显著优于现有的最先进方法(如 EAGLE-3)。
Nemotron-Labs-Diffusion-Image:推进掩蔽离散扩散实现高分辨率图像合成
本文提出 Nemotron-Labs-Diffusion-Image,一种用于高分辨率文生图的掩蔽离散扩散模型,引入令牌编辑机制和分组交叉熵目标,以改进令牌精炼和训练效率。
迈向光速文本生成:Nemotron-Labs扩散语言模型
NVIDIA推出Nemotron-Labs Diffusion,这是一系列扩散语言模型,可并行生成文本并迭代优化,从而提供更快的生成速度并支持修订之前的令牌。
快速字节潜在Transformer
本文介绍了用于字节级语言模型的BLT扩散(BLT Diffusion)和投机解码技术,在保持生成质量的同时,显著降低了生成延迟和内存带宽成本。