Set Diffusion：在自回归与扩散之间插值令牌顺序以实现快速灵活的解码

arXiv cs.LG 论文
diffusion autoregressive language-model token-ordering decoding inference

摘要

Set Diffusion 引入了一类新的语言模型，通过在灵活位置、灵活长度的令牌集合上分解令牌生成，在自回归模型和扩散模型之间进行插值。这使得解码速度更快，令牌排序更灵活，在推理、摘要和无条件生成任务上实现了更好的速度-质量权衡。

arXiv:2607.01775v1 公告类型：新 摘要：离散扩散模型在质量上相对于自回归（AR）模型稳步提升。然而，这些模型通常受限于固定长度生成，且不支持键值（KV）缓存。Block diffusion 通过从左到右生成令牌块部分地弥合了扩散与 AR 之间的差距，但其固定大小的顺序块限制了解码的灵活性和并行性。在此，我们提出了一类新的语言模型——set diffusion，它由 (i) 在灵活位置、灵活长度令牌集合上分解的似然参数化，以及 (ii) 支持在每次推理步骤后更新 KV 缓存的集合因果扩散架构组成。通过在令牌集合（而非固定大小的块）上进行分解，令牌可以在任意排序的集合（包括滑动窗口集合）中解码，从而实现更快的推理并支持任意顺序的解码。与先前的扩散语言模型相比，Set Diffusion 在数学推理、摘要和无条件生成任务上实现了更好的速度-质量权衡，同时提供了比 Block Diffusion 更强的填充性能。我们提供了代码、模型权重以及项目页面上的博客文章：https://m-arriola.com/setdlms/
查看原文
查看缓存全文

缓存时间: 2026/07/03 05:43 

# Set Diffusion: 在自回归与扩散之间插值令牌排序以实现快速灵活的生成
来源: https://arxiv.org/abs/2607.01775
查看 PDF (https://arxiv.org/pdf/2607.01775)

> 摘要:离散扩散模型在质量上相对于自回归（AR）模型已稳步提升。然而，这些模型通常被限制为固定长度的生成，且不支持键值（KV）缓存。块扩散通过从左到右生成令牌块部分弥合了扩散与自回归之间的差距，但其固定大小的顺序块限制了解码的灵活性和并行性。在此，我们提出了一类新的语言模型——集合扩散（set diffusion），它由（i）一种在灵活位置、灵活长度的令牌集合上分解的似然参数化，以及（ii）一种支持每次推理步骤后更新KV缓存的集合因果扩散架构组成。通过在令牌集合而非固定大小块上进行分解，令牌可以在任意排序的集合中解码，包括滑动窗口集合，从而加快推理速度并支持任意顺序解码。在数学推理、摘要生成和无条件生成任务上，集合扩散相较于先前的扩散语言模型实现了更好的速度-质量权衡，同时提供了比块扩散更强的填充性能。我们在项目页面上提供了代码、模型权重及博客文章：https://m-arriola.com/setdlms/

## 提交历史

来自：Marianne Arriola [查看电子邮件] **[v1]** 2026年7月2日（星期四）06:45:43 UTC（552 KB）

相似文章

令牌时间连续扩散用于语言建模

Hugging Face Daily Papers

本文介绍了令牌时间连续扩散（Token Time Continuous Diffusion，简称TTCD），这是一种新型扩散语言模型，它在连续空间中运行，采用每个令牌的时间步，在条件生成和数独求解方面以高加速比优于离散模型。

# 支持性令牌揭示：用于快速扩散语言模型解码

arXiv cs.CL

本文提出了 AXON，一种无需训练的模块，通过智能选择"锚点"（anchor）token 优先揭示，并利用注意力、不确定性和置信度信号来辅助后续去噪步骤，从而改善离散扩散语言模型解码的质量-延迟权衡。在推理和代码生成基准测试上的实验表明，AXON 在保持或提升准确率的同时减少了函数评估次数。