@alec_helbling: 扩散语言模型并行生成多个令牌。然而，迭代解掩码反复更新令牌状态，限制了…

X AI KOLs Following 2026/09/11 13:04 新闻

diffusion-lms parallel-generation kv-cache block-diffusion efficient-caching language-models

摘要

该文章描述了扩散语言模型由于迭代解掩码而面临KV缓存重用限制，并引入了Block Diffusion作为解决方案，该方案通过左到右解码块来实现高效缓存，同时并行生成。

扩散语言模型并行生成多个令牌。然而，迭代解掩码反复更新令牌状态，限制了KV缓存重用。 Block Diffusion通过左到右解码块来恢复高效缓存，同时并行生成每个块。https://t.co/JXODydX5ng

查看原文

查看缓存全文

缓存时间: 2026/09/11 14:41

扩散语言模型能够并行生成多个词元。

然而迭代式去掩码操作会反复更新词元状态，这限制了键值缓存的重复利用。

块扩散技术通过逐块从左向右解码的方式恢复了高效缓存机制，同时保持每个块的并行生成特性。https://t.co/JXODydX5ng

相似文章

Hugging Face Daily Papers

本文提出多块扩散语言模型（MBD-LMs），将单块扩散扩展为并发多块解码，并采用优化训练策略如多块教师强制（Multi-block Teacher Forcing）和优化的块缓冲区解码算法。实验表明，每次前向传递的令牌数增加，基准测试准确率提升。

arXiv cs.CL

本文介绍了 BitLM，一种利用位级连续扩散并行生成多个 Token 的语言模型，旨在克服传统自回归生成的顺序瓶颈，同时保留因果结构。

X AI KOLs Timeline

由Volodymyr Kuleshov的康奈尔团队撰写的综合博客文章，解释了如何构建扩散语言模型，涵盖了核心技术如掩码扩散、迭代细化、变长生成、可控生成、快速采样器和RL后训练，并以开源模型如Mercury、Gemma Diffusion和Nemotron Diffusion为例。

Hugging Face Daily Papers

ALoDLM 为扩散语言模型引入了 token 自适应的潜在循环机制，将额外计算分配给难以预测的 token，并通过条件负 ELBO 联合学习预测与计算分配，在 1.7B 和 8B 参数规模下、于十一项基准测试中均优于其他 DLM 和自回归基线模型。

X AI KOLs Timeline

一篇新帖子强调了扩散LLM的一个缺点：双向注意力机制导致键值跨步骤漂移，破坏了KV缓存。不过，生成质量对轻微的KV漂移具有鲁棒性，研究重点已放在最大化陈旧KV重用而不导致质量下降上。