diffusion-llm

TIDE 是一种用于扩散大型语言模型的无损推理系统，它利用专家激活的时间稳定性来减少 I/O 开销和计算，在单 GPU-CPU 系统上实现高达 1.4-1.5 倍的吞吐量提升。

本文介绍了一种无需训练的框架——并行推测解码（PSD），它通过同时提升空间和时间效率来加速扩散大语言模型的推理，每次前向传递最多可处理5.5×的token数，且质量与贪婪解码相当。

dLLM是一个开源库，可将任何自回归大语言模型转换为扩散大语言模型，实现并行解码和更快的文本生成。

本文探讨了为何在 Mercury 2 等近期技术取得进展的背景下，主流 LLM 提供商仍未大力投资扩散型 LLM。文章分析了阻碍该技术更广泛采用的潜在底层缺陷或硬件瓶颈。

R²-dLLM 引入时空冗余削减技术，在保持生成质量的同时将扩散 LLM 的解码步数最多压缩 75%，直击部署瓶颈。