diffusion-large-language-models

LaCache 提出了一种针对扩散式LLM的无训练加速框架，利用无损缓存和精度自适应推理消除去噪步骤中的冗余计算，在保持任务精度的同时实现了高达40.2倍的端到端加速。

本文指出了扩散LLM解码方法中的评估不一致性，表明提示模板的选择会显著影响排名，并提出了可靠评估的实用指南。

本文提出了FAIR-Calib，一种用于扩散大语言模型的两阶段训练后量化框架，解决了迭代精炼过程中令牌提交的不稳定性问题。在低比特量化下，它在LLaDA和Dream模型上取得了最先进的结果。

本文提出了dMoE，一种用于扩散大语言模型的块级混合专家框架，该框架将词元级专家分布聚合成块级路由，在保持性能的同时减少激活的专家数量和内存使用。