@DivyanshT91162: 自回归大语言模型可能正在被取代 有人构建了dLLM——一个开源库,可以将任何自…
摘要
dLLM是一个开源库,可将任何自回归大语言模型转换为扩散大语言模型,实现并行解码和更快的文本生成。
自回归大语言模型可能已经在被取代
有人构建了dLLM——一个开源库,可以用极少计算量将任何自回归模型转变为扩散大语言模型。
没错……甚至包括LLaMA、Qwen和GPT风格的模型。
扩散大语言模型不是逐个生成token,而是像文本版的Stable Diffusion那样并行优化输出。
这意味着:
→ 更快的生成
→ 并行解码
→ 更好的编辑与填充
→ 完全不同的缩放行为
最疯狂的部分是什么?
100%开源。
查看缓存全文
缓存时间: 2026/05/17 03:27
自回归大语言模型可能已经被取代了
有人构建了 dLLM —— 一个开源库,能以极低计算量将任意自回归模型转化为扩散大语言模型。
没错……甚至包括 LLaMA、Qwen 和 GPT 风格的模型。
不同于逐个 token 生成文本,扩散大语言模型像 Stable Diffusion 处理图像那样,并行精化输出。
这意味着:
→ 更快生成 → 并行解码 → 更好的编辑与填充 → 完全不同的缩放行为
最疯狂的部分?
100% 开源。
相似文章
@DailyDoseOfDS_: 将任意自回归LLM转换为扩散LM。dLLM是一个Python库,统一了扩散语言模型的训练与评估…
dLLM是一个开源Python库,能以极少的计算资源将任意自回归语言模型转换为扩散语言模型,统一训练和评估。
$R^2$-dLLM:通过时空冗余削减加速扩散大语言模型
R²-dLLM 引入时空冗余削减技术,在保持生成质量的同时将扩散 LLM 的解码步数最多压缩 75%,直击部署瓶颈。
@simplifyinAI: 研究人员刚刚通过零精度损失将 LLM 的速度提升了 8.5 倍。这项技术被称为 DFlash。它取代了缓慢的自回归…
研究人员提出了 DFlash,这是一种用块扩散模型替代自回归草稿模型的方法,在零精度损失的情况下实现了 8.5 倍的 LLM 推理加速。
Dynamic-dLLM:动态缓存预算与自适应并行解码,实现扩散大语言模型的无训练加速
本文提出 Dynamic-dLLM,一种无训练框架,通过动态分配缓存更新预算和校准解码阈值来加速扩散大语言模型,在 LLaDA 和 Dream 等模型上实现超过 3 倍的加速,同时保持性能。
@_avichawla: 研究人员发现了一种让大语言模型(LLM)提速 8.5 倍的方法!(且不影响准确度)投机解码相当有效……
研究人员提出了 DFlash 技术,这是一种利用块扩散模型(block diffusion models)进行投机解码的方法,可在不损失准确度的情况下,将大语言模型推理速度提升高达 8.5 倍。该技术已集成到 vLLM 和 SGLang 等主要框架中。