标签
BYOD 提出了一种仅使用 LoRA 的方案,可高效地将自回归语言模型转换为扩散语言模型,在冻结所有基础参数的情况下,仅需在单个 Colab GPU 上运行约 3–4 小时,即可完成 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 的转换。
该论文评估了动态评估(对正在读取的文本执行梯度更新)在 softmax 注意力、混合线性注意力和掩码扩散语言模型中的效果,发现下一词元损失降低了 5–20%,但表明这种适应捕捉的是风格和词汇,而非事实检索能力;与此同时,对模型自身结论进行低秩蒸馏,可达到上下文学习的性能,且不会降低 GSM8K 上的表现。
TraceQuery 是一个轻量级稀疏解码框架,通过全去噪轨迹监督预测需要重新计算的少量位置,为扩散大语言模型(dLLM)推理提供最优的质量-计算权衡。
该论文提出通过学习词汇带和预视预测器来改进扩散语言模型的绿-红水印方法,在WaterBench上使用LLaDA-8B-Instruct实现96%以上的检测率,同时保持与无水印文本相当的生成质量。
DTCA 提出了一种用于扩散语言模型强化学习的词元级信用分配框架,通过置信度提升和熵校准来衡量词元的贡献。在 LLaDA-8B-Instruct 上的实验表明,该框架在数学推理任务中,使 MATH500 和 GSM8K 上的得分分别最高提升了 9.0 分和 5.3 分。
DiffResearch 将自回归骨干替换为扩散语言模型(dLLM)用于多智能体深度研究,在 Deep Research Bench 上实现约 6 倍端到端加速并提升报告质量,还提出 dFast 提前从去噪状态提取子查询,以 Apache-2.0 开源。
该论文研究扩散语言模型智能体之间能否通过压缩的连续隐藏向量进行因果性通信,发现去噪状态的传递能显著影响接收方推理,且单次晚时传递的效果优于多次重复交换。
论文提出SPOT,一个0.62M参数的草稿模型,用于预测扩散语言模型的token提交顺序,实现无损的树式投机解码,并通过耦合噪声匹配验证将目标模型的前向次数最多减少6.8倍,在六个DLM上将吞吐量提升最高达3.2倍。
该论文提出ORL(On-policy Residual Learning)框架,通过熵收缩目标与异步残差捕获等系统级协同设计,使扩散语言模型(DLM)在相近质量下将吞吐量提升至约6.9×,在单请求解码速度上超越自回归模型的推测解码方案。
提出无需训练的解码算法“领先一块”(One Block Ahead,OBA),在块扩散语言模型中并发对当前块与下一块去噪,并传递采样器状态,在 DiffusionGemma 上将每次前向传递处理的词元数提升 42.3%、单请求吞吐量提升 16.3%。
一篇论文提出了一种面向扩散语言模型的无似然后训练流程,将按结果路由的蒸馏与无需概率比、以组为中心的 REINFORCE 及 KL 锚定相结合,相较于仅在 18.6% 的提示上成功的教师模型,在工具调用方面取得了显著提升。
Yohei Nakajima 转发介绍下一概念建模(NCM):一种快速、并行、由粗到细的文本生成新范式,在摘要等下游任务上,相比同规模的扩散语言模型,最快可实现 31 倍加速。
一篇提出通过重新思考推理步骤,采用步骤感知解码来缓解多模态扩散语言模型(MDLMs)幻觉问题的论文。
该论文提出了预测状态流(Predictive-State Flows,PSF),这是一种连续扩散语言模型设计,其中整流流先验生成块级预测状态,块因果解码器并行生成词元,从而显著减少扩散状态和串行深度,同时相较于 ELF-B 等模型提升了效率和生成质量。
本文提出了 Seq-Drifting 框架,通过对连续词元表示序列应用漂移,在单次前向传播中学习从高斯噪声到文本的映射,在 LM1B 上实现了 36.01 的生成困惑度,并相较于少步和多步扩散语言模型获得了显著的速度提升。
下一概念建模(NCM)提出一种由粗到细的两阶段框架,利用多尺度残差向量量化变分自编码器(VQ-VAE)将文本编码为层级离散码,并逐层并行生成,在 LM1B、OpenWebText 与 XSum 上实现 10-31 倍加速,同时达到或超越最强扩散语言模型基线的性能,并在数独推理任务上显著优于自回归与扩散基线。
论文提出 CoDR(Confidence-Drift Remasking),一种免训练、与采样器无关的后处理精炼方法,通过检测已提交 token 的置信度漂移并对其进行重遮蔽与重新生成,从而在掩码扩散语言模型的推理与编码任务上以较少的前向传播次数提升准确率。
SpecFold 论文提出一种算法-系统协同设计,通过识别并折叠多分支投机验证中的计算冗余(token级残差门控与折叠注意力/FFN复用),在扩散大语言模型上实现最高1.64x吞吐提升(相比Spiffy),且保持任务性能相当。
NVIDIA 推出 Sigma,这是首个大规模(3B/8B)连续扩散语言模型。它通过可调控的低维 ODE/SDE 轨迹对被高斯噪声破坏的词元嵌入进行去噪,在数学和编程基准测试上实现了与离散扩散模型和自回归模型相当的性能,同时支持在嵌入空间中进行引导以实现质量与多样性的权衡,并能实现高效的少步蒸馏。
SoloQ提出一种免校准的量化框架,将权重和激活映射到归一化旋转基底,实现数据无关的4比特量化,在扩散语言模型上保持精度并最多降低2.61倍峰值内存、加速2.24倍推理。