标签
Stanford HazyResearch 提出 Next-Concept Modeling(NCM),一种既非自回归也非扩散的粗到细并行文本生成方法,据称比强扩散基线快 10–31 倍且训练 tokens 更少;不过实验规模仅到 725M 参数,能否扩展至通用 LLM 规模仍待验证。
本文提出一种轻量级进化启发式调度器,以优化dLLMs中的去噪轨迹,解决如EOS Overflow和Proximal Bias等失败模式,并在推理和规划基准测试中优于基线方法。
本文提出了Informed Masking(IM),一种针对扩散大型语言模型中强化学习的结构感知扰动方法,该方法优先处理下游令牌,提高了在数学和规划基准测试中的性能。
本文提出独立令牌采样(ITS),一个查询高效的框架,用于在Diffusion LLMs中检测训练数据,通过选择弱依赖令牌以减少近似误差,实现了优于最先进基线的性能提升。
本文介绍了Consistency Forcing(CForce),一种针对扩散大语言模型的蒸馏技术,通过将早期阶段的预测与后期阶段对齐来提升并行解码,从而改善速度-质量权衡。
提出了Ripple-Pivot Search,一种无需训练的扩散大语言模型解码方法,主动确定中熵枢轴位置以减少不确定性并加速并行解码,实现4-10倍加速。
SLIM-RL 提出了一种基于风险预算的随机掩码强化学习方法,用于扩散语言模型,避免了轨迹切分,在数学和代码基准测试中以显著更少的训练样本取得了最先进的结果。
一篇新帖子强调了扩散LLM的一个缺点:双向注意力机制导致键值跨步骤漂移,破坏了KV缓存。不过,生成质量对轻微的KV漂移具有鲁棒性,研究重点已放在最大化陈旧KV重用而不导致质量下降上。
WaveFilter提出了一种无需训练的小波引导KV缓存过滤框架,用于扩散大语言模型,通过精确识别关键令牌并构建稀疏缓存来增强长上下文能力,从而提升复杂长上下文任务的性能。
本文介绍了时空并行解码(TSPD)和置信度外推(CE),通过动态判断令牌何时收敛并预测logit趋势,来加速基于扩散的大语言模型的推理,减少不必要的去噪步骤,同时保持输出质量。
本文介绍了 WINO 和 WINO+,这两种方法能够在扩散大语言模型中实现可撤销的并行解码,并提炼高效的降噪轨迹,显著改善质量-速度权衡。
本文介绍了 DARE,这是一种通过复用缓存的键值(KV)和输出激活来减少计算冗余,从而在几乎不损失质量的情况下提高扩散大语言模型推理效率的方法。