diffusion-llms

标签

Cards List
#diffusion-llms

@akshay_pachaar:Stanford 重新发明了文本生成。(既不是自回归,也不是扩散)自回归 LLM 每次生成一个……

X AI KOLs Timeline ↗ · 2026-10-16 缓存

Stanford HazyResearch 提出 Next-Concept Modeling(NCM),一种既非自回归也非扩散的粗到细并行文本生成方法,据称比强扩散基线快 10–31 倍且训练 tokens 更少;不过实验规模仅到 725M 参数,能否扩展至通用 LLM 规模仍待验证。

0 人收藏 0 人点赞
#diffusion-llms

优化dLLM中的去噪轨迹:一种轻量级进化启发式方法

arXiv cs.CL ↗ · 2026-09-23 缓存

本文提出一种轻量级进化启发式调度器,以优化dLLMs中的去噪轨迹,解决如EOS Overflow和Proximal Bias等失败模式,并在推理和规划基准测试中优于基线方法。

0 人收藏 0 人点赞
#diffusion-llms

Informed Masking:扩散大型语言模型中强化学习的结构感知扰动

arXiv cs.CL ↗ · 2026-09-23 缓存

本文提出了Informed Masking(IM),一种针对扩散大型语言模型中强化学习的结构感知扰动方法,该方法优先处理下游令牌,提高了在数学和规划基准测试中的性能。

0 人收藏 0 人点赞
#diffusion-llms

弱连接,强信号:通过独立令牌采样高效检测Diffusion LLMs中的训练数据

arXiv cs.LG ↗ · 2026-09-22 缓存

本文提出独立令牌采样(ITS),一个查询高效的框架,用于在Diffusion LLMs中检测训练数据,通过选择弱依赖令牌以减少近似误差,实现了优于最先进基线的性能提升。

0 人收藏 0 人点赞
#diffusion-llms

CForce:通过一致性强制提升dLLMs的并行解码

arXiv cs.CL ↗ · 2026-08-17 缓存

本文介绍了Consistency Forcing(CForce),一种针对扩散大语言模型的蒸馏技术,通过将早期阶段的预测与后期阶段对齐来提升并行解码,从而改善速度-质量权衡。

0 人收藏 0 人点赞
#diffusion-llms

Ripple-Pivot Search:扩散大语言模型的主动并行解码

arXiv cs.CL ↗ · 2026-08-13 缓存

提出了Ripple-Pivot Search,一种无需训练的扩散大语言模型解码方法,主动确定中熵枢轴位置以减少不确定性并加速并行解码,实现4-10倍加速。

0 人收藏 0 人点赞
#diffusion-llms

SLIM-RL: 基于风险预算的随机掩码强化学习用于扩散语言模型,无需轨迹切分

arXiv cs.CL ↗ · 2026-07-02 缓存

SLIM-RL 提出了一种基于风险预算的随机掩码强化学习方法,用于扩散语言模型,避免了轨迹切分,在数学和代码基准测试中以显著更少的训练样本取得了最先进的结果。

0 人收藏 0 人点赞
#diffusion-llms

@nathanrs: 新帖子!扩散LLM的一个缺点是双向注意力机制导致键值跨步骤漂移,破…

X AI KOLs Timeline ↗ · 2026-06-28 缓存

一篇新帖子强调了扩散LLM的一个缺点:双向注意力机制导致键值跨步骤漂移,破坏了KV缓存。不过,生成质量对轻微的KV漂移具有鲁棒性,研究重点已放在最大化陈旧KV重用而不导致质量下降上。

0 人收藏 0 人点赞
#diffusion-llms

WaveFilter: 通过小波引导的KV缓存过滤增强扩散LLMs的长上下文能力

arXiv cs.CL ↗ · 2026-06-02 缓存

WaveFilter提出了一种无需训练的小波引导KV缓存过滤框架,用于扩散大语言模型,通过精确识别关键令牌并构建稀疏缓存来增强长上下文能力,从而提升复杂长上下文任务的性能。

0 人收藏 0 人点赞
#diffusion-llms

基于时空并行解码与置信度外推的高效扩散LLMs

arXiv cs.CL ↗ · 2026-06-01 缓存

本文介绍了时空并行解码(TSPD)和置信度外推(CE),通过动态判断令牌何时收敛并预测logit趋势,来加速基于扩散的大语言模型的推理,减少不必要的去噪步骤,同时保持输出质量。

0 人收藏 0 人点赞
#diffusion-llms

展开与回滚:扩散大语言模型是自身的效率教师

arXiv cs.CL ↗ · 2026-05-19 缓存

本文介绍了 WINO 和 WINO+,这两种方法能够在扩散大语言模型中实现可撤销的并行解码,并提炼高效的降噪轨迹,显著改善质量-速度权衡。

0 人收藏 0 人点赞
#diffusion-llms

DARE:通过复用扩散语言模型激活实现高效推理

arXiv cs.LG ↗ · 2026-05-12 缓存

本文介绍了 DARE,这是一种通过复用缓存的键值(KV)和输出激活来减少计算冗余,从而在几乎不损失质量的情况下提高扩散大语言模型推理效率的方法。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈