diffusion-language-models

标签

Cards List
#diffusion-language-models

PulseCol:周期性刷新的列稀疏注意力机制,用于加速扩散语言模型

arXiv cs.CL ↗ · 2026-05-21 缓存

PulseCol 提出了一种周期性刷新的列稀疏注意力方法,适用于扩散语言模型。该方法在保持模型质量的同时,实现了更高的稀疏度,并且相比 FlashAttention 获得了高达 1.95 倍的端到端加速。

0 人收藏 0 人点赞
#diffusion-language-models

多令牌残差预测

arXiv cs.LG ↗ · 2026-05-20

引入多令牌残差预测(MRP),这是一个用于扩散语言模型的轻量级模块,能够在单次主干前向传播中实现依赖感知的多令牌去噪,实现高达1.42倍的无损加速。

0 人收藏 0 人点赞
#diffusion-language-models

@NVIDIAAI: 大多数语言模型一次只生成一个token。我们刚刚发布了Nemotron-Labs-Diffusion,一个扩散语言模型系列…

X AI KOLs Following ↗ · 2026-05-19 缓存

NVIDIA发布了Nemotron-Labs-Diffusion,这是一个扩散语言模型系列,可以并行生成多个token,从而实现更快的推理和更好的GPU利用率,模型规模从3B到14B,包括视觉语言变体。

0 人收藏 0 人点赞
#diffusion-language-models

DACA-GRPO:扩散语言模型中强化学习的去噪感知信用分配

arXiv cs.LG ↗ · 2026-05-19 缓存

本文指出了现有扩散语言模型强化学习方法中的弱点——缺乏时间信用分配和偏差似然估计——并提出了DACA-GRPO,一种即插即用的增强方案,引入了去噪进度分数和分层掩码似然,在推理、代码生成和受约束生成等多个基准上取得了一致的改进。

0 人收藏 0 人点赞
#diffusion-language-models

扩散语言模型的动态分块

arXiv cs.CL ↗ · 2026-05-18 缓存

本文介绍了扩散语言模型的动态分块(DCDM),该方法使用可微分的Chunking Attention机制,用内容定义的语义块替换块离散扩散中的固定位置块,在高达1.5B参数规模上实现了一致的改进。

0 人收藏 0 人点赞
#diffusion-language-models

@DailyDoseOfDS_: 将任意自回归LLM转换为扩散LM。dLLM是一个Python库,统一了扩散语言模型的训练与评估…

X AI KOLs Timeline ↗ · 2026-05-16 缓存

dLLM是一个开源Python库,能以极少的计算资源将任意自回归语言模型转换为扩散语言模型,统一训练和评估。

0 人收藏 0 人点赞
#diffusion-language-models

超越Mode-Seeking RL:扩散语言模型的轨迹平衡后训练

arXiv cs.LG ↗ · 2026-05-15 缓存

本文识别了扩散语言模型奖励最大化后训练中的一种失败模式,称为“轨迹锁定”,并提出了TraFL,一种轨迹平衡目标,可提高数学和代码基准测试中的多样性和性能。

0 人收藏 0 人点赞
#diffusion-language-models

LEAP:通过前瞻早期收敛令牌检测释放 dLLM 并行潜力

arXiv cs.LG ↗ · 2026-05-13 缓存

本文介绍了 LEAP,这是一种无需训练的方法,旨在通过检测早期收敛令牌来加速扩散语言模型(dLLMs)的推理过程。该方法能在不损失准确性的前提下,将去噪步骤减少 30%。

0 人收藏 0 人点赞
#diffusion-language-models

自蒸馏轨迹感知玻尔兹曼建模:弥合扩散语言模型中的训练-推理差异

arXiv cs.CL ↗ · 2026-05-13 缓存

本文介绍了 TABOM,这是一种用于扩散语言模型的自蒸馏基于轨迹的后训练框架。该框架利用玻尔兹曼建模将训练与推理轨迹对齐,从而减轻训练-推理差异并减少灾难性遗忘。

0 人收藏 0 人点赞
#diffusion-language-models

不要重新训练,只需对齐:通过表征对齐将自回归语言模型适配为扩散语言模型

arXiv cs.LG ↗ · 2026-05-11 缓存

本文介绍了 Repr-Align,一种通过表征对齐将自回归语言模型适配为扩散语言模型的方法,无需从头重新训练表征即可实现高达 4 倍的训练加速。

0 人收藏 0 人点赞
#diffusion-language-models

DiffRetriever:基于扩散语言模型的并行代表性令牌检索

Hugging Face Daily Papers ↗ · 2026-05-08 缓存

本文介绍了 DiffRetriever,这是一种利用扩散语言模型并行生成多个代表性令牌以实现高效信息检索的方法,在速度和准确率上均优于自回归基线方法。

0 人收藏 0 人点赞
#diffusion-language-models

DALM:一种通过三阶段结构化生成的领域代数语言模型

arXiv cs.CL ↗ · 2026-04-20 缓存

DALM提出了一种领域代数语言模型,在由领域格导出的精确结构约束下生成文本,通过将知识组织到具有代数保证的独立领域纤维中来解决幻觉问题。该模型使用三阶段结构化去噪(领域→关系→概念),并使用领域标注的训练数据防止跨领域污染。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈