标签
NeoMME 展示了一系列高效的多模态编码器，采用掩码离散扩散进行预训练，在视觉文档检索和高嵌入压缩方面表现优异，同时在基准测试中超越了更小的模型。
本文介绍了DCGC，一个掩码扩散模型框架，用于通过基于不完美草稿的条件，全局校正大语言模型（LLMs）中的缺陷推理轨迹。它无需真实故障标签即可提高推理基准测试的准确性。
本文利用真实硬件测量，表征了掩码扩散语言模型（dLLMs）的服务行为，识别了与自回归模型的关键区别，并推导出高效推理系统的设计原则。
本文介绍了 Entropy-Valley，一种用于掩码扩散机器翻译的免训练长度选择器，它使用预测熵来提高充分性，表明长度选择比掩蔽顺序更为重要。
本文研究了在掩码扩散语言模型中，无分类器引导（CFG）在何种情况下真正必要。研究表明，对引导的依赖因提示而异，且通常可以在不损失约束满足能力的前提下移除引导，并由此定义了“承诺视界”（commitment horizon）。
The paper introduces Stoicheia, a 405M-parameter character-level masked diffusion encoder for Ancient Greek that unifies textual restoration, parsing, and metrical scansion in a single model, outperforming prior systems like Ithaca on benchmark tasks.
PreDiff-LM 提出了一种混合注意力机制，该机制对提示令牌保持因果注意力，对掩码目标令牌使用双向注意力，从而使得预训练自回归模型能够适应离散掩码扩散语言建模，在困惑度和下游任务上相较于先前的扩散基线取得了改进。
本文提出 CaRE，一种用于掩码扩散语言模型的计算感知评估协议，它标准化了步数、指标和随机性。该协议表明，先前的比较混淆了算法改进与评估伪影，并揭示温度解释了 MAUVE 的大部分方差，而计算匹配的比较则颠覆了已发表的排名。
MotifRole-Diff提出了一种用于分子图上掩码离散扩散的角色感知破坏调度，根据去噪难度和图级扰动影响分配掩码率，在QM9和MOSES基准测试上展示了改进的有效性和降低的FCD。
一篇论文提出了基于轨迹的在策略蒸馏（TOPD），一种教师监督框架，用于将推理能力迁移到掩码扩散语言模型，无需奖励估计，在显著的计算加速下实现了与经过RL训练的模型相当的准确率。
本文提出了一种可学习的控制模块，通过组相对策略优化（GRPO）进行训练，以优化多模态掩码扩散模型中的生成顺序，从而在文本到图像对齐和多模态理解方面取得了改进。
由Volodymyr Kuleshov的康奈尔团队撰写的综合博客文章，解释了如何构建扩散语言模型，涵盖了核心技术如掩码扩散、迭代细化、变长生成、可控生成、快速采样器和RL后训练，并以开源模型如Mercury、Gemma Diffusion和Nemotron Diffusion为例。
本文重新将掩码扩散语言模型解码解释为连续干净状态预测，引入了一个基于流的框架，其中令牌根据置信度连续异步更新，在仅使用25%的解码预算下，达到了LLaDA性能的97%。
本文介绍了掩码语言流模型（MLFMs），该模型将掩码机制引入基于流的语言模型，从而实现连续流进行条件生成，并允许转换预训练的掩码扩散模型。作者提出了一种新型采样器，交替进行连续去噪和离散去掩码，首次证明了基于流的语言模型可以扩展至下游推理和指令遵循任务。
iLLaDA是一个80亿参数的掩码扩散语言模型，具有完全双向注意力机制，从头开始在12万亿token上训练。与LLaDA相比，它在多个方面都有显著改进，并在多个基准测试上与Qwen2.5 7B保持竞争力。模型和代码已开源。
VoidPadding引入了一个[VOID]标记来处理掩码扩散语言模型中的填充，使[EOS]能够仅专注于语义终止。该方法显著提升了推理和编码基准测试的性能，同时减少了解码步骤。
本文提出 TIE，一种面向 Masked Diffusion Language Models 的知识融合框架，通过追踪置信度动态来识别可靠解码轨迹，并在模型间迭代传输部分去噪序列，从而提升推理任务的生成质量。
本文介绍了ADAS，一种无需训练的重排序规则，用于并行掩码扩散解码。它利用注意力对强烈关注不确定位置的token进行折扣，从而在低NFE设置下提升推理和代码任务的性能，且运行时开销极小。
作者从零构建了Joey，一个1.7亿参数的掩码扩散语言模型，在FineWeb-Edu上训练并在DailyDialog上微调，由于容量限制，模型能生成流畅但不连贯的句子。该项目突出了与自回归LLM的差异，以及从构建和调试系统中获得的经验教训。