masked-diffusion

一篇论文提出了基于轨迹的在策略蒸馏（TOPD），一种教师监督框架，用于将推理能力迁移到掩码扩散语言模型，无需奖励估计，在显著的计算加速下实现了与经过RL训练的模型相当的准确率。

本文提出了一种可学习的控制模块，通过组相对策略优化（GRPO）进行训练，以优化多模态掩码扩散模型中的生成顺序，从而在文本到图像对齐和多模态理解方面取得了改进。

由Volodymyr Kuleshov的康奈尔团队撰写的综合博客文章，解释了如何构建扩散语言模型，涵盖了核心技术如掩码扩散、迭代细化、变长生成、可控生成、快速采样器和RL后训练，并以开源模型如Mercury、Gemma Diffusion和Nemotron Diffusion为例。

本文重新将掩码扩散语言模型解码解释为连续干净状态预测，引入了一个基于流的框架，其中令牌根据置信度连续异步更新，在仅使用25%的解码预算下，达到了LLaDA性能的97%。

本文介绍了掩码语言流模型（MLFMs），该模型将掩码机制引入基于流的语言模型，从而实现连续流进行条件生成，并允许转换预训练的掩码扩散模型。作者提出了一种新型采样器，交替进行连续去噪和离散去掩码，首次证明了基于流的语言模型可以扩展至下游推理和指令遵循任务。

iLLaDA是一个80亿参数的掩码扩散语言模型，具有完全双向注意力机制，从头开始在12万亿token上训练。与LLaDA相比，它在多个方面都有显著改进，并在多个基准测试上与Qwen2.5 7B保持竞争力。模型和代码已开源。

VoidPadding引入了一个[VOID]标记来处理掩码扩散语言模型中的填充，使[EOS]能够仅专注于语义终止。该方法显著提升了推理和编码基准测试的性能，同时减少了解码步骤。

本文提出 TIE，一种面向 Masked Diffusion Language Models 的知识融合框架，通过追踪置信度动态来识别可靠解码轨迹，并在模型间迭代传输部分去噪序列，从而提升推理任务的生成质量。

本文介绍了ADAS，一种无需训练的重排序规则，用于并行掩码扩散解码。它利用注意力对强烈关注不确定位置的token进行折扣，从而在低NFE设置下提升推理和代码任务的性能，且运行时开销极小。

作者从零构建了Joey，一个1.7亿参数的掩码扩散语言模型，在FineWeb-Edu上训练并在DailyDialog上微调，由于容量限制，模型能生成流畅但不连贯的句子。该项目突出了与自回归LLM的差异，以及从构建和调试系统中获得的经验教训。

提出使用轻量级策略网络学习掩码扩散模型中的去掩码顺序，通过加权损失在组合任务和蛋白质设计上优于启发式方法。

介绍了DLLM-JEPA，这是一种针对掩码扩散语言模型的JEPA公式，通过扩散噪声调度从单个输入构建两个视图，相比LLM-JEPA减少了33%的训练FLOPs，并在GSM8K等任务上提升了微调性能。

本文识别了掩码扩散语言模型中的一种失效模式：基于置信度的解码在复杂推理任务中导致高置信度错误，并表明置信对齐训练会加剧此问题，而随机掩码则能保持推理性能。

本文提出将 Masked Diffusion Language Models (MDLMs) 作为基于文本的世界模型用于智能体强化学习，表明其任意顺序去噪目标避免了前缀模式崩溃，并且相比自回归基线模型带来了更强的性能。

AnchorDiff提出了一种拓扑感知的掩码扩散框架用于放射学报告生成，整合了基于RadGraph的临床锚点和基于置信度的重写，在MIMIC-CXR和MIMIC-RG4基准测试上取得了最先进的结果。

提出离散随机定位（Discrete Stochastic Localization, DSL），一种用于非自回归文本生成的连续状态扩散框架，采用单位球面令牌嵌入和时步不变的降噪器，在OpenWebText上实现了比掩码离散扩散模型更好的分布忠实性。

提出 Token-to-Mask（T2M）重掩码，在掩码扩散 LM 中通过将可疑 token 重置为掩码状态而非直接覆盖来修正生成错误，在 CMATH 上最高提升 5.92 准确率，无需额外训练或参数。

CRoCoDiL提出了一种用于语言的连续且鲁棒的条件扩散方法，将掩码扩散模型转移到连续语义空间中，相比LLaDA等离散方法，生成质量更优，采样速度快10倍。