masked-diffusion-models

本文识别了掩码扩散模型中任意顺序预测接口与实际任意顺序推理之间的差距，提出了基于插入和基于潜在空间的掩码扩散方法，以实现代码生成等任务中的真正任意顺序推理。作者训练了用于Python的7B FlexMDM和125M LatentMDM，展示了性能的提升。

介绍TUBE，一种用于离散扩散语言模型的对数似然变分上界，实现更好的评估，并揭示掩码扩散模型仍不如自回归模型。

本文介绍了学习的中继表示（Relay），一种使掩码扩散模型能够在去噪步骤之间传播潜在信息的方法，克服了硬重置问题并改善了性能-延迟权衡。该方法在编码任务上优于标准的监督微调，同时将推理延迟降低高达32%。