llada

LLaDA2.2背后的实验室发布了一个扩散模型，并将其与自家的自回归模型进行基准测试，结果显示扩散模型在通用知识和编程方面落后，但在速度和智能体任务上胜出，提供了一个清晰的权衡数据点。

本文重新将掩码扩散语言模型解码解释为连续干净状态预测，引入了一个基于流的框架，其中令牌根据置信度连续异步更新，在仅使用25%的解码预算下，达到了LLaDA性能的97%。