扩散模型与自回归模型之争终于有了一个干净的数据点，而它所指向的结论远比炒作中的更窄

对于大约一年的时间里，扩散模型与自回归模型的争论大多基于直觉。一派认为下一个标记预测是死胡同，并行去噪才是未来；另一派则认为扩散模型在真实任务中从未奏效。几乎没有人将两者在同一个实验室的相同评估中进行对比。背后的实验室刚刚做到了这一点，他们仅几小时前发布了一个模型，而诚实之处在于他们对比的对象。他们将扩散模型（名为LLaDA2.2）与自家规模相似的自回归模型进行了基准测试。所以这不是供应商挑选一个弱小的外部竞争对手。而是一个实验室对自家两种押注进行相互评分。结果因其不讨喜而更有用。在通用知识和大多数编程评估中，扩散模型落后于其自回归兄弟。它仅在少数交互式智能体基准测试中领先，在tau2 bench上以80.33对76.36获胜，在MCP Atlas上以46.21对41.12获胜，这些是多轮工具调用风格的任务。SWE bench的差距看起来比实际更糟，因为两次运行使用了不同的脚手架，所以我不会字面理解这个数据。它明显获胜的地方是速度。在BF16下开启推测解码，平均解码吞吐量约是自回归兄弟的1.6倍，在智能体工作负载上可达约2.3倍。它通过在一个块内保留、替换、删除和插入标记来实现这一点，而不是一次性提交每个标记且永不回头。权重在Apache 2.0下开放，这是这一切可验证的唯一原因，但这是一个205.8 GB、100B级别的下载，没有llama.cpp支持，仅有一个“即将推出”的服务故事，所以几乎没有人能在本地运行它，并且根据作者自述，结构化输出弱于自回归基线。因此，我不认为这是扩散模型的胜利。它实际支持的更窄的主张是，在每次都需要支付解码延迟的智能体循环中，扩散骨干可以明显更快地达到相当的质量水平。这是一个细分领域，而不是范式转变，而范式转变从来都不是诚实的问题。我们最终拥有的是一种衡量权衡的方法，而不是争论它。