tri-mode

本文介绍了Nemotron-Labs-Diffusion，一种三模式语言模型，统一了自回归、扩散与自推测解码，与现有模型相比实现了更优的吞吐量和效率。

NVIDIA发布了Nemotron-Labs-Diffusion，这是首个三模式语言模型系列（3B/8B/14B），通过改变注意力模式在自回归、扩散和自推测解码之间切换，实现高达4倍的实际吞吐量。