hybrid-mamba-transformer

本文提出了Nemotron-TwoTower，一种扩散语言模型，通过冻结的自回归塔和可训练的扩散去噪器解耦上下文表示与去噪过程，以2.42倍吞吐量达到了基线质量98.7%的水平。