two-tower

NVIDIA推出了TwoTower，这是一种在扩散语言模型中解耦上下文表示和去噪的方法，在30B MoE主干上实现了2.42倍的吞吐量，同时保留了98.7%的自回归质量。

NVIDIA TwoTower块扩散语言模型（Nemotron-Labs-TwoTower-30B-A3B-Base）的4位量化，将两个塔压缩至约38 GB，使得在单GPU上推理速度缓慢（约2-4 tok/s）。

本文提出了Nemotron-TwoTower，一种扩散语言模型，通过冻结的自回归塔和可训练的扩散去噪器解耦上下文表示与去噪过程，以2.42倍吞吐量达到了基线质量98.7%的水平。

NVIDIA 发布了 Nemotron-TwoTower-30B-A3B-Base-BF16，这是一种基于扩散的语言模型，采用逐块自回归扩散方法，通过对令牌块进行迭代去噪来生成文本，实现了自回归基线 2.42 倍的生成吞吐量，同时保留了基准测试质量 98.7% 的水平。