mamba-2

NVIDIA TwoTower块扩散语言模型（Nemotron-Labs-TwoTower-30B-A3B-Base）的4位量化，将两个塔压缩至约38 GB，使得在单GPU上推理速度缓慢（约2-4 tok/s）。

本文在复杂序列建模任务上比较了 xLSTM、Mamba-2 和 Gated DeltaNet，发现 xLSTM 因其增强的状态追踪和记忆动态而更优，并在合成长度泛化任务上得到验证。