mamba-alternative

该论文介绍了动量 DeltaNet（MDN），一种线性注意力模型。它利用逐步动量和并行算法，在训练效率和性能上超越了 Mamba2 等模型。