mamba

本文质疑了诸如 Mamba 等模型中的预测瓶颈能够恢复因果结构的说法，并通过一个新的基准测试证明，其性能提升主要归因于混杂因素和鲁棒性伪影，而非真正的因果发现。

介绍了 triattention v3，一种新的注意力机制，能够在长上下文推理中实现安全驱逐且不丢失召回，并在混合 mamba+attention 模型上演示了高达 256k 令牌的效果。