标签
提出了Mamba辅助闭合（MAC）框架，这是一种基于Mamba的序列模型，用于高维动力系统降阶建模中的非马尔可夫闭合，在Burgers方程和Lorenz '96系统上优于基于GRU和马尔可夫的方法。
本文介绍了通用三重潜在循环模型，该模型将令牌对交互压缩为潜在状态，并提出一种改进精确召回的门控关联检索变体。该混合模型在字节级WikiText-2和分词语言基准上优于Transformer，实现了高达41.9%的关联召回率（对比25%）。
本文提出了 Q-align DT 框架，该框架将 return-to-go 与 Q 值对齐，以提高离线强化学习中的可控性和性能，在 D4RL 基准上取得了优异的结果。
提出了Interdomain Attention，一种通过核方法将状态空间模型集成到注意力中的新方法，实现了固定大小状态的高效长上下文建模，并在参数规模达13亿的语言建模实验中超越了SSM和softmax注意力。
作者提出了SM1，一个Mamba1的变体，d_state=1，使用两个原生PyTorch操作替代选择性扫描，与d_state=16相比内存减少16倍。闭式解消除了状态维度，实现了每个token恒定内存的高效推理。