标签
SHiPPO 通过将多项式投影系数传输到移动通道框架中扩展了 HiPPO，使选择性状态空间模型能够恢复对顺序敏感的记忆信号。本文提供了支持其传输记忆先验的理论基础和诊断方法。
本文介绍了一种用于分析循环神经网络隐藏状态的有限滞后算子几何，推导了源心传输张量和反对称坐标环流，以捕获超出静态快照的定向流和确定性循环运动。
本文介绍了StateFlow，一种循环预测框架，它通过使用双状态循环主干和基于块的解码器，将变异性感知递归神经网络（VARNN）扩展到长期多变量时间序列预测，在强基线方法中取得了竞争性性能。
这项工作提出对mLSTM循环模型的记忆矩阵进行正交化，以提高其在噪声关联回忆任务上的性能。实验表明，与基线mLSTM相比，使用牛顿-舒尔茨迭代进行只读正交化可提升验证准确率。
关于矩阵循环单元（MRU）的更新，这是一种线性时间复杂度的注意力机制替代方案。作者探索了稳定训练的方法，发现正交矩阵表现不佳，而LDU分解效果最佳，并表明MRU在TinyStories等较大数据集上表现不如Transformer。
本文通过使用有序实Schur坐标来识别保持任务性能的结构消融，研究循环神经网络中的功能冗余，发现任务受限对称性在不同任务和训练方案之间存在差异。
本文研究了记忆高效元强化学习架构在对抗性航天器接近操作中用于自适应安全关键控制的性能，发现与LSTM和GRU相比，使用PPO的状态空间模型（如Mamba）在任务完成度、安全性和燃料节约方面表现更优。
本文探究如何将动作信息纳入强化学习的循环神经网络架构中，考察了设计选择，并在多个示例域上进行了实证评估。
本文发展了动力模型分叉附近梯度下降的局部理论，表明状态空间神经正切核坍缩为秩一算子，主导学习动力学，使优化有效低维且可从规范形式预测。
本文研究了用于动力系统重构中训练循环神经网络的时间并行算法，提出了GTF-DEER，它能够在长序列上实现稳定学习，并提高重构精度。
本论文介绍了Olmo Hybrid，一个包含70亿参数的语言模型，结合了注意力机制和Gated DeltaNet递归层，相比纯Transformer架构展现出理论和实证优势。该工作表明混合模型具有更强的表达能力，在预训练中扩展效率更高，且性能优于可比的Transformer基线。