标签
本文提出了Samba，一种用于音频-视觉导航的混合状态空间架构。它使用Mamba状态编码器（M-SE）替代GRU进行时间聚合，并构建了音频Mamba编码器（AME）以更好地捕捉频谱图中的全局时频依赖关系。在Matterport3D数据集上，导航成功率（SR）相比现有最先进模型提升了11.3%。
本文提出TSSM，一种用于全球站点天气预报的三轴状态空间模型，该模型融合了按周期对齐的历史数据，以改进长时预测和极端事件预测。在大规模Weather-5K数据集上取得了最先进性能，并在观测缺失条件下展现出强大的鲁棒性。
本文提出了一种基于可控性-可观测性的框架，通过减少隐藏状态冗余来压缩深度神经网络，在MNIST和CIFAR-10数据集上实现了显著压缩，且精度损失极小。
本文评估了Mamba状态空间模型在七种南非语言上的ASR性能，发现其在资源更少的情况下达到了与Conformer相当的准确率，并探讨了多语训练策略和低资源场景。
本文提出了一种基于贝叶斯滤波的方法，通过使用神经网络参数化动能和势能，并通过最大似然估计联合估计状态和参数，从部分且含噪声的测量中学习拉格朗日动力学。
CogSENet提出了一种受鹰眼启发的盲图像去模糊框架，利用语义感知模块和频率分解提升恢复质量与结构保真度，优于现有最先进方法。
一位知乎答主半年前的预测——下一个Transformer将吸收循环、递归状态、稀疏路由和潜在推理——随着Loop Engineering的推进，正变得越来越有现实意义。本文探讨了未来的Transformer架构如何演变为混合模型：将线性复杂度的层用于背景上下文，注意力机制用于精确推理，再加上更细粒度的稀疏性和原生的System 2推理。
本文提出了DTVEM-RE，这是差分时变效应模型的层次随机效应扩展，通过Stan中的哈密顿蒙特卡洛方法估计个体特异性的多滞后系数，解决了原始DTVEM假设单一群体水平滞后结构的局限性。模拟和实证结果表明，该方法能够恢复人际方差，并在层次和非层次基线方法上有所改进。
本文提出了一种基于查询的跨模态投影器，通过交叉注意力机制对视觉标记进行压缩，以提升基于 Mamba 的多模态大语言模型的性能。该方法在视觉语言基准测试中同时提高了模型性能和吞吐量，并消除了手动设计二维扫描顺序的需求。
LDARNet 是一个拥有1.2亿参数的层次化基因组基础模型，引入了可学习的自适应分词机制（灵感来源于 H-Net 的动态分块），用于DNA序列的掩码语言建模。该模型在5项组蛋白修饰任务上取得了最先进的结果，并在多项基因组基准测试中超越了参数量多达其20倍的模型。其学习到的分词边界与启动子motif和剪接位点等生物学特征高度吻合。
EnergyMamba提出了一种新颖的时空框架，将图增强选择性状态空间模型与自适应共形分位数回归相结合，实现准确可靠的能源消耗预测并给出不确定性估计，在佛罗里达、纽约和加利福尼亚的真实数据集上取得了性能提升。
本文提出了一种针对Transformer模型的类睡眠巩固机制，该机制利用快速权重和递归传递来改进长上下文处理，同时保持推理速度。
MVCHead 是一种新颖的方法，仅从单张二维图像生成三维高斯头部头像，无需多视角数据，利用分层状态空间模型和跨视角一致性约束。
本文提出物理信息驱动的多尺度Mamba（PIMSM），这是一种状态空间架构，它将模型记忆与物理时间尺度对齐，以提升在科学时间序列分布偏移下的鲁棒性，并在fMRI和天气预报任务上展示了改进。
研究人员介绍了Raven，这是一种新颖的序列模型，它将状态空间模型的效率与受滑动窗口注意力启发的选择性槽更新机制相结合，以改进长上下文检索。该方法为现有的线性时间模型提供了一种更严谨的替代方案。