标签
提出一种统一粒子滤波LSTM框架，用于数据驱动过程模拟，该框架维护加权递归状态假设以处理事件日志中的部分观测，并在重现路由和持续时间行为方面优于基线方法。
本文介绍了一种审计注意力、状态空间和混合序列模型中前缀不变性的方法，表明注意力掩码无法确保因果性，在多个模型检查点中检测到192个故障。
介绍p-Spin Glass Network——一种全新的序列模型架构，它实现了内存高效、样本高效以及单批次稳定性，从而支持持续学习与边缘AI应用。
本文评估了GRU、LSTM和Transformer编码器模型在基于车辆远程信息处理数据对2级自动驾驶系统进行分类时的性能，并引入了一个模拟真实数据损坏的鲁棒性评估框架。
本文介绍了一个用于以太坊参与者分类的泄漏感知评估框架，将XGBoost等基于树的模型与序列深度学习模型（Transformer、BiLSTM）进行比较。作者发现，在减少泄漏的条件下，XGBoost优于序列模型，同时具有更低的延迟和能耗。
Black-Mamba提出了一种测试时自适应预测架构，利用累积惊异度仅在检测到分布漂移证据时选择性更新记忆，从而在非平稳时间序列上实现高效自适应。
探讨了Transformer推理中KV缓存日益增长的内存瓶颈，解释了为何像Mamba和RWKV这样的固定大小内存的替代架构重新获得关注。
关于矩阵循环单元（MRU）的更新，这是一种线性时间复杂度的注意力机制替代方案。作者探索了稳定训练的方法，发现正交矩阵表现不佳，而LDU分解效果最佳，并表明MRU在TinyStories等较大数据集上表现不如Transformer。
本文介绍了RecurrReason，这是一个难度可控的基准测试，包含四个符号逻辑谜题，用于评估序列模型中的多步推理能力。在T5和GPT-2上的微调实验表明，架构比规模更能决定成功，且预训练迁移依赖于局部转移结构。
本文介绍了一种残差化与置换诊断方法，用于从基因组基础模型的调控重要性分数中分离由可预测性驱动和由调控驱动的方差，并应用于胶质瘤相关位点的暗基因组元件。
SHARP 提出了一种受生物学启发的框架，将记忆积累与模式识别分离，在离线睡眠阶段使用加速重放来学习流式环境中的长程非平稳时序模式。它在 text8 和 PG-19 上提升了上下文保持能力，同时保持了计算效率。
本文形式化了下个token预测中的充分性差距，证明即使理想的序列模型在文本前缀不足以统计潜在情况时，也可能变得过于自信。它提出了一种外部观察者机制来减少但无法消除这一差距。
本文介绍了条件属性变换器（Conditional Attribute Transformers），一种联合估计条件概率和属性值的方法，能够在单次前向传播中实现信用分配、反事实分析和可引导生成。
本文介绍了 Toeplitz MLP Mixer（TMM），这是一种新型架构，它用 Toeplitz 矩阵乘法取代注意力机制，从而在保持高信息保留率和训练效率的同时实现更低的计算复杂度。