标签
本文研究序列模型中的长程记忆资源问题：在给定预测记忆律的条件下，证明了指数型与有限状态型记忆在预测风险下的匹配上下界，得出达到误差τ所需的 Θ(log²(1/τ)) 状态复杂度定律，并分析了分数长记忆与非线性递归的临界性条件，以及其在状态空间模型、门控循环模型和注意力模型中的实验验证。
该论文提出 reViT，通过在每个递归深度用一个共享专家库的凸组合来表示 FFN，使单个 Transformer 块以递归方式应用即可在相近推理 FLOPs 下匹配全深度视觉编码器的精度，并支持弹性深度部署与权重量级压缩。
本文提出将复值酉递归网络（uRNNs）作为递归 PPO 架构的即插即用替代方案，利用受量子态测量启发的保相位动力学来应对部分可观测性问题。作者报告称，在 rocksample 和 Craftax 等可通过记忆改进的任务上，其方法的奖励最高可达基线的 3 倍，代码已公开发布。
本文提出DissipNet，一种深度离散时间耗散循环神经网络，通过结构约束显式地强制执行耗散性，以确保耗散系统的稳定建模，优于传统的循环神经网络和物理信息神经网络。
本文提出Cognitive Field Networks (CFNs)，一种用于连续认知动力学的循环Transformer架构，实现了无需显式记忆系统的持续、历史依赖认知，灵感来源于生物启发理论。
本文提出了一种循环正弦架构用于隐式神经表示，通过利用正弦循环产生的谐波线谱富集，以更少的参数和优化步骤实现更高的保真度。
本文提出了神经伴随状态策略，建立了循环强化学习隐藏状态与庞特里亚金极小值原理之间的正式联系，以增强可解释性和鲁棒性。