标签
HuggingFaceBio 发布开源 14.8B DNA 理解与生成模型 Carbon-X，基于 Qwen3-14B 微调，融合 DNA 序列与自然语言训练，在五项 DNA 基准上平均得分 66.7%，接近前沿闭源模型但推理成本约为其 1/1800。
提出了运动等变卷积 LSTM（MELSTM），将序列数据中的运动视为规范对称性（gauge symmetry），通过速度模型作为规范场实现对任意运动的可证明等变性，在未来帧预测、运动数字分类和动作识别任务上以更少状态超越 ConvLSTM 与流量等变基线。
提出 First Passage Attention（FPA），用路径极值替代单调衰减累积，从而在压缩 KV 缓存的同时实现完美的长程检索；在 110M 语言模型上以约 25% 缓存达到 8 倍训练长度的 passkey 检索。
作者介绍 Event2Vec，一个通过自监督下一事件预测学习离散事件序列可加性嵌入的小型库，使任意线性评分可精确分解为逐事件项之和，并支持双曲、球面及非交换几何空间；论文见 arXiv 2509.12188，代码以 MIT 协议开源。
该论文提出一种基于非线性时间延迟系统的序列建模框架，通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制，在文本分类和生成任务上超越了现有最先进方法。
本文提出了 Seq-Drifting 框架，通过对连续词元表示序列应用漂移，在单次前向传播中学习从高斯噪声到文本的映射，在 LM1B 上实现了 36.01 的生成困惑度，并相较于少步和多步扩散语言模型获得了显著的速度提升。
该论文提出了一种由离散化偏微分方程驱动的空间场替代传统神经元间通信的二阶循环模型，实现等价于无限阶RNN的无界感受野，并通过边缘稳定性约束消除梯度消失与爆炸问题，在长序列基准上以更少参数超越其他循环模型。
论文提出 MaRK（Markov-adapted Recurrent Kernels），一种将上下文向量直接映射为冻结 SSM 递归参数有界调制的动态算子条件化框架，用于将预训练 SSM 适配到迭代扩散生成任务，在 111M Hydra 骨干上仅需 6.3–11M 可训练参数，其中 Chebyshev 变体表现最佳。
Empirical Variational Autoencoder（EVA）是一种面向连续值序列的通用生成框架，它通过训练数据经验性地学习自回归潜在先验，缓解了传统VAE中先验与后验之间的差距，并在推理速度大幅提高的情况下，取得了与自回归扩散基线相媲美的生成质量。
提出 NC-SSM、SO(3)-SSM 和 Cayley-SSM，将状态空间模型的状态转移提升到非交换紧李群上，以精确跟踪非阿贝尔群并规避对角 SSM 的代数局限，在多项实验中达到 100% 群跟踪准确率。
SMat-Attention 引入了具有可调 VC 维度的结构化因果掩码，在 softmax attention 与 linear attention 之间架起桥梁，实现了亚二次方的 prefill、常数时间的解码（缓存状态为 O(T^{1-1/d})），并在召回能力上优于 Mamba-2 和 Gated DeltaNet 等骨干网络。
论文提出了三元线性注意力，它将线性注意力加以推广，通过将两个键（key）和一个值（value）的三重外积写入一个三阶张量状态，仅需两个额外投影即可实现 E 倍的状态容量提升。将其应用于 Gated DeltaNet 和标量门控线性注意力后，长上下文语言建模与召回能力均得到改善，优于其他扩大状态容量的方法。
FRAC是基于分数阶动力学的新型选择性状态空间模型架构，用幂律长记忆替代传统SSM的指数遗忘，通过log间距指数模式和近似实现高效循环模块，并在1.3B参数语言模型上显著提升长上下文性能。
本文介绍了Pruned CTC，这是一种通过限制对齐计算来降低大词汇量自动语音识别中连接时序分类训练内存使用的方法，证明了其与全词汇量CTC的等价性，并展示了在离线和流式设置下与LLM适配的强大性能。
BoundInk 引入了一个基于书写者的条件框架，用于在线手写生成，该框架显式建模字符间边界以改善草书连续性和空间对齐，优于现有方法，显著降低误差并获得较高的人类偏好评分。
ALPHABET 是一种紧凑的线性时间序列模型，它将时间历史压缩为稳定的复极点模式，以更少的参数和更快的推断速度实现竞争性能。
WorldToken 提出了一种用于机器人模仿学习的时间优先序列建模方法，使用因果Transformer和扩散动作头融合异构观测，并在RoboCasa和RMBench基准测试上进行了性能评估。
本文采用机制可解释性方法分析LLaMA 3.1 8B如何建模数值序列，揭示其内部计算并存储一阶差分以进行模式外推。
本文探讨在序列模型中使用受量子理论启发的复数状态，表明它可以在 Mamba 和基于注意力的模型中减少优化步骤，并提高样本效率。
本文介绍了模块化TTT，这是一个将测试时训练的内部学习器表示为有向无环图的框架，能够对组件进行系统的消融和组合。作者在1000亿个token上训练了4.1亿和14.5亿参数规模的模型，取得了与GatedDeltaNet相当的性能。