标签
一项涵盖约600次训练运行的规模扩展研究发现，在计算量相同的情况下，对循环 Transformer 采用完整的时间反向传播（BPTT）优于截断方案。其中，两个均经过完整训练的循环是计算最优配置，其参数量比非循环模型少约27%，性能却更优。
提出 First Passage Attention（FPA），将注意力遗忘机制从路径求和改为路径极值，把 Forgetting Transformer 作为特例纳入其中，并在 110M 语言模型上实现了 8 倍训练长度下的完美 passkey 检索。
本文提出 Plausibility-EFG，一种群体级别的差异度量指标，用于衡量仇恨言论检测中不同人口群体之间的解释合理性差距，并提出 Fair-REF，一种对抗性理由正则化策略，能够在保持分类性能的同时减少解释差异。
论文表明，在模加法任务中，ReLU 网络可以在保持 100% 训练准确率和近乎平坦的训练交叉熵的同时，隐藏特征持续演化，留出集准确率上升至 90% 以上。作者通过有限窗口定理证明了这种共存现象，并在更深的网络和 Transformer 中成功复现了该结果。
论文提出 TRACE（Transformer Residual Activation Codebook Encoding），在每个 Transformer 层的后注意力残差处放置向量量化器并预计算码本索引化的键值表示，使分布式边缘设备推理中接收方通过查表直接恢复 K/V，实现通信-计算重叠；在 ViT-Base 与 ViViT-B 上相比最优 VQ 分布式推理框架最高提升 1.89% 精度与 1.27 倍端到端加速，通信开销最高降低 22,624 倍。
TokenGate 是一个轻量级可学习的 token 剪枝模块，通过 token-gated attention 机制在长上下文预填充阶段跳过不重要的 token，实现 1.4–11.3 倍的 TTFT 加速和 1.5–3.4 倍的峰值内存降低且无精度损失。
介绍基于 Kronecker Delta 规则的长上下文线性注意力研究（KronLSTM），在长上下文基准上表现优异，并被认为对物理 AI 与机器人的持续状态记忆具有潜在影响。
一篇回顾性深度文章，追溯 AI 架构从单个感知器、早期神经网络、梯度消失问题、LSTM 到 Transformer 时代的进化历程，并探讨自注意力机制之后的下一个范式转变。
一篇技术博客，通过"关联记忆"的视角重新推导 Transformer：从线性层的外积记忆，到 MLP 的容量提升，再到自注意力的近乎无界记忆容量，并给出各层可存储记忆数量的启发式估算（如 64 维键可从约 64 条提升到上百万条记忆）。
提出选择安全的共形提前退出方法，通过终端路径分数与单一分割共形分位数校准，在数据依赖的自适应深度选择下仍保持无分布假设的覆盖保证，无需 α/L 修正，并在 CIFAR-100/ImageNet 等任务上验证了路径选择相比朴素逐层选择的覆盖优势。
论文提出了 Optimal Hydra，一种面向大语言模型微调的模型异构联邦学习框架。该框架通过全局层级选择和基于客户端数据分布的注意力头选择，构建客户端专属子网络（Hydra-nets），在三个数据集上显著优于基线方法，并降低了本地资源需求。
这篇论文提出将注意力的指数核展开为 n 项截断泰勒级数，并将每项分解为张量幂内积，从而用固定数量的循环状态实现线性时间 Transformer，实测在长上下文下相比 softmax 注意力有显著加速和常数解码延迟。
提出了一种新的可扩展性原则——“有效连贯认知速度”（S_C^eff），用于衡量AI系统在现实变化速度超出训练分布时维持可靠行为的能力，并展示了受意识机制启发的Co⁴架构相比Transformer和门控多层感知机基线在此指标上表现更优。
该论文提出了复制粘贴语言模型（CPLMs），在标准语言模型头之外增设一个轻量级复制粘贴头，使模型能够显式指向并复制上下文中的词元，从而缓解语言模型头的梯度瓶颈。参数规模从 1.35 亿到 17 亿的预训练模型在训练效率、下游任务表现和长上下文运行能力方面均有所提升，且额外开销微乎其微。
本文研究了在句法上具有专门分工的注意力头（主语-动词注意力头）是否会在因果层面驱动 Transformer 语言模型的句法预测。研究发现，尽管这些注意力头呈现出专门化的注意力模式，但关于其发挥因果作用的证据并不一致，且总体偏向否定。
Titan-Llama 提出一种后训练方法，通过分层记忆架构和测试时参数更新，将预训练注意力模型改造为具备外部神经记忆模块的长上下文高效推理模型，在 QuALITY 和 LongHealth 上显著提升准确率并降低推理延迟与显存占用。
该研究探讨多智能体LLM系统中应如何通信以聚合分布式私有信息，证明在保持校准不确定性的情况下，通信概率信念比通信具体动作更能促进协作决策，并提出了一种事后对话校准干预方法。
提出 First Passage Attention（FPA），用路径极值替代单调衰减累积，从而在压缩 KV 缓存的同时实现完美的长程检索；在 110M 语言模型上以约 25% 缓存达到 8 倍训练长度的 passkey 检索。
一位研究人员在相同预算下训练了两个拥有 1500 万参数的“仅决策”模型——一个采用线性循环骨干网络，另一个采用标准 Transformer——发现两者的准确率在统计上不分伯仲，而线性模型在 8k token 推理时的速度是后者的 2.37 倍，训练速度约为后者的 6–7 倍。帖子将准确率未见提升这一负面结果视为核心发现：小型决策模型无论采用何种底层架构，都难以达到足够的准确率。
提出了 Continuum Attention，一种用连续分段线性记忆曲线上的积分替代离散键值查找的因果 Transformer 注意力算子，在语言建模困惑度上优于标准 softmax 与 focal attention。