标签
Pebble ML 的一篇论文提出了一种小型 DeltaNet 变体，它通过固定的 token 级键偏置，在一个固定的 32 KiB 循环矩阵状态中，为每条序列学习 32 个键值对关联。即使面对冗长的填充上下文，该模型仍能实现 99.95% 的检索准确率；而参数量相当的向量基线和 Transformer 基线均无法学会该任务。
本文研究基于梯度的训练是否能学习存储和组合矩阵记忆中关联所需的秩，通过使用键值对进行实验并以余弦相似度衡量恢复率。
本文提供了因果证据，表明在群组合任务上训练的矩阵记忆中的梯度下降精确招募了任务代数所需的秩，这与有限群的最小忠实表示维度相关。
本文介绍了模块化TTT，这是一个将测试时训练的内部学习器表示为有向无环图的框架，能够对组件进行系统的消融和组合。作者在1000亿个token上训练了4.1亿和14.5亿参数规模的模型，取得了与GatedDeltaNet相当的性能。
Fractale-350M-base 是一个386M参数的基础模型，从零开始预训练，采用新颖的训练快速权重记忆库（8个向量）替代长上下文，完全开源，包括权重、代码和研究日志。
FAAST提出了一种前馈方法，通过解析方式将标注样本编译为快速权重，无需反向传播即可实现高效的测试时监督适应，在保持性能的同时提升90%以上的速度和节省95%的内存。