标签
核岭注意力(KRA)是一种循环序列混合器,它利用递归岭回归、由协方差引导的记忆更新以及 Ornstein-Uhlenbeck 转移过程来实现选择性遗忘,从而获得固定大小的推理状态,并在语言建模性能上超越注意力模型和循环模型基线。
该论文提出了并行预训练(PPT),将文档及其译文拼接在同一个训练序列中,并发现,在相同的词元预算下,先进行 PPT、再进行标准预训练的两阶段方法,相比标准预训练,能够持续提升通用语言理解能力和跨语言表现。
该论文提出因果潜在工作区 Transformer(causal latent workspace Transformer),通过在共享深度的循环块之间加入可读写的前缀专属潜在槽位,提升了循环 Transformer 的语言建模困惑度,并在三个字节级语料上的多数设置中优于五个基线对照。
该论文将离散扩散的前向过程重新设计为可调的“信任轴”,通过区域非均匀的腐蚀核使模型能够检测并纠正被污染的条件上下文,在170M参数的掩码扩散模型上以低于5小时的微调取得了显著的上下文腐蚀检测与补全(infilling)效果提升。
作者分享了他们在 CoLM 2026 上关于"Context Beyond the Window"的演讲幻灯片,由于可能没有录像,因此发布了几张在他看来方向上很不错的幻灯片。
提出 First Passage Attention(FPA),用路径极值替代单调衰减累积,从而在压缩 KV 缓存的同时实现完美的长程检索;在 110M 语言模型上以约 25% 缓存达到 8 倍训练长度的 passkey 检索。
提出了 Continuum Attention,一种用连续分段线性记忆曲线上的积分替代离散键值查找的因果 Transformer 注意力算子,在语言建模困惑度上优于标准 softmax 与 focal attention。
该论文提出让谐振序列模型(ResonatorLM)的读出相位依赖当前 token,在保持 FFT 卷积训练路径的同时引入输入依赖性,使在 256 token 训练、1024 token 测试时困惑度从 12.81 降至 3.76,显著改善长度泛化。
该论文研究无分词器的字节级语言模型,发现配合 token-superposition 训练与哈希嵌入后,扁平 Transformer 随规模扩大能持续超越子词模型,并能自发学习出类似分词器的局部文本抽象,据此可将投机解码的接受率提升 3.4 倍。
OpenESM 提出能量引导模型(ESM),将能量引导的潜状态优化与 token 生成统一到单一架构中,在大规模语料上进行能量引导预训练,表现出良好的扩展性并在多数下游任务上超越 GPT,同时完全开源模型权重与训练基础设施。
本文将先验拟合网络(Prior-fitted networks,TabPFN)扩展到自然语言,通过仅在合成序列上训练一个 300M 参数的字节级 Transformer 来实现——这些序列采样自随机采样的循环因果模型,即一个「语言先验」。在权重冻结的条件下,模型能够在上下文中学习预测六种语言,还能进行计数、比较数值大小、近似加法,以及预测素数和 Kolakoski 序列等确定性序列,表明上下文语言学习可以从合成的非语言先验中涌现。
论文提出了 Coffee 框架,它是一个即插即用的方案,在推理阶段利用编译好的有限状态目标来引导离散扩散模型,避免了对词元补全进行指数级枚举,同时支持硬约束与学习得到的软目标,并在符号、语言和生物学基准上进行了验证。
论文提出了三元线性注意力,它将线性注意力加以推广,通过将两个键(key)和一个值(value)的三重外积写入一个三阶张量状态,仅需两个额外投影即可实现 E 倍的状态容量提升。将其应用于 Gated DeltaNet 和标量门控线性注意力后,长上下文语言建模与召回能力均得到改善,优于其他扩大状态容量的方法。
FRAC是基于分数阶动力学的新型选择性状态空间模型架构,用幂律长记忆替代传统SSM的指数遗忘,通过log间距指数模式和近似实现高效循环模块,并在1.3B参数语言模型上显著提升长上下文性能。
斯坦福大学CS336课程「从零构建语言模型」公开了18讲完整视频、开源作业和课程材料,全面覆盖大语言模型工程的全流程,适合自学者系统学习LLM开发。
本文介绍了Complex KDA,这是对Kimi Delta Attention的增强,通过实现二维旋转和状态追踪能力,提高了线性RNN的表达能力,从而在长度外推和语言建模性能上取得了卓越表现。
IntBMoE是一种新颖的混合专家方法,通过区块级条件和稀疏执行,解耦参与、执行和具体化成本,在图像分类、语言建模和推荐系统方面展现出改进,并在AMap的生成式推荐系统中实现了实际部署。
本文介绍了 Complex KDA,这是 Kimi Delta Attention 的增强版本,它结合了 delta规则变换与反射以实现更高的表达能力,在某些任务中优于 Transformers,同时保持效率,并提供开源代码和模型。
本文提出一种利用超立方体上旋转稀疏布线替代神经网络注意力的方法,在显著降低计算成本和参数量的同时,实现相当或更优的性能。
DantinoX 是一个开源 JAX/Flax 库,提供了一个统一的框架,用于训练和比较自回归、掩码扩散和流匹配语言模型,实现受控实验和基准测试。