delta-net

本文对比了softmax注意力与四种线性注意力架构（DeltaNet、Gated DeltaNet、Kimi Delta Attention、Gated DeltaNet-2），并介绍了跨层路由机制。在350M参数规模的实验表明，使用Muon优化器的Kimi Delta Attention取得了最低的验证损失，而使用AdamW的纯Gated DeltaNet吞吐量最高。

Ali Hatamizadeh 宣布了 Gated DeltaNet-2，一种新的线性注意力模型，在 1.3B 规模上优于 KDA 和 Mamba-3；@BlinkDL_AI 指出其循环与 RWKV-7 的 DPLR 几乎相同。