delta-attention

Kimi发布了K3，一个2.8T参数的开源模型，采用delta attention避免KV缓存增长，实现了百万token上下文窗口，内存成本线性增长。

介绍了半直接傅里叶Delta注意力（SFDA），一种相位控制的Delta规则层，它通过块旋转傅里叶控制算子扩展了Kimi Delta注意力，提供了构造性Chunk-WY定理以实现高效的分块计算，并展示了在循环记忆和寄存器记忆上的表达能力。

Delta Attention Residuals 通过关注特征变化（增量）而非累积隐藏状态，改进了Transformer模型中的逐层路由，在220M到7.6B参数的规模上实现了1.7-8.2%的验证困惑度提升。