kimi-delta-attention

标签

#kimi-delta-attention

你也能提出Kimi Delta Attention

Hacker News Top ↗ · 2026-07-28 缓存

这篇博客文章逐步推导了从标准softmax注意力经过线性注意力和DeltaNet变体到Kimi Delta Attention的过程，并解释了近期Qwen和Kimi模型使用的状态更新方程。

0 人收藏 0 人点赞