[R] 复杂KDA：理解与增强Kimi Delta Attention的表达能力

Github: https://github.com/OpenEuroLLM/ComplexKDA HuggingFace: https://huggingface.co/collections/openeurollm/complexkda Arxiv: https://arxiv.org/abs/2609.24797 作者：Julien Siems*, Riccardo Grazzi*, Korbinian Pöppel*, Jaisidh Singh, Arber Zela, Timur Carstensen, Jenia Jitsev, Frank Hutter, Volkan Cevher, Antonio Orvieto, Aaron Klein（*同等贡献） 摘要：基于delta规则的线性RNN能够实现高效的序列建模，但其带有低秩校正的线性更新限制了其表达能力。先前的研究表明，在单次循环更新中组合两个delta规则转换可以建模二维旋转，但与单次转换相比，这会增加更新的秩和成本。我们证明，Kimi Delta Attention（KDA）可以通过将单次delta规则变换与通道级门控提供的第二次反射相结合，来实现二维旋转。这需要通过结合两个现有的范围扩展来扩展KDA的参数范围：允许门控值在[−1,1]范围内，以及delta规则系数β在[0,2]范围内。我们将得到的模型称为Complex KDA（CKDA）。它保持了KDA的稳定性和效率，转换仍然保持对角加秩一且非扩展，同时达到了DeltaProduct2的状态追踪表达能力。我们表征了CKDA的表达能力，并证明每个正交对角加秩一矩阵恰好是一个CKDA转换矩阵。单个CKDA层可以追踪每个与SO(3)子群同构的有限群，并且与许多其他对角加秩一线性RNN相比，许多状态追踪结果为CKDA少用一层。经验上，结合两种扩展在S3、S4和周期性音频延续测试中，在测试的KDA范围设置中产生了最强的长度外推能力。在语言建模中，CKDA优于Transformer和其他线性RNN，获得了与KDA基线相似的结果，并显示出有前景的扩展行为。 https://preview.redd.it/fjeysm4zn0rh1.png?width=2110&format=png&auto=webp&s=3d901f501e5ef7b0c72a5e5de3310d406bc8fec4