attention-architecture

WorldAttention 提出了一种高效的注意力架构，采用 Hybrid Sparse Attention 和 Hierarchical KV Cache，用于交互式视频世界模型，在 VBench-Long 和 InterVBench 等基准测试上实现了最先进的性能。

这篇每周文章总结了顶级AI研究论文，包括用于高效长上下文注意力的HySparse2、用于编码代理中成本效益高的自我改进的SIFT，以及用于通过基于图的世界模型增强机器人规划的GAVEL。

Kimi Linear 提出了一种新的线性注意力架构，旨在增强Transformer模型的表达能力和效率，由 Moonshot AI 的 Kimi 团队贡献。