sliding-window-attention

研究人员介绍了Raven，这是一种新颖的序列模型，它将状态空间模型的效率与受滑动窗口注意力启发的选择性槽更新机制相结合，以改进长上下文检索。该方法为现有的线性时间模型提供了一种更严谨的替代方案。