在推理阶段为预训练大语言模型应用滑动窗口注意力 [P]

我一直在为 Hugging Face 预训练因果大语言模型开发滑动窗口注意力（SWA）的实用实现。思路很简单：不再让每个生成 token 关注完整的历史 KV 缓存，而是维护一个由以下部分组成的有限缓存：attention sinks + 最近的滑动窗口。 我将其封装为一个可复用的推理层，无需修改或重新训练模型。GitHub：https://github.com/oraby8/SWA 目前的实现包括：有界 KV 缓存、循环/环形缓冲区存储、attention sinks、流式预填充、分块注意力掩码、自回归解码、Full Attention 与 SWA 对比基准测试、TTFT / TPOT / 吞吐量测试，以及 KV 缓存显存测量。 在 Qwen2.5-7B 实验中，一个有趣的结果是： 上下文 完整 KV SWA-64 16K ~923 MB ~3.5 MB 32K ~1.84 GB ~3.5 MB 64K OOM ~3.5 MB 在 16K 上下文下，SWA-64 还将 TPOT 从约 38.4 ms 降低到了约 30.5 ms。 然而，这里有一个重要的权衡：需要获取活跃窗口之外很远信息的任务可能会出现性能下降。我正在研究这在多大程度上是 SWA 的固有限制，还是源于具体实现或模型特有的行为。 我分享这个实现主要是为了获取从事 LLM 推理、KV 缓存优化和长上下文模型研究的同行的反馈。我特别想了解： 接下来我应该验证哪些模型架构？ 我应该对哪些失败场景进行基准测试？ 如何让这个方案对现有的 Hugging Face 推理工作流更有用？ 我是否遗漏了缓存/注意力实现方面的某些细节？ 非常欢迎反馈和实验尝试。