hybrid-sliding-window-attention

Hybrid Sliding Window Attention (Hybrid SWA) 是一种在长文本语言模型中平衡计算效率与全局长距离依赖的混合注意力机制，通过交替使用局部SWA层和全局注意力层，显著压缩KV Cache同时保持推理能力。文章详细介绍了其设计原理、在Gemma、Qwen等模型中的应用，以及vLLM和HuggingFace等开源项目中的最佳实践。