标签
对比美国主要开放权重模型架构的概览，突出共享的设计模式，如滑动窗口、潜空间MoE变体以及大量归一化层，重点关注Muse Spark Open的独特方法。分析指出，美国和中国开放权重实验室之间不同的约束条件导致了架构和扩展策略上的分歧。
本文分析了结合全注意力与滑动窗口注意力（SWA）或门控线性注意力（GLA/GDN）的长上下文混合大语言模型的机制，发现上下文扩展中存在跷跷板效应，并提出了滑动窗口线性注意力，实现了16倍免训练长度外推，在64k上下文下NIAH-SK1准确率达到100%。
一篇博客文章，讲解用于维护滑动窗口聚合（最小值、分位数、HyperLogLog 等）的简洁双栈算法，其操作摊还复杂度为 O(1)，适用于没有逆运算的结合型聚合，并追溯了该算法的民间起源，从 Tangwongsan 等人的工作一路回溯到 D. Sleator 的讲义笔记。
Prefix Sliding 通过丢弃不重要的中间令牌来降低长推理过程中的内存成本，从而在不重新训练的情况下实现高效的测试时缩放，在现有模型中最高可提速3倍。
GLIDE 引入一种逐层自适应机制，策略性地整合滑动窗口 softmax 注意力和线性循环聚合，实现高效 LLM 推理，在处理长上下文时减少 KV 缓存 I/O 和延迟，同时不牺牲质量。
本文提出了一种基于滑动窗口的强化学习框架（SWRL），用于在具有复杂配套约束的动态装配流水车间调度中实现端到端的在线调度，在实际实例上，相较于经典调度规则和现有深度强化学习方法，该方法在减少延迟方面表现出一致的优势。
本文提出了Kara，一种滑动窗口KV缓存压缩方法，用于高效服务推理型大语言模型。该方法通过使用双向注意力和Token2Chunk模块，解决了现有压缩技术中的局限性。该方法被集成到基于vLLM构建的KvLLM推理框架中，在保持性能的同时提高了输出吞吐量。
Tensor Cache 引入了一种两级缓存机制，将滑动窗口注意力中驱逐的键值对压缩成固定大小的关联记忆，从而在无需无界内存增长的情况下改进长上下文语言建模。