标签
GLIDE 引入一种逐层自适应机制，策略性地整合滑动窗口 softmax 注意力和线性循环聚合，实现高效 LLM 推理，在处理长上下文时减少 KV 缓存 I/O 和延迟，同时不牺牲质量。
本文提出了一种基于滑动窗口的强化学习框架（SWRL），用于在具有复杂配套约束的动态装配流水车间调度中实现端到端的在线调度，在实际实例上，相较于经典调度规则和现有深度强化学习方法，该方法在减少延迟方面表现出一致的优势。
本文提出了Kara，一种滑动窗口KV缓存压缩方法，用于高效服务推理型大语言模型。该方法通过使用双向注意力和Token2Chunk模块，解决了现有压缩技术中的局限性。该方法被集成到基于vLLM构建的KvLLM推理框架中，在保持性能的同时提高了输出吞吐量。
Tensor Cache 引入了一种两级缓存机制，将滑动窗口注意力中驱逐的键值对压缩成固定大小的关联记忆，从而在无需无界内存增长的情况下改进长上下文语言建模。