system-efficiency

Hard-KV 引入了级联缓存层次结构和 Logits 校准机制，以解决头部自适应 KV 缓存压缩中的静态-动态不匹配问题，在长上下文 LLM 推理中实现了高达 2 倍的吞吐量提升。

本文介绍了 AESOP，这是一种用于对抗性执行路径选择的框架，能够显著增加深度学习推理流水线中的浮点运算次数（FLOPs）和延迟，揭示了基于效率的新型漏洞。