标签
本文研究了文档编辑后LLM系统中陈旧KV缓存的预算修复方法，证明了连续的编辑本地窗口能有效恢复性能，并且比完全重新预填充更快。
本文提出残差主导作为因果自注意力基于序列推荐器中最后一项依赖的结构解释，利用预测时诊断和基于范数的分析，将这种行为与Transformer模型中的残差加法联系起来。