标签
该论文介绍了声明式注意力技术，LLMs明确声明需要关注哪些上下文段，从而将令牌使用量最多减少52%，同时准确率下降极小。
本文介绍了一种名为Declarative Attention的方法，该方法使语言模型能够在推理时声明相关上下文区域，从而显著减少键值缓存的读取次数，在长上下文任务中仅带来轻微的精度损失。