declarative-attention

这篇文章介绍了一个名为 focus-llama 的 llama.cpp 分支，它实现了最近一篇论文中的声明式注意力（Declarative Attention），允许模型在推理过程中声明所需的上下文块，以优化 KV 缓存使用并减少解码时间。

该论文介绍了声明式注意力技术，LLMs明确声明需要关注哪些上下文段，从而将令牌使用量最多减少52%，同时准确率下降极小。

本文介绍了一种名为Declarative Attention的方法，该方法使语言模型能够在推理时声明相关上下文区域，从而显著减少键值缓存的读取次数，在长上下文任务中仅带来轻微的精度损失。