focus-llama：一个实现声明式注意力的 llama.cpp 分支（arXiv:2609.02737）

我 fork 了 llama.cpp 以实现声明式注意力（Declarative Attention）（arXiv:2609.02737，Google DeepMind 和 KAIST AI）。模型在其自身输出中声明所需的上下文块 <focus magic\_chunks="N">，引擎监听并限制后续令牌可关注的内容。无需评分器，无需训练：仅通过提示加上一个响应标签的引擎。根据他们的论文，与原版相比，响应的整体解码时间可降低至 0.71×（Gemma）和 0.77×（Qwen）。这些是论文中使用 vLLM 的数据；我尚未对该 fork 进行基准测试（也未进行精度基准测试）。= 有效功能 = - llama-server 可以为请求丢弃 KV 令牌范围（da_rm / da_rm_at），无论是在预填充期间还是之后。- 标签驱动模式：给定客户端提供的块布局，服务器在生成过程中解析模型的第一个 <focus magic\_chunks="N"> 标签，并在该点丢弃其他块（一次性、单向）。- 第二序列模式（da_b，需要 --kv-unified）保持原始序列不变。- 已通过小规模冒烟测试检查首令牌对数概率（一个 Qwen 混合/GDN 模型和一个小型密集模型）。= 为什么需要 fork = - 标准 llama-server 无法在生成过程中调整 KV 范围，因此需要服务器更改。- llama.cpp 没有分页块表（论文的 vLLM 版本重写了它），因此仅靠掩码无法减少实际读取的 KV。- 真正的跳过需要内核支持或压缩。根据源代码阅读，目前在 CUDA 上的单令牌解码不会跳过掩码块。- 在混合模型中，仅限制注意力层（与论文相同）；循环状态不受影响。仓库：https://github.com/edwardyoon/focus-llama 欢迎反馈，特别是来自任何曾从事 llama.cpp KV/循环内存工作的人。