论文页面 - First Passage Attention

来源：https://huggingface.co/papers/2610.22714

摘要

First Passage Attention 用路径极值取代了单调衰减累积，从而有选择地保留较早的上下文，实现在压缩缓存下的完美长程检索。

为 softmax 注意力（https://huggingface.co/papers?q=softmax%20attention）添加遗忘门（https://huggingface.co/papers?q=forget%20gates）的方法通常依赖于沿键-查询路径对衰减贡献进行求和。由于这种累积是单调的，这些机制无法在保留较早的、结构上相关的 token 的同时选择性地擦除中间上下文。我们提出了 First Passage Attention（https://huggingface.co/papers?q=First%20Passage%20Attention）（FPA），它将路径求和转变为路径极值——将一个键的 logit 按照其上学习到的标量场（https://huggingface.co/papers?q=scalar%20field）在中间跨度内低于该键水平的最深下探幅度进行降低。FPA 将 Forgetting Transformer（https://huggingface.co/papers?q=Forgetting%20Transformer）（FoX）作为特例包含在内；当场和水平遵循共享的学习路径时，logit 未受惩罚的存活键自然形成一个栈（https://huggingface.co/papers?q=stack）。我们证明，常数维度的 FPA 头可以实现后续下探所留下的任意存活键子集，而带有位置偏置或 token 级遗忘门（https://huggingface.co/papers?q=forget%20gates）的 softmax 头则需要头维度（https://huggingface.co/papers?q=head%20dimension）与键的数量成线性关系。在合成实验中，单层 FPA 头收敛到这些目标集合，而相当规模的 softmax 和 FoX 基线在每个种子上均失败。扩展到 1.1 亿参数的语言模型后，FPA 在困惑度上与 FoX 持平，并且是唯一在训练长度 8 倍的情况下实现完美 passkey 检索（https://huggingface.co/papers?q=passkey%20retrieval）的方法，即使其键值缓存被压缩至约 25%。

查看 arXiv 页面（https://arxiv.org/abs/2610.22714）｜查看 PDF（https://arxiv.org/pdf/2610.22714）｜GitHub 0（https://github.com/yliu-fort/first-passage-attention）｜添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.22714）

在你的 agent 中获取此论文：

hf papers read 2610.22714

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.22714 即可从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.22714 即可从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22714 即可从此页面链接。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏（https://huggingface.co/new-collection）即可从此页面链接。