论文页面 - TokenGate：通过学习式 Token 剪枝让 LLM 实现快速且节省内存的预填充

来源：https://huggingface.co/papers/2610.26754 发布于 10 月 19 日

·

由 https://huggingface.co/liana313 提交

LIana (https://hface.co/liana313)于 10 月 20 日发布

摘要

TokenGate 是一个轻量级的可学习 token 剪枝模块，通过 token 门控注意力（token-gated attention）有选择地跳过不重要的 token，从而加速 Transformer 中的长上下文预填充（prefill）。

人类专家在阅读大量输入（如代码仓库和长文档）时，会通过略读来只仔细阅读关键内容。而语言模型则需要让所有输入 token 通过每个模型层，导致长上下文输入产生显著的处理开销。我们提出了 TokenGate (https://huggingface.co/papers?q=TokenGate)，这是一个小巧的即插即用组件，可扩展现有已训练模型，使其在长上下文输入上实现端到端可学习的 token 剪枝 (https://huggingface.co/papers?q=token%20pruning)，从而实现快速且节省内存的预填充 (https://huggingface.co/papers?q=prefill)。为了在 token 剪枝的 top-K 算子不可微的情况下仍能实现端到端学习，我们引入了 token 门控注意力 (https://huggingface.co/papers?q=token-gated%20attention)，这是一种受 Mixture-of-Experts (https://huggingface.co/papers?q=Mixture-of-Experts) 启发的机制，利用 token 重要性分数重新加权注意力 logits。在多种任务上，TokenGate (https://huggingface.co/papers?q=TokenGate) 将首 token 生成时间（TTFT）加速 1.4–11.3 倍，峰值内存降低 1.5–3.4 倍，且在 Transformer (https://huggingface.co/papers?q=transformers) 的预填充 (https://huggingface.co/papers?q=prefill) 上精度无损失。与目前表现最好的 token 剪枝方法相比，TokenGate (https://huggingface.co/papers?q=TokenGate) 的预填充 (https://huggingface.co/papers?q=prefill) 最快可达 6.4 倍，峰值内存降低 2 倍。TokenGate (https://huggingface.co/papers?q=TokenGate) 原生支持标准 Transformer (https://huggingface.co/papers?q=transformers)（如 Qwen3）和混合注意力 (https://huggingface.co/papers?q=hybrid-attention) 模型（如 Qwen3.5），通过简单轻量的适配即可使用，与标准的参数高效微调 (https://huggingface.co/papers?q=parameter-efficient%20fine-tuning) 相当。我们的代码已开源：https://github.com/tokengate (https://huggingface.co/papers?q=tokengate)-models/TokenGate (https://huggingface.co/papers?q=TokenGate)。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26754)　查看 PDF (https://arxiv.org/pdf/2610.26754)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.26754)

社区

通过 Agent 获取这篇论文：

hf papers read 2610.26754

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 6 个

liana313/tokengate-biodexr-qwen3-1.7b 文本生成 • 约 7 小时前更新 • 2 (https://huggingface.co/liana313/tokengate-biodexr-qwen3-1.7b)

liana313/tokengate-niah-qwen3-1.7b 文本生成 • 约 7 小时前更新 (https://huggingface.co/liana313/tokengate-niah-qwen3-1.7b)

liana313/tokengate-2wikimqa-qwen3-1.7b 文本生成 • 约 7 小时前更新 (https://huggingface.co/liana313/tokengate-2wikimqa-qwen3-1.7b)

liana313/tokengate-multinews-qwen3-1.7b 文本生成 • 约 7 小时前更新 (https://huggingface.co/liana313/tokengate-multinews-qwen3-1.7b)

浏览引用此论文的 6 个模型 (https://huggingface.co/models?other=arxiv:2610.26754)## 引用此论文的数据集 0 个

没有关联此论文的数据集。

在数据集的 README.md 中引用 arxiv.org/abs/2610.26754 即可从本页面链接它。

引用此论文的 Space 0 个

没有关联此论文的 Space。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.26754 即可从本页面链接它。

包含此论文的收藏夹 0 个

没有包含此论文的收藏夹。

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页面链接它。