论文页面 - SparseDecoding：面向解码的剪枝方法，实现精准高效的 LLM 推理

来源：https://huggingface.co/papers/2610.12327

摘要

大语言模型（LLM）推理中解码阶段的内存瓶颈特性导致了显著的延迟。基于 Hessian 引导的逐层免训练网络剪枝方法一直是解决这一问题的重要方案，因为剪枝减少了解码期间从内存中读取的非零参数数量。然而，这类典型方法使用预先收集的自然文本序列来计算 Hessian，而模型在解码过程中接收的是自生成的 token，导致两种序列之间存在分布偏移。在自然序列上计算的 Hessian 与在生成序列上计算的 Hessian 存在差异。我们观察到，这种差异导致生成过程中的激活分布偏离剪枝时所用的激活分布，从而进一步损害了剪枝后模型的性能。此外，大多数能够带来实际加速的现有 LLM 剪枝方法主要针对稀疏矩阵-矩阵（SpMM）乘法，对在解码中占主导地位的稀疏矩阵-向量（SpMV）运算支持有限。为了解决这些问题，我们提出了 SparseDecoding，一个专为精准高效的 LLM 解码而设计的、系统的面向解码的剪枝框架。具体而言，在算法层面，SparseDecoding 从稠密模型自回归生成过程中收集的逐层激活（排除预填充阶段）构建校准矩阵，从而将剪枝目标与解码阶段的激活对齐。在系统层面，我们开发了一个采用位掩码索引和固定步长遍历的优化 N:M 稀疏矩阵-向量内核。在代表性 LLM（Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B）上的大量实验结果表明，在长文本生成基准测试中，我们的方法始终优于标准的固定文本校准方法，并在 A100 GPU 上实现了最高 1.48 倍的端到端实际解码加速。

查看 arXiv 页面　查看 PDF　项目页面　添加到收藏

在你的 agent 中获取此论文：

hf papers read 2610.12327

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.12327，即可从此页面链接该模型。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.12327，即可从此页面链接该数据集。

引用此论文的 Spaces 1

包含此论文的收藏 0

暂无收藏包含此论文

将此论文添加到收藏，即可从此页面链接该收藏。