通过逐层误差模型搜索推进基于SVD的大语言模型压缩

Hugging Face Daily Papers 论文
llm-compression svd low-rank-decomposition model-compression rank-allocation fisher-statistics

摘要

本文提出逐层误差建模搜索（LEMS）与KFAC-SVD，以改进大语言模型的低秩SVD压缩，通过优化全局秩分配与分解质量，在Mistral、Qwen3和Llama 3系列模型上实现了最高4.8个百分点的零样本准确率提升以及平均15%的困惑度改善。

基于低秩SVD的压缩为降低大语言模型的计算开销提供了强有力的策略。然而，现有方法面临两个关键局限：(i) 全局秩分配方面，未经校准的误差代理无法捕捉复杂的误差传播；(ii) 分解质量方面，基于Fisher的估计器存在严重的秩坍缩问题。针对上述局限，我们提出了逐层误差建模搜索（Layer-wise Error Modeling Search, LEMS）和KFAC-SVD。LEMS通过引入一种逐层误差代理来改进秩分配，该代理结合了局部与全局层重要性以及传播偏置，并通过整数线性规划（ILP）公式实现有效的全局秩分配。KFAC-SVD则利用逐token统计量来改进分解质量，缓解了此前基于Fisher的SVD方法中观察到的秩亏问题。在Mistral、Qwen3和Llama 3模型系列上，我们证明了LEMS始终优于现有的搜索策略，实现了最高达4.8个百分点的显著零样本准确率提升，并且该提升可推广至700亿参数规模的模型；KFAC-SVD则实现了平均15%的困惑度改善。项目主页与代码：https://lems-svd.github.io
查看原文
查看缓存全文

缓存时间: 2026/11/03 15:36

论文页面 - 通过逐层误差模型搜索推进基于 SVD 的大语言模型压缩

来源：https://huggingface.co/papers/2610.32878

摘要

逐层误差建模与逐 token 的 Fisher 统计量通过优化秩分配与分解质量，改进了大语言模型的低秩 SVD 压缩。

基于低秩 SVD (https://huggingface.co/papers?q=Low-rank%20SVD) 的压缩为降低大语言模型的计算开销提供了一种强力策略。然而，现有方法面临两大关键局限：(i) 全局秩分配方面，未经校准的误差代理无法捕捉复杂的误差传播；以及 (ii) 分解质量方面，基于 Fisher 的估计器 (https://huggingface.co/papers?q=Fisher-based%20estimators) 会遭受严重的秩坍缩 (https://huggingface.co/papers?q=rank%20collapse)。在本工作中，我们通过引入逐层误差建模 (https://huggingface.co/papers?q=Layer-wise%20Error%20Modeling) 搜索 (LEMS) 和 (KFAC)-SVD (https://huggingface.co/papers?q=KFAC-SVD) 来解决这些局限。LEMS 通过引入一种逐层误差代理来推进秩分配，该代理整合了局部与全局层重要性以及传播偏置，并借助 ILP 公式化 (https://huggingface.co/papers?q=ILP%20formulation) 实现有效的全局秩分配。(KFAC)-SVD (https://huggingface.co/papers?q=KFAC-SVD) 利用逐 token 的统计量 (https://huggingface.co/papers?q=token-wise%20statistics) 来改进分解质量，缓解了先前基于 Fisher 的 SVD 方法中观察到的秩亏问题。在 Mistral、Qwen3 和 Llama 3 模型系列上，我们证明 LEMS 一致地优于现有的搜索策略，带来高达 4.8 个百分点的显著零样本准确率提升，且该优势可推广至 700 亿参数规模的模型；与此同时，(KFAC)-SVD (https://huggingface.co/papers?q=KFAC-SVD) 实现了平均 15% 的困惑度改善。项目页面与代码：https://lems-svd.github.io

查看 arXiv 页面 (https://arxiv.org/abs/2610.32878) 查看 PDF (https://arxiv.org/pdf/2610.32878) 项目页面 (https://lems-svd.github.io/) GitHub4 (https://github.com/lems-svd/lems) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.32878)

在你的智能体中获取本文：

hf papers read 2610\.32878

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 23

MoritzMo123/kfac-svd_lems_Qwen3-8B_0.6 文本生成 • 5B • 更新于 8 天前 • 252 • 1 (https://huggingface.co/MoritzMo123/kfac-svd_lems_Qwen3-8B_0.6)

MoritzMo123/kfac-svd_lems_llama-3-8b_0.8 文本生成 • 7B • 更新于 8 天前 • 217 (https://huggingface.co/MoritzMo123/kfac-svd_lems_llama-3-8b_0.8)

MoritzMo123/kfac-svd_lems_mistral-7b_0.9 文本生成 • 7B • 更新于 8 天前 • 202 (https://huggingface.co/MoritzMo123/kfac-svd_lems_mistral-7b_0.9)

MoritzMo123/kfac-svd_lems_Qwen3-8B_0.9 文本生成 • 7B • 更新于 8 天前 • 210 (https://huggingface.co/MoritzMo123/kfac-svd_lems_Qwen3-8B_0.9)

浏览引用本文的 23 个模型 (https://huggingface.co/models?other=arxiv:2610.32878)

引用本文的数据集 0

没有数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2610.32878 即可从此页面链接它。

引用本文的 Space 0

没有 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2610.32878 即可从此页面链接它。

包含本文的收藏 2

相似文章

LACE-SVD: 面向LLM压缩的损失感知SVD与累积误差纠正

arXiv cs.LG

LACE-SVD是一种新颖的大语言模型低秩压缩方法，采用损失感知的秩分配策略和传播感知的纠正技术，以减轻残差流中的累积误差传播，在高压缩比下实现了比以往基于SVD的方法更好的困惑度。