从信号退化到计算崩溃：揭示LLM量化的两种失效模式

# 从信号退化到计算崩溃：揭开 LLM 量化的两种失效模式  
来源：https://arxiv.org/html/2604.19884  
周晨曦¹²、曹鹏飞²³†、李疆⁴、余博涵¹²、叶金宇²、赵俊²³、刘康²³¹¹通讯作者  
¹ 中国科学院大学 前沿交叉科学学院  
² 中国科学院自动化研究所 复杂系统认知与决策智能重点实验室  
³ 中国科学院大学 人工智能学院  
⁴ 内蒙古大学 计算机学院  
[email protected], {pengfei.cao, jzhao, kliu}@nlpr.ia.ac.cn  

###### 摘要  
训练后量化（PTQ）是大型语言模型（LLM）高效部署的关键。4-bit 量化被公认为最佳折中，而将精度降至 2-bit 通常会触发灾难性的“性能悬崖”。目前尚不清楚其底层机制是否根本不同。为此，我们开展系统性机理分析，揭示两种质性迥异的失效模式：  
- **信号退化**：计算模式保持完整，但累积误差损害信息精度；  
- **计算崩溃**：关键组件功能受损，信息无法在早期层正确处理，信号被彻底破坏。  

基于该诊断，我们实施“机制感知”干预实验：无需训练的定向修复可缓解信号退化，却对计算崩溃无效。研究结果为 PTQ 失效提供了系统化诊断框架，提示解决计算崩溃需结构重建而非简单补偿。  

---  

## 1 引言  
PTQ 已成为 LLM 高效部署的核心技术。4-bit 量化通常被视为最佳平衡点，在显著压缩的同时保持可接受性能。然而，用常见方法（如 GPTQ）将精度降至 2-bit 会触发灾难性“性能悬崖”，尤其在需要精确事实知识的任务上。由于事实召回是 LLM 能力的基础，这种崩溃标志着根本性的失效，亟需深入探究。  

现有 PTQ 研究主要分三类：  
1. **宏观评测**：在多种下游任务上测量性能下降；  
2. **算法优化**：采用离群抑制、旋转矩阵等数值策略减小误差；  
3. **机理初探**：通过层/组件敏感度或“RMSNorm 反转”等现象定位脆弱模块。  

前两类仅关注数值误差，未探究知识存储与召回机制如何被破坏；第三类则碎片化，缺乏系统性的失效模式解释。我们仍无法解释“性能悬崖”：  
> 2-bit 下的灾难性失败，究竟是 4-bit 退化的量变加剧，还是质变为根本不同的机制？  

为此，我们开展深入机理分析，提出**两种失效模式假说**：  
- **模式 I：信号退化**——计算模式大体完整，量化误差作为累积噪声降低信息精度；  
- **模式 II：计算崩溃**——量化误差严重破坏关键组件功能，信息在早期层即被彻底摧毁。  

验证实验表明：  
- 信号退化可通过**无需训练的定向修复**缓解；  
- 计算崩溃是系统性的，即使用先进低秩补偿亦无效，需**结构重建**（如微调）。  

**贡献总结**：  
- 提出系统化可解释分析框架，用于诊断量化导致的性能下降；  
- 识别信号退化与计算崩溃两种质性不同的失效模式；  
- 明确不同模式的优化策略：退化可定向修复，崩溃需结构重建。  

---  

## 2 相关工作  

### 2.1 训练后量化  
PTQ 的核心挑战是激活离群值。方法从简单舍入演进为复杂数值变换：  
- GPTQ 利用 Hessian 信息最小化重构误差；  
- AWQ、SmoothQuant 做通道级缩放抑制离群；  
- QuIP#、SpinQuant 用旋转矩阵平坦化激活分布。  

尽管这些方法降低 MSE 等统计误差，但仅关注输出分布对齐，忽视内部计算机制变化。  

### 2.2 量化机理分析  
机理可解释性工具（Logit Lens、因果追踪）已用于反向工程模型行为，但用于诊断量化模型内部机制的研究仍初步。已有工作多聚焦组件敏感度或孤立能力（拒绝机制、真实性、知识遗忘等），缺乏系统性失效模式解释。本文填补该空白。  

---  

## 3 两种失效模式假说  

### 3.1 实验设置  
**模型与量化**：主实验基于 Llama-3.1-8B，并在 Qwen3-8B、Mistral-7B-Instruct-v0.3、Gemma-2-9B-it 上验证。采用 GPTQ 作为基线，对比 4-bit（甜点）与 2-bit（悬崖），并给出 8-bit、3-bit 结果。  

**数据集与任务**：使用 ParaRel（39 种关系）评测事实召回，因其结构固定便于精准诊断。模板见附录 A.2。MMLU、GSM8K 等扩展任务见附录 E。  

**分析子集**：按 FP16 与 4-bit 正误划分：  
- **鲁棒子集**（fp_and_4bit_correct）  
- **失效子集**（fp_correct_4bit_wrong）  
2-bit 模型因普遍失败不再细分。  

### 3.2 现象学证据  
**性能悬崖**：图 1 显示，FP16→4-bit 退化平缓仍可用；而 2-bit 准确率直接跌至零，呈断崖式崩溃。  

**排名下降 vs. 崩溃**：图 2 分析最终输出分布中正确答案的排名：  
- 4-bit 多为“排名下降”，答案仍居 Top-5；  
- 2-bit 出现“排名崩溃”，跌至数千名，近乎随机，且高频生成停用词（“the”、“.”），表明知识召回完全失败。  

### 3.3 逐层知识探测  
用 **logit lens** 将中间隐藏状态直接投影到词表空间，追踪正确 token 的概率与排名（图 3）：  

- **信号缺失**（2-bit）：正确概率全程趋零，排名数万，知识信号从未生成。  
- **信号退化**（4-bit）：  
  - 鲁棒子集：信号与 FP16 几乎重合；  
  - 失效子集：中后层仍能浮现信号，但强度弱、置信度低，最终被噪声淹没。  

### 3.4 信息流的因果分析  
仅知信号存在与否不足以判断因果机制是否完整。我们采用**因果激活修补**评估信息通路完整性：  

##### (1) 跨模型修复（略，见原文）