压缩与遗忘：bitsandbytes量化放大LLMs中的前瞻干扰

# 压缩即遗忘：bitsandbytes量化加剧大语言模型的前瞻性干扰
来源：https://arxiv.org/html/2608.18578  
Shayan Shahrabi-Farahani  
德黑兰谢里夫理工大学，伊朗  
[email protected]  
Dara Rahmati  
德黑兰谢里夫理工大学，伊朗  
[email protected]  

###### 摘要  
前瞻性干扰（PI）是大语言模型（LLM）已知的一种失效模式，表现为对反复覆写数值的检索能力随覆写次数累积而下降，这与人类工作记忆中的经典现象相似。训练后量化（PTQ）目前已成为开源模型部署的默认路径，但其对这种失效模式的影响尚未得到测试。我们在三个架构不同的指令微调模型（Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Phi-3.5-mini-instruct）上评估了三种精度等级（FP16、INT8、INT4/NF4，通过bitsandbytes实现），同时固定检索任务不变。结果显示，在所有模型中，INT4量化在高干扰条件下显著降低了准确性（例如，Qwen从81.0%降至68.3%），并通过配对McNemar检验（p≤2.6×10⁻⁶）和涵盖所有干扰水平的混合效应回归得到验证；通常认为安全的INT8量化，在两个模型中也带来了较小但确实的性能损失。该效应特异于语义相似（词类型）干扰项，并在数字控制条件下反转；从机制上，它与INT4下同键入侵错误的增加相关（从21.5%增至24.6%，p=4.8×10⁻⁷）。后续消融实验表明，该效应源于量化后的Transformer主干网络，而非输出投影层。这些结果表明，bitsandbytes的4位量化可能对依赖长上下文、可更新、语义密集型的应用带来额外成本，即使整体基准测试准确性看起来基本不受影响。我们已将代码和经分词器验证的词汇构建方法发布于 https://github.com/ShayanShahrabi/compress-and-forget。

## 1 引言  
训练后量化（PTQ）是大多数从业者部署开源大语言模型的默认路径。通过bitsandbytes[3、4]、GPTQ[5]和AWQ[8]等库进行的8位和4位权重量化通常报告在整体基准测试（困惑度、MMLU、标准问答）上损失可忽略不计。这催生了一种普遍假设：4位量化对于大多数用途而言**足够安全**。另一方面，越来越多的研究表明大语言模型系统性地容易受到**前瞻性干扰（PI）**的影响；当一个数值在上下文中被多次更新时（例如，会议时间先设为下午2点，后改为3点，再改为4点），检索最终数值的能力随先前更新次数增加呈对数线性下降，即使正确数值是距离查询最近的那个[14]。这种失效模式不同于“大海捞针”意义上的长上下文检索失败[9]：干扰项简短、数量相对于完整上下文窗口较少，且任务对所询问的数值没有歧义。最近一项跨39个模型的大规模研究进一步表明，前瞻性干扰是Transformer中一种比对称情况（回溯性干扰）更强且更普遍的失效模式，它反映了一种独特的、与容量无关的机制——以牺牲最新更新为代价保护早期信息的偏差[2]。这两条研究路线尚未被连接。尚不清楚量化模型在整体基准测试上的鲁棒性是否能扩展到干扰密集型检索，或者压缩模型权重是否不成比例地损害了这种特定的、本已脆弱的能力。这在实际应用中很重要，因为具有长期、频繁更新状态的应用（多轮助手、文档修订追踪、追踪用户偏好的对话系统）恰恰是前瞻性干扰最可能发生的场景，也是出于成本原因最可能采用量化模型服务的场景。我们直接测试了这一点。保持前瞻性干扰-大语言模型检索任务不变，我们仅在三个开源、架构不同（4-7B）的指令微调模型中变化量化精度（FP16 / INT8 / INT4）。我们发现了一致且具有统计显著性的效应：4位量化特异性地降低了在语义干扰下的检索能力（例如情绪、职业、喜爱颜色/动物属性），而任意数字属性控制条件则未显示此效应。这种特异性是本研究的核心发现。它表明量化并不仅仅是以一种均匀损害所有检索能力的方式增加噪声——它选择性地削弱了抵御语义混淆干扰项的机制。图1概述了该流程。参见图1说明：**图1：实验流程与评估设计概览。（A）三个指令微调模型分别以三种精度（FP16、INT8、INT4/NF4，通过bitsandbytes）加载，并在前瞻性干扰-大语言模型检索基准上进行评估，其中主体属性被覆写k次，模型仅被查询最近的值。（B）在干扰水平从k=1到k=96，同时并行测试两种属性条件——作为主要条件的语义（词类型）属性和作为控制的数字属性——并在每个水平计算精确匹配准确率和配对统计检验（Fisher精确检验、Mantel-Haenszel检验、混合效应逻辑回归）。**  

我们的主要贡献总结如下：  
- • 我们首次系统评估了训练后量化如何影响大语言模型中的前瞻性干扰，检验了跨三个架构不同的开源模型的三种精度等级。  
- • 我们表明该效应特异于语义（词类型）干扰，并不泛化到任意（数字）干扰，排除了通用噪声注入解释。  
- • 我们识别出一种**悬崖模式**而非平缓退化：INT8在两个模型中与FP16统计上无法区分，而INT4则显示出显著且一致的下降——表明该效应并非简单地与量化的激进程度成比例。  
- • 我们发布了任务生成代码、经分词器验证的词汇构建方法以及完整的试次级结果。

## 2 相关工作  

#### 大语言模型中的前瞻性干扰。[14]引入了前瞻性干扰-大语言模型（PI-LLM），改编自认知心理学的经典前瞻性干扰范式：一个键在上下文中被反复绑定到新值，模型仅被查询最终值。尽管目标明确且邻近近期，检索准确性仍随先前重绑定次数增加呈对数线性下降；作者表明这在模型家族中普遍成立，且通过提示模型忽略早期值或链式思维推理也无法可靠解决。[2]扩展了此研究，直接对比了39个模型中的前瞻性和回溯性干扰，发现前瞻性干扰普遍主导回溯性干扰（Cohen’s d=1.73）——这与典型的人类模式相反——且前瞻性干扰抗性与模型规模无关，而回溯性干扰抗性则相关。这表明前瞻性干扰反映了Transformer注意力的一种结构性属性（首因偏差），而非随模型规模增大而消失的容量限制。[15]提出了一种受睡眠启发的记忆巩固机制来缓解前瞻性干扰，将其框架化为类似生物记忆巩固的学习性选择性遗忘问题。这条研究路线均未考察量化作为变量。

#### 训练后量化。LLM.int8() [3] 和 QLoRA [4] 确立了8位和4位（NF4）训练后量化在最小损失下保留整体任务性能。GPTQ [5] 和 AWQ [8] 通过更复杂的校准改进了每比特精度，但该文献中的基础评估方法几乎普遍是整体基准测试准确性（困惑度、MMLU式问答），而非细粒度行为失效模式。最近的大规模基准测试工作PTQ-Bench [18]系统分类了仅权重量化策略（基于补偿、优化、旋转和显著性），并评估了其在7B到70B模型规模下的跨比特宽度、跨架构和跨模态鲁棒性；值得注意的是，其建议再次完全源自整体任务指标，而非来自针对特定认知风格失效模式（如前瞻性干扰）的行为探针，且它并未专门评估bitsandbytes风格的量化。这种差距——广泛、系统的训练后基准测试但仍停留在整体指标层面——正是我们更窄但行为定向评估的动机。此外，[16]研究了量化对**持续微调中灾难性遗忘**的影响，发现——反直觉地——8位量化噪声作为隐式正则化器，**提高**了相对于FP16的保留率，而4位量化对重放缓冲区大小更敏感。这是训练时现象（权重跨任务顺序更新）；我们的工作是纯推理时（权重冻结，仅测试上下文检索），尽管框架表面相似，但使两种效应在机制上不同。[17]展示了一个相关但不同的交互：量化可以使基于微调的学习抑制的知识重新浮现，再次指出量化以整体基准测试未能揭示的方式与模型的信息处理行为交互。在语言模型设定之外，[6]在视觉世界模型（DINO-WM）中呈现了量化的实证研究，表明量化在规划任务中的失败是任务特定的，并且在模型组件（编码器与预测器）间不对称，而非比特宽度的简单函数。虽然这项工作评估了完全不同的模型类别和模态，但它为我们结果也提示的主题提供了独立的跨领域支持：整体比特宽度-精度摘要可能掩盖仅在针对性行为评估中出现的组件或任务特定的量化失效模式。

#### 长上下文检索。[9]表明大语言模型在长上下文中表现出位置依赖的检索准确性（中间丢失），这是一种不同于前瞻性干扰的现象：其设定涉及在不同位置、无关干扰项中的单一明确目标，而非反复覆写数值。我们的提示相对于典型的长上下文评估较短（即使在最高干扰水平下也只有几百个token），因此我们的效应不能归因于Liu等人记录的那种上下文内位置检索退化。更直接相关的是，[11]系统评估了几种训练后量化方法在长上下文任务上的表现，并报告低比特仅权重量化，包括bitsandbytes的NF4方案，在检索密集的长上下文设置中比其他测试的4位量化器更具破坏性。虽然他们的任务涉及更长的上下文和不同的检索范式（无反复键重绑定），但他们发现NF4——而非一般4位量化——是检索密集型任务中表现最差的方法之一，这与我们仅限于bitsandbytes的研究一致，并加强了我们所报告的效应并非我们特定任务设计特殊性的论证。

## 3 方法  
本节简要概述任务、模型和分析方法；完整的实施细节（确切提示、评分规则、词汇构建、可复现配置、试次预算和统计公式）推迟到附录部分。

### 3.1 任务设计  
我们改编自[14]的前瞻性干扰-大语言模型键重绑定范式，其中命名主体的属性被连续更新k次，定义干扰水平，模型必须仅检索最终值，忽略k-1个被覆写的先前值。我们在干扰水平k∈{1,2,4,8,16,32,64,96}下测试八种属性，分为两个条件。四种**词类型（语义）**属性（情绪、喜爱颜色、喜爱动物、职业），干扰项来自共享语义类别；三种**数字（控制）**属性（温度、股价、页数），干扰项是语义混淆性最小的任意整数。提示通过每个模型的原生聊天模板作为单条用户消息传递，无系统提示，模型被指示用单个词或数字回答。确切的提示模板、评分标准和我们经分词器验证的词汇构建程序见附录A。

### 3.2 模型与量化  
我们评估了三个跨不同训练组织和架构的开源指令微调模型：Qwen2.5-7B-Instruct[12]、Mistral-7B-Instruct-v0.3[7]和Phi-3.5-mini-instruct[1]。每个模型通过bitsandbytes库[3、4]以三种精度加载：FP16（原生）、INT8（默认LLM.int8()分解）和INT4（NF4与双重量化）。所有实验均未明确排除任何层进行量化，包括语言建模头（lm_head）。然而，后续消融实验（第4.7节）发现，在此库版本下，默认的INT4加载路径无论如何都会保持lm_head为全精度——通过直接检查加载模块得到证实。因此，本文报告的所有INT4结果均为**仅主干网络**量化；第4.7节表明这不影响我们的结论。生成全程是贪婪的（给定提示是确定性的）；试次间随机性的唯一来源是采样的主体名称和干扰值，由显式随机种子控制。为提供可复现性，确切的加载配置和软件包版本见附录B。

### 3.3 试次设计与统计分析  
对于给定随机种子，确切的试次序列——主体、干扰项、顺序——在所有三种量化级别下完全相同，使得每个FP16-对-INT4（或FP16-对-INT8）比较都是配对比较，在t