Qwen3-4B模型训练后三值化：能力、有效位表示、存储压缩与部署

# 1 引言
来源：https://arxiv.org/html/2609.01962

Qwen3-4B 的后训练三值化：能力、有效比特预算、存储压缩与部署

CLOE V2.0 – OneBit AI

Qwen3-4B FP16⟶\\;\\longrightarrow\\;KOTMS⟶\\;\\longrightarrow\\;E2M-ATQ⟶\\;\\longrightarrow\\;GPTQ补偿⟶\\;\\longrightarrow\\;W1.58A16

本文对一个40亿参数的预训练语言模型在激进的后训练低比特转换下的能力、表征、压缩与部署进行了研究。

Anirudh Malik \| Poojith Devan \| M Sparsh Mehra

OneBit AI \| 技术研究报告 \| 2026年8月

**执行摘要**。本研究探讨一个实际问题：一个已经训练好的Qwen3-4B检查点，在不进行完全重训练的情况下，能在多大程度上被推向超低比特表征？并且，当分别衡量其表征、能力、存储和执行时，还剩下多少有用性？使用已发布的TWLA流水线组件，仅以A16精度执行权重，所得的W1.58A16模型[^1]在若干常识和上下文使用任务上保留了显著性能，但在知识密集型基准测试上损失更大。在最终基准表格的十项评分对比中，FP16平均准确率为64.5%，而W1.58A16为54.7%，平均损失9.8个百分点。WikiText-2困惑度从13.639增加到18.748，而PTB和C4则显示出更宽的1.30–1.46倍性能下降范围。

一旦量化器的格被持久化，表征本身比FP16小得多：有效权重预算为1.641比特/权重，后续的无损打包记录显示产物为3.96 GiB，而预打包检查点为8.29 GiB。然而，当前的执行路径并未确立速度优势。因此，核心系统经验是明确的：**压缩效果得到了验证；部署加速仍然是一个待解决的工程问题。**

**关键词**：后训练量化，三值量化，1.58比特大语言模型，Qwen3，GPTQ，模型压缩，部署效率，低比特推理

###### 摘要

超低比特语言模型之所以吸引人，是因为降低权重精度可以减少持久存储、内存带宽需求以及移动模型参数所需的硬件资源。然而，一个名义上的“1.58比特”标签本身并不能描述实际存储的表征、保留了多少预训练能力，或生成产物的运行时行为。

我们使用TWLA的KOTMS旋转、E2M-ATQ三值化和GPTQ式误差补偿组件，研究了Qwen3-4B（一个经过指令微调的40亿参数模型）的端到端后训练转换。该实验特意仅限权重：激活保持16位精度，因此跳过了ILA-AMP。分析强调了有效比特核算、任务级能力保留、跨语料库困惑度、校准敏感性、检查点构成以及部署测量。

最终评估的转换对量化的线性权重使用了1.641有效比特/权重，其中81.62%的模型参数被处理。在十项能力评分对比中，准确率从64.5%下降到54.7%。损失并不均匀：BoolQ保留了84.6%的教师模型校正概率性能，而ARC-Challenge仅保留了43.8%。这种模式与在知识密集型任务上比在上下文合理性任务上出现更强退化的情况一致。WikiText-2上的困惑度从13.639升至18.748，PTB从24.700升至31.992，C4从19.831升至28.966。

研究还揭示了一个重要的部署区分。后续的一次打包运行持久化了实际的三值平面和缩放因子，并报告从8.29 GiB减少到3.96 GiB，且困惑度基本不变。另一个独立的第三方打包尝试是有损的，因此被明确排除在主要产物主张之外。打包产物在此源数据集中尚未针对任务准确率或生成吞吐量进行端到端基准测试。初步的Triton GEMV微基准测试在一个测试形状上比FP16 cuBLAS慢4.6倍。因此，我们**不**声称仅靠压缩就能带来更快的推理。

语言模型的部署成本并非仅由参数数量决定。Transformer架构本身为这些压缩方法所操作奠定了稠密矩阵的基础。[^2]这些参数的数值表征会影响检查点大小、内存流量、加载时间、加速器利用率以及本地或边缘部署的可行性。这使得低比特模型表征成为一个活跃的研究领域，从传统的8比特和4比特PTQ到二值和三值架构。[^3][^4][^5][^6][^7]

三值表征特别具有吸引力，因为从\\{-1,0,+1\\}中抽取的单个符号的信息含量为：

$$
b_T=\log_2(3)\approx 1.585 \text{比特} \quad (1)
$$

这就是广泛使用的“1.58比特”术语的来源。[^7]然而，一个理想符号的信息含量并不等同于整个模型的存储成本。偏移量、缩放因子、残差平面、显著性元数据、未量化张量、打包格式和执行缓冲区都对部署系统有贡献。

第二个区分是能力。预训练模型已经积累了语言结构、事实关联、任务启发式方法和表征。因此，激进的后训练转换提出的问题与原生低比特训练不同。原生三值工作探讨模型是否能在受限数值体系下被训练；PTQ则关注现有模型有多少能在转换中存活下来。[^6][^7][^8][^9][^10]

第三个区分是执行。更小的表征并不自动意味着更快的表征。现有工作如AWQ和SmoothQuant表明，硬件感知的转换和内核可以将低精度转化为实际的部署收益，但这些收益取决于目标表征和执行栈。[^4][^5]对于自定义的超低比特表征，解包、反量化、旋转、辅助缩放因子和内核开销可能会消除算术优势。

因此，本文将转换视为一个四部分的经验性问题：

1. **能力**：哪些下游行为得以保留？
2. **表征**：在考虑自适应平面和元数据后，有效比特预算是多少？
3. **存储**：通过一个真实的产物（而非一个虚假量化的FP16检查点）实现了多大的尺寸缩减？
4. **执行**：紧凑的表征是否在测试硬件上改善了推理速度？

这种框架有别于仅进行排行榜对比。目标并非声称一种新的三值化算法。KOTMS、E2M-ATQ和GPTQ都是先前的方法。贡献在于对它们在Qwen3-4B上的应用进行了端到端的经验性表征，同时包括表征核算、能力诊断、打包分析和部署测量。

**为何这对AI产品很重要**。压缩的模型只有在其表征能够以可接受的成本被存储、移动、加载并最终执行时才有用。目前的证据支持一个强有力的存储/压缩结果，以及一条可信的硬件感知执行路径，但它并未确立一个普遍的推理速度或服务成本优势。这种区分对于该工作的产物解读至关重要。

## 2 研究定位与相关工作

### 2.1 原生三值训练

BitNet建立了一种Transformer架构，其中低比特权重是训练公式的一部分，而非事后转换。[^6]BitNet b1.58随后推广了三值权重\\{-1,0,+1\\}，并论证了约1.58比特模型的实际相关性。[^7]这些工作为低比特语言建模提供了概念基础，但其训练时设置与本研究有根本不同。

### 2.2 通用PTQ

GPTQ引入了使用近似二阶信息的一次性后训练量化，以减少大语言模型的重构误差。[^3]AWQ强调了激活感知的显著性权重保护和硬件友好的仅权重推理。[^4]SmoothQuant则将激活异常值转换为权重缩放，以实现W8A8执行。[^5]OmniQuant探索了在无训练设置下优化量化参数。[^10]

这些方法确立了一个重要原则：校准和表征设计很重要，但执行格式同样重要。

### 2.3 三值PTQ

近期工作已直接进入三值领域。PTQTP使用结构化的三值平面表示权重，并明确处理了表达能力与执行复杂性之间的权衡。[^8]CAT-Q提出了一种需要少量校准的后训练三值转换。[^9]ScaleQ-1.58进一步研究了使用自生成推理轨迹对推理模型的校准。[^11]TWLA结合了KOTMS、E2M-ATQ和ILA-AMP，以三值权重和低比特激活为目标。[^10]

本工作使用TWLA已发布的组件，而非声称它们是新的。重要的是，我们的配置是W1.58A16：激活量化组件被刻意禁用。因此，本文表征了仅权重路径及其实际的存储/部署意义，而非重现完整的W1.58A4系统。

表1：本研究相对于代表性低比特方向的定位。

## 3 模型与转换目标

### 3.1 基础模型

基础检查点是Qwen3-4B，一个经过指令微调的40亿参数稠密模型，包含36层Transformer。实验是从公开的Qwen3系列检查点运行的。[^12]

转换目标针对所有36层的252个线性张量。项目记录中的架构级核算确定了MLP的门控、上投影和下投影以及注意力qq, kk, vv和oo投影被三值化。嵌入层和未绑定的语言模型头保持BF16。KOTMS旋转矩阵是额外的连续值参数。

表2：转换后Qwen3-4B检查点的参数核算。A16的指定很重要：权重被激进量化，但激活、注意力操作和KV缓存保持在FP16。这不是一个完全的低比特执行路径。

### 3.2 术语与表征边界

在本报告中，模型被称为W1.58A16。当使用更短的术语“三值”时，它带有上述脚注中的限定：表征是混合且自适应的，而非每个参数都是单一的三值平面。

因此，有效比特率是根据观察到的一个或两个三值平面的使用来计算的，而不是简单地为每个权重分配\\(\log_2 3\\)比特。测量得到的三值化权重表征的平均值为1.641比特/权重。

## 4 方法

### 4.1 端到端流水线

实验流水线如下：

$$
\text{FP16 Qwen3-4B}\rightarrow\text{KOTMS}\rightarrow\text{E2M-ATQ}\rightarrow\text{GPTQ补偿}\rightarrow\text{W1.58A16}. \quad (2)
$$

KOTMS是从一个预先存在的旋转检查点复用的，在复用前已核对其元数据是否与公开配方一致。ILA-AMP被跳过，因为实验使用了A16激活。E2M-ATQ执行了实际的权重转换，随后是GPTQ式的误差补偿。

FP16 Qwen3-4B
→ KOTMS旋转
→ E2M-ATQ
→ GPTQ补偿
→ W1.58A16
（跳过ILA-AMP；A16激活）

图1：实验转换流水线。算法组件是先前工作的成果；本研究的贡献在于它们在Qwen3-4B上的端到端表征。

### 4.2 KOTMS旋转

KOTMS使用结构化正交矩阵将权重空间变换到一个对三值友好的基。用简化符号表示：

$$
W' = WR, \quad R^\top R = I. \quad (3)
$$

在推理时，在量化线性操作之前对激活应用等效的旋转。由于该变换是正交的，在精确算术下它是保范的。先前的项目测量报告仅旋转的困惑度从8.7998变为8.8003，这与FP16舍入噪声一致。

对于本实验，复用了一个预先存在的旋转检查点。其元数据已根据TWLA配置进行了验证，包括GMM迭代次数、学习率、Cayley更新和平衡参数。

### 4.3 E2M-ATQ：二阶非对称残差三值化

对于一个被掩码的权重块\\(W\\)，转换首先计算行方向的偏移：

$$
\mu = \operatorname{rowmean}(W), \quad W_c = W - \mu. \quad (4)
$$

然后使用以下方式获得三值支持：

$$
\Delta_0 = 0.75 \operatorname{rowmean}(\|W_c\|) \quad (5)
$$

以及

$$
T_{0,i} = \begin{cases} +1, & W_{c,i} > \Delta_0, \\ -1, & W_{c,i} < -\Delta_0, \\ 0, & \text{otherwise}. \end{cases} \quad (6)
$$

第一个缩放因子\\(\alpha_0\\)最小化平方重构误差：

$$
\alpha_0 = \arg\min_\alpha \|W_c - \alpha T_0\|_2^2. \quad (7)
$$

然后对残差再次量化：

$$
R_1 = W_c - \alpha_0 T_0, \quad (8)
$$
$$
\Delta_1 = 0.75 \operatorname{rowmean}(\|R_1\|), \quad (9)
$$
得到第二个三值平面\\(T_1\\)和缩放因子\\(\alpha_1\\)。

因此，重构的权重为：

$$
\widehat{W} = \left( \mu + \alpha_0 T_0 + \alpha_1 T_1 \right) \odot M, \quad (10)
$$

其中\\(M\\)表示适用的显著性掩码。

十五次交替精炼迭代在保持三值支持固定的情况下，重新求解\\(\mu\\)、\\(\alpha_0\\)和\\(\alpha_1\\)以适配当前残差。这是欧几里得到流形的精炼步骤。

非对称偏移并非装饰性细节。因为\\(\mu \neq 0\\)，一个平面代表的三个值实际上是\\(\{\mu - \alpha, \mu, \mu + \alpha\}\\)，而非简单的\\(\{-1, 0, +1\}\\)。这种偏移通过允许中心值移动来降低量化误差。をたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたたた