论文页面 - 量化感知修复：恢复压缩4位大语言模型的实用方案

来源：https://huggingface.co/papers/2608.20953

摘要

量化感知修复通过直接从原始未压缩模型中蒸馏，比量化感知训练更快、更稳定地恢复压缩后的4位语言模型。

经济地服务大型语言模型越来越意味着要交付那些既经过结构压缩（参数量缩减到原模型的一小部分）又被量化到4位的模型。这些步骤会显著降低推理、数学、编码和长上下文处理能力，因此在部署前需要一个恢复或“修复”阶段。默认方案是量化感知训练 (https://huggingface.co/papers?q=quantization-aware%20training)（QAT），它将压缩、量化后的模型重新适配到硬标签；在我们的流程中，它收敛缓慢且超过峰值后会出现崩溃。因此我们采用了量化感知修复 (https://huggingface.co/papers?q=Quantization-Aware%20Healing)（QAH）。因为结构压缩的模型从未在全精度下独立训练过，其bfloat16 (https://huggingface.co/papers?q=bfloat16)检查点是一个通过蒸馏 (https://huggingface.co/papers?q=distillation)恢复的、对原始模型的近似；而QAH则是直接从原始未压缩模型向4位学生模型进行蒸馏。在GPT-OSS (https://huggingface.co/papers?q=GPT-OSS) 120B到60B再到MXFP4 (https://huggingface.co/papers?q=MXFP4)的流程中，QAH学生模型在9个基准测试中的7个上达到或超越了其bfloat16源模型的性能，同时权重内存减少约4倍，参数量仅为教师模型的一半，并已作为Hypernova-60B (https://huggingface.co/papers?q=Hypernova-60B)开源发布。与匹配的QAT基线相比，它达到可比峰值的速度快约7倍，并且在持续训练中保持稳定，无需手动调整提前停止策略。我们还报告了部署经验，包括不同分布式训练后端之间存在一个显著且可复现的质量差距。我们的目标是提供一个无需耗时数周的超参数搜索即可部署的方案。

查看arXiv页面 (https://arxiv.org/abs/2608.20953)查看PDF (https://arxiv.org/pdf/2608.20953)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.20953)

在你的代理中获取本文：

hf papers read 2608\.20953

没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有链接本文的模型

在模型的README.md中引用arxiv.org/abs/2608.20953以从本页面链接它。

引用本文的数据集0

没有链接本文的数据集

在数据集的README.md中引用arxiv.org/abs/2608.20953以从本页面链接它。

引用本文的Space0

没有链接本文的Space

在Space的README.md中引用arxiv.org/abs/2608.20953以从本页面链接它。

包含本文的合集0

没有包含本文的合集

将本文添加到合集 (https://huggingface.co/new-collection)以从本页面链接它。