标签
ReQuant introduces a backpropagation-free, fixed-grid discrete refinement stage for post-training quantization (PTQ) that iteratively improves initial quantized models while preserving the quantized format, showing consistent gains across various LLMs and bit-widths.
提出了递归残差量化（RRQ），这是一种训练后量化框架，通过加法式残差细化，从单个LLM检查点获得多种有效精度，从而提高了灵活性和构建速度。
ExTernD引入了一种扩展秩三值分解用于LLM训练后量化，通过使用具有自由内秩的因子化表示，使精度接近bf16。在Gemma-4和Qwen3.5等模型上，它以每个权重5.2-5.5有效比特达到Q4_K的精度。
KronQ是一种后训练量化框架，通过Kronecker分解的海森矩阵近似引入梯度协方差，实现了双向非相干处理和改进的混合精度分配灵敏度度量。即使在LLaMA-3-70B等大模型上进行2比特权重量化，也能实现低困惑度。
OrbitQuant提出了一种数据无关的扩散Transformer量化方法，消除了跨时间步和模态进行重新校准的需求，在FLUX.1和CogVideoX等模型的低位宽设置下实现了最先进的后训练量化水平。
CAT-Q 提出了一种面向LLM的训练后三值量化方法，该方法使用可学习调制和软化三值化技术，仅需512个校准样本即可实现优于BitNet 1.58-bit的性能，并可扩展到235B参数规模。
一种新颖的端到端大语言模型压缩框架，联合优化结构化剪枝与混合精度量化，在超低位宽精度下，相比于现有最先进方法实现了显著的困惑度降低和加速效果。
ScaleSweep提出了一种针对LLM的NVFP4训练后量化的新型块缩放初始化方法，通过遍历可行的块缩放候选值来提高精度。在Llama和Qwen模型上的实验表明，在激进量化下，该方法保留了超过93%的全精度性能。
本文提出了FAIR-Calib，一种用于扩散大语言模型的两阶段训练后量化框架，解决了迭代精炼过程中令牌提交的不稳定性问题。在低比特量化下，它在LLaDA和Dream模型上取得了最先进的结果。
本文提出VSRAQ，一种针对混合专家模型的训练后量化方法，通过对齐路由相关logits和专家排序来保持专家选择行为，从而减少量化引起的性能下降，且无推理开销。
本文介绍了Qift，一种固定的无零点两位权重量化层级集，专为Hadamard旋转的大语言模型设计，通过利用旋转权重的近零中心高斯类分布，实现了改进的W2A4/KV4推理。在LLaMA-2-7B和LLaMA-3.1-8B上的实验显示，相比于标准W2量化，困惑度持续提升。
介绍了QAM-W，一种针对LLM权重的联合二维码本量化方法，采用哈达玛旋转和激活感知缩放，在每权重5–6比特下实现接近BF16的困惑度，并以减少32%的权重比特达到与SmoothQuant W8A8相当的质量。
本文介绍了Tail-Aware HiFloat4，这是一种针对Wan2.2文本到视频扩散模型的W4A4训练后量化方法，该方法采用激活尾感知百分位校准来缓解异常值的影响，同时保持HiFloat4算术运算不变。
InfoQuant 提出了一种无需训练的方法——峰值抑制正交变换（PSOT），用于重塑低比特大语言模型量化中的激活分布，在 W4A4KV4 设置下保留了 97% 的浮点精度，并优于之前的 PTQ 方法。
这篇来自NVIDIA的文章介绍了如何使用NVIDIA Model Optimizer库，通过训练后量化方法将CLIP模型量化为FP8格式，从而减少VRAM使用并提升在消费级GPU上的推理性能。
介绍了平坦度度量与双向对角量化（BDQ）用于大型语言模型的训练后量化，实现了接近无损的4比特权重和激活量化，并在极低比特设置下取得了显著改进。
本文研究了不同量化级别（2位到8位）对八个大型语言模型在推理、代码理解和阅读理解任务上的性能影响，发现虽然更高精度通常带来更好的性能，但激进量化通常能保持可接受的准确率，且更大的模型展现出更强的韧性。
LoopQ是一种针对循环语言模型的后训练量化框架，解决了分布偏移、状态复用和误差累积问题。在4位权重和激活量化下，平均准确率提升68.8%。
本文介绍了E-PMQ，一种专家引导的合并后量化框架，解决了合并和量化带来的联合偏差，在CLIP-ViT和FLAN-T5等多任务合并模型上取得了显著的精度提升。
本文提出了显著性感知正则化量化校准（SARQC），这是一个统一的框架，通过添加正则化项以保持权重接近度，从而改善大语言模型（LLM）的训练后量化（PTQ），提升泛化能力和性能。