标签
提出消息传递量化（MPQ），将逐行训练后量化（PTQ）视为离散码本上的后验推断，通过在块间保留软后验信息来改进 GPTQ 等硬决策求解器，在 Llama、Qwen、Mistral 模型上降低了 2/3/4 位量化的困惑度，并提高了零样本精度。
本文研究了针对4位文本嵌入模型（e5-base-v2、BGE-M3、EmbeddingGemma-300m）的学习式训练后量化校准方法，发现校准结果随更新的"剂量"不同，可能带来性能提升，也可能导致灾难性崩溃。为此，本文提出了一种基于验证门控的弃权规则，能够在保留绝大多数有益检查点的同时，避免选中有害的检查点。
论文指出，权重量化中降低重建损失并不总能提升模型性能，甚至可能因输入激活分布偏移而劣化。为此提出分布鲁棒量化（DRQ）后处理优化框架，通过在受限激活分布集合上最小化最坏情况下的重建损失，改进了 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法的下游表现，且不增加推理开销。
腾讯研究人员在 Hugging Face 上发布了 STEPQuant，一个针对 Delta-rule 循环状态的空间-时间后训练量化框架，仅用 6-bit 状态即可匹配 FP32 精度，并将服务内存最多削减 68.7%。
该研究在预训练的 AI 天气模拟器（DLWP 和 FourCastNet）上探索训练后量化（PTQ），以加速自回归推理并实现边缘硬件部署，发现量化后的配置仍能保留具有定性意义的短期预报结果。
JARQ 提出了一种适用于分组训练后量化器的即插即用联合精修方法，交替进行联合最小二乘尺度拟合与有界的 Babai 提议，使大量码字协同移动。在 Llama-2/3 和 Qwen 模型上，针对以 RTN、GPTQ、OmniQuant 和 AWQ 为宿主的量化设置，该方法在 96 项对比中的 90 项降低了困惑度；对于 3-bit RTN，其困惑度最多降低 36%，而每个 7B 模块的处理时间不到一分钟。
ShamAN-Q 提出一种亚1比特后训练量化方法，通过用 Shampoo 优化器启发的稠密曲率度量（Kronecker 拟合经验 Fisher 信息矩阵）替代 NanoQuant 的对角重构几何，在 1 bpw 下显著降低 Qwen3-Base 在 WikiText-2 上的困惑度，并保持零样本准确率。
ThinQuant 提出了一种数据高效、无梯度的旋转学习方法，用于大模型（LLM）的权重与激活量化。该方法基于凸包（convex-hull）选择校准数据，并采用基于 ADMM 的 Stiefel 流形优化器，可在单张 H200 GPU 上扩展至 Llama-3.1-405B 规模，同时取得更好的困惑度（perplexity）表现，并大幅缩短校准时间。
本文提出G^2PTQ，一种统一的大语言模型训练后量化框架，采用广义梯度补偿来改善与全精度模型的对齐，优于最先进基线。
本文提出大语言模型量化误差的分解框架，将其分离为激活值引导的权重补偿与正交残差两部分，并通过Hadamard旋转和符号选择等技术推导出改进W4A4量化的实用指南。
本文回顾了基于Kashin分解的大型语言模型权重量化方法，并提出一种使用结构化正交变换的改进算法，相比OPTQ和QuIP等方法，降低了计算成本并确保了数值稳定性。
本研究报告评估了Qwen3-4B模型的训练后三值化处理，实现了1.641位的有效权重表示与显著的存储压缩，同时指出了性能折衷及尚未解决的部署加速问题。
QTEA是一种面向大语言模型的亚2比特训练后量化框架，通过稀疏残差显著权重与按列优化，实现了三值权重压缩，并提升了准确率与硬件效率。
本文提出REAL-Q，一种新颖的端到端对齐训练后量化方法，用于大语言模型，该方法利用动态梯度下降来减轻量化误差，在KL散度降低方面相较于最先进方法实现了显著改进。
OCGQuant提出了一种用于NVFP4量化的异常值伴随分组方法，以减少激活块误差，提升LLM推理效率。在Llama3和Qwen3上的实验表明，其性能优于现有的后训练量化技术。
HyGenQ是一个针对混合迭代生成模型的训练后量化框架，解决了过度离群值和放大异常等挑战，实现了8位精度量化，同时保持生成质量。
ReRound是一种训练后量化方法，使用条件扩散模型来引导接近中点的权重的舍入，在3位和4位量化下提高小型LLM的准确性，且不引入推理开销。
ReQuant introduces a backpropagation-free, fixed-grid discrete refinement stage for post-training quantization (PTQ) that iteratively improves initial quantized models while preserving the quantized format, showing consistent gains across various LLMs and bit-widths.
提出了递归残差量化（RRQ），这是一种训练后量化框架，通过加法式残差细化，从单个LLM检查点获得多种有效精度，从而提高了灵活性和构建速度。
ExTernD引入了一种扩展秩三值分解用于LLM训练后量化，通过使用具有自由内秩的因子化表示，使精度接近bf16。在Gemma-4和Qwen3.5等模型上，它以每个权重5.2-5.5有效比特达到Q4_K的精度。