标签
弗吉尼亚联邦大学的一篇论文探讨了用于电力负荷预测的 Transformer 模型的极低状态数权重量化（3、5、7、16 个状态），表明量化感知训练和累积更新阈值机制能够在保持预测性能的同时，将权重更新次数减少约 99.7%。
本次研究发布介绍了一种名为 RCOL 的技术，它是一种针对 Qwen 3.5 2B 模型的改进型动态低位量化方法（支持 IQ1_M、IQ2_M、IQ3_M），可在严格显存限制下运行，与标准的 llama.cpp imatrix 量化相比，KL 散度有显著改善，尤其在极低比特率下表现突出。
论文指出，权重量化中降低重建损失并不总能提升模型性能，甚至可能因输入激活分布偏移而劣化。为此提出分布鲁棒量化（DRQ）后处理优化框架，通过在受限激活分布集合上最小化最坏情况下的重建损失，改进了 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法的下游表现，且不增加推理开销。
ThinQuant 提出了一种数据高效、无梯度的旋转学习方法，用于大模型（LLM）的权重与激活量化。该方法基于凸包（convex-hull）选择校准数据，并采用基于 ADMM 的 Stiefel 流形优化器，可在单张 H200 GPU 上扩展至 Llama-3.1-405B 规模，同时取得更好的困惑度（perplexity）表现，并大幅缩短校准时间。
QuantMLA 提出一种功能对齐的双路径量化框架，对 MLA 的内容路径与 RoPE 路径进行低比特 KV 缓存压缩，首次实现 INT4 联合缓存且精度几乎无损，并通过自定义低比特注意力内核在 128K 上下文下获得 3.59 倍压缩和 5.168 倍吞吐提升。
介绍Ternary Bonsai 2 27B，这是一个高度压缩的AI模型，在占用空间缩小9倍的同时保留了98.2%的性能，使得推理、编码和多模态处理等任务能够高效地在本地部署。
ReRound是一种训练后量化方法，使用条件扩散模型来引导接近中点的权重的舍入，在3位和4位量化下提高小型LLM的准确性，且不引入推理开销。
介绍了AuroOFT，一种通过零起点门控低秩非线性残差增强量化正交微调（QOFT）的方法，在低比特语言模型上以更少的可训练参数提升了数学推理准确率，优于QOFT和QLoRA。
本文发现低位KV缓存量化会因logits的结构化局部误排名而降低大语言模型精度，提出DGAP方法，通过恢复Top-K候选的局部分布，在Llama-3.1-8B模型上将RULER准确率从47.8%恢复至83.2%，且仅增加极小的开销。
一位用户在Terminal-Bench 2.0上测试了27B参数Bonsai模型的量化1-bit和2-bit版本，在8GB显存内获得了结果。
本文分析了混合精度神经网络中量化损失的结构，表明饱和使每层损失可加，并提出了一种覆盖模型，该模型用少量参数预测配置损失，在大规模模型上得到验证。
本文介绍了 BitEmbed，一个用于基于 LLM 的文本嵌入的极低位宽框架，它将预训练的 LLM 骨干转换为具有三值权重和量化激活的 BitNet 风格编码器。该框架在显著降低编码和存储成本的同时，实现了与全精度模型相当的性能。
提出LC-QAT，一种用于大语言模型的2比特仅权重量化感知训练框架，通过学习仿射映射实现端到端训练，仅使用0.1%–10%的训练数据即达到最优结果。
本文介绍了Qift，一种固定的无零点两位权重量化层级集，专为Hadamard旋转的大语言模型设计，通过利用旋转权重的近零中心高斯类分布，实现了改进的W2A4/KV4推理。在LLaMA-2-7B和LLaMA-3.1-8B上的实验显示，相比于标准W2量化，困惑度持续提升。
BitsMoE提出了一种基于谱能引导的比特分配框架，用于量化混合专家大语言模型，在超低位宽量化下实现了显著的精度提升和加速。
本文介绍了Tail-Aware HiFloat4，这是一种针对Wan2.2文本到视频扩散模型的W4A4训练后量化方法，该方法采用激活尾感知百分位校准来缓解异常值的影响，同时保持HiFloat4算术运算不变。
Quant.npu 提出了一种面向移动 NPU 的全静态量化框架，利用可学习参数和旋转矩阵，无需运行时重新计算即可实现高效的低比特大语言模型推理，延迟最高降低 15.1%。
本文测量了来自8个开放LLM家族的27个检查点的最大激活幅度，发现不同家族、架构和训练阶段之间存在显著差异，这对低位量化和部署具有影响。
修复 imatrix 计算 bug 后，已将修正后的 2-bit GGUF 模型文件上传至 Hugging Face，从而提升了 logits 召回率并降低了误差。
一种使用三值权重（-1、0、1）的高效 AI 模型架构，仅需 1.58 比特/参数即可实现具有竞争力的性能，可部署在极度受限的设备上。