标签
研究审计了 Ollama 与 Hugging Face 上的量化 GGUF 文件，发现部分低比特量化模型因未校准的量化配方而功能失效，发布了 quantcheck 工具并建议在发布前进行筛查与校准。
PRQuant 是一种无需训练且低开销的框架，用于量化大型语言模型中的线性层，通过置换和残差补偿来减少推理延迟，同时在如MXFP4等基准上提升准确性。
Prism ML 发布了一款三元权重27B级AI模型，专为Apple笔记本电脑的本地使用优化，以8.60 GB的占用空间和约47 tok/s的性能，保留了98.2%的全精度智能。
HyQuant 通过保留关键垂直线令牌和局部窗口在高精度下，同时量化其余部分，从而改进低比特LLM注意力量化，以低开销维持准确性。
ExTernD引入了一种扩展秩三值分解用于LLM训练后量化，通过使用具有自由内秩的因子化表示，使精度接近bf16。在Gemma-4和Qwen3.5等模型上，它以每个权重5.2-5.5有效比特达到Q4_K的精度。
InfoQuant 提出了一种无需训练的方法——峰值抑制正交变换（PSOT），用于重塑低比特大语言模型量化中的激活分布，在 W4A4KV4 设置下保留了 97% 的浮点精度，并优于之前的 PTQ 方法。
OSCAR是一种离线谱协方差感知旋转方法，用于2位KV缓存量化，该方法将量化与注意力协方差结构对齐，为长上下文LLM服务实现了高精度和高效率。