标签
本文提出了 CERTA，一种基于保形风险控制（conformal risk control）的决策级统计认证方法，用于判断量化后的大语言模型何时可以在临床验证任务中安全替代其 BF16 参考模型。研究结果表明，8 位量化几乎可以认证所有决策，而 4 位量化配置则可将 72B 模型的部署成本降至约 26%。
用户分享的独立测试结果表明，Qwen3.8 模型的 Strata 和 Swift 量化变体为了追求速度，牺牲了大量智能表现，而 27B Q4 模型尽管慢了 3–5 倍，却在实际编程任务中表现更好。
一位用户询问，为什么对于 Ornith 1.5 9B，llama.cpp 中的多 Token 预测（MTP）推测解码虽然草稿接受率高达 0.95，吞吐量却低于标准解码（约 15 tok/s，而标准解码约为 30 tok/s），并指出内存带宽和 GPU 利用率均减半。
论文指出，权重量化中降低重建损失并不总能提升模型性能，甚至可能因输入激活分布偏移而劣化。为此提出分布鲁棒量化（DRQ）后处理优化框架，通过在受限激活分布集合上最小化最坏情况下的重建损失，改进了 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法的下游表现，且不增加推理开销。
Dynamic Quantiser 是一款开源工具，使用户能够创建自定义和高质量的 LLM GGUF 文件动态量化，通过最小化余弦偏差来提高准确性，相比标准量化更优。
本文提出大语言模型量化误差的分解框架，将其分离为激活值引导的权重补偿与正交残差两部分，并通过Hadamard旋转和符号选择等技术推导出改进W4A4量化的实用指南。
本文综述了200项关于大语言模型量化的工作，形式化了“大逆转”原则，该原则对比了编码中的能量集中与量化中的组内平坦化，并基于部署方案与MXFP4、NVFP4等格式提供了线性变换选择指南。
ExTernD引入了一种扩展秩三值分解用于LLM训练后量化，通过使用具有自由内秩的因子化表示，使精度接近bf16。在Gemma-4和Qwen3.5等模型上，它以每个权重5.2-5.5有效比特达到Q4_K的精度。
GitHub上的一个开放数据集绘制了哪些本地LLM适合不同的内存层级（8GB到128GB），提供了内存大小规则、每层模型列表和Ollama命令，并带有用于编程访问的JSON API。
ScaleSweep提出了一种针对LLM的NVFP4训练后量化的新型块缩放初始化方法，通过遍历可行的块缩放候选值来提高精度。在Llama和Qwen模型上的实验表明，在激进量化下，该方法保留了超过93%的全精度性能。
# LiftQuant 引入"先提升后投影"机制，实现大语言模型的连续（非整数）位宽量化，精准适配硬件内存预算。该框架将 70B 大语言模型压缩至 2.4 位以适配 24GB GPU，性能超越当前最先进的 2 位模型。
介绍了QAM-W，一种针对LLM权重的联合二维码本量化方法，采用哈达玛旋转和激活感知缩放，在每权重5–6比特下实现接近BF16的困惑度，并以减少32%的权重比特达到与SmoothQuant W8A8相当的质量。
本文探讨了极低量化大语言模型中的平滑性退化问题，认为除了数值精度外，保持平滑性对于维持模型性能至关重要。
一位用户成功在三个 GTX 1080 Ti GPU 上对 27B 参数的 Qwen 模型进行本地推理，通过 TurboQuant 优化达到了约 28-30 tokens/秒的速度。
研究者发现激进LLM量化存在两种截然不同的失效模式——信号退化与计算崩溃，并证明无需训练的修复手段仅能缓解前者，表明超低比特模型需进行结构性重建。