标签
一位社区研究员通过混合量化（NVFP4、NF3、MXFP8），在无需剪枝的情况下，在 vLLM 中运行了 GLM-5.2（753B 参数，全部 256 个专家），可在 4×96GB GPU 上运行，拥有约 307k KV 缓存，精度接近 FP8。
本文介绍MODE，一种用于MoE多模态大语言模型的模态分解专家级混合精度量化框架，通过按模态分解选择频率并过滤冗余视觉标记来解决专家重要性估计中的偏差，在激进量化下实现极小的性能损失。
对Google的Gemma-4-12B-it模型进行混合精度量化，使用NVFP4用于MLP权重，FP8用于注意力层，实现了25%更小的存储占用和更快的吞吐量，同时保持质量。
dMX 是一个可微分混合精度量化框架，能够为大型语言模型逐层学习最优的浮点位宽分配，目标是由 OCP 标准定义的 MXFP 系列格式。它采用基于温度的退火策略和预算感知的正则化项进行连续优化，在 Llama、Qwen3 和 SmolLM2 模型上始终优于基于 KL 散度的启发式方法。
来自 UiT 和奥斯陆大学的研究人员提出了一种可微分 NAS 框架，能够联合优化 LLM 压缩中的架构配置与混合精度量化策略。与先 NAS 后量化的顺序基线方法相比，该框架在七项推理任务中可实现最高 1.4 倍的推理加速，或最高 6% 的精度提升。
BitsMoE提出了一种基于谱能引导的比特分配框架，用于量化混合专家大语言模型，在超低位宽量化下实现了显著的精度提升和加速。
ThriftAttention提出了一种选择性混合精度注意力方法，该方法仅对一小部分查询-键块使用FP16计算，其余使用FP4，从而在长上下文推理中实现接近FP16的质量和FP4的效率。
提出GEMQ，一种面向MoE大语言模型的全局专家级混合精度量化方法，利用线性规划和路由器微调来减少内存占用并加速推理，同时将精度损失降至最低。
CONF-KV 是一种KV缓存管理系统，利用模型不确定性动态调整缓存保留策略，从而提升长上下文大语言模型推理的内存效率，同时将困惑度控制在1.5-2.1个点以内。
本文介绍了 RateQuant，一种用于优化混合精度 KV Cache 量化的方法。该方法利用率失真理论解决失真模型不匹配问题，与 KIVI 和 QuaRot 等现有方法相比，在极低的校准开销下显著降低了困惑度。
Reddit 帖子对比了 Qwen3.6-27B 的多种量化版本（INT4、NVFP4、BF16-INT4），展示不同场景下内存占用与精度的权衡。
Bitnet.cpp 提出了一个混合精度矩阵乘法库，用于高效边缘推理三值大语言模型（如 BitNet b1.58），相比全精度基线实现了高达 6.25 倍的加速。该系统已在 GitHub 上开源。