标签
ThriftAttention提出了一种选择性混合精度注意力方法，该方法仅对一小部分查询-键块使用FP16计算，其余使用FP4，从而在长上下文推理中实现接近FP16的质量和FP4的效率。
提出GEMQ，一种面向MoE大语言模型的全局专家级混合精度量化方法，利用线性规划和路由器微调来减少内存占用并加速推理，同时将精度损失降至最低。
CONF-KV 是一种KV缓存管理系统，利用模型不确定性动态调整缓存保留策略，从而提升长上下文大语言模型推理的内存效率，同时将困惑度控制在1.5-2.1个点以内。
本文介绍了 RateQuant，一种用于优化混合精度 KV Cache 量化的方法。该方法利用率失真理论解决失真模型不匹配问题，与 KIVI 和 QuaRot 等现有方法相比，在极低的校准开销下显著降低了困惑度。
Reddit 帖子对比了 Qwen3.6-27B 的多种量化版本（INT4、NVFP4、BF16-INT4），展示不同场景下内存占用与精度的权衡。
Bitnet.cpp 提出了一个混合精度矩阵乘法库，用于高效边缘推理三值大语言模型（如 BitNet b1.58），相比全精度基线实现了高达 6.25 倍的加速。该系统已在 GitHub 上开源。