标签
提出PN-Mix，一种面向RoPE解码器LLM的混合精度键缓存量化方法，通过查询-键对范数识别显著通道对，在约2.26位平均精度下达到或超越现有方法在2.32–2.39位下的精度，且可优雅降级至1.5位。
我们使用全异步强化学习，通过混合精度、混合加速器采样器，在智能体编程任务上训练了一个模型，并通过应用离策略校正，以更低的成本实现了与同构集群相当的训练稳定性。
论文提出 RAMP（循环自适应混合精度），通过分析量化误差在循环深度上的传播规律，将低精度计算置于早期循环步骤，并在末尾步骤恢复全精度，从而在保持循环深度语言模型长上下文预填充质量的同时，在 H100 上实现最高 1.16 倍的端到端首次预填充加速（延迟降低 13.9%）。
Q-PACE 提出一种基于二阶敏感度模型的动态精度分配方法，用于量化感知训练（QAT），在预训练和监督微调实验中（模型规模达4B参数）相比现有混合精度训练方案取得了更优效果，并在更低内存预算下达到可比拟的损失。研究还发现量化敏感度可通过深度和层类型高度预测，从而支持低成本的低频重校准。
本文提出了针对CDNA 1/2/3架构的AMD GPU矩阵核心的精确软件模型，经硬件验证可实现位级可复现性，并展示了其在数值应用中的使用，以与NVIDIA张量核心比较精度。
TileMix引入了一种以分块为中心的混合精度注意力机制，以加速大型语言模型中的长上下文预填充，通过将分数分块组路由到FP16或INT8路径来平衡准确性和效率。
MiCoPro 提出了一种用于混合精度量化的端到端软硬件协同设计框架，利用硬件感知代理模型在延迟约束下搜索最优的逐层位宽，并直接部署到边缘硬件，在准确率下降不到3%的情况下，实现了最高40%的延迟降低。
本文提出了NANQ，一种面向模拟存内计算（CIM）系统的噪声底感知混合精度非均匀量化框架，它根据硬件噪声特性调整量化精度，并在低位宽约束下提高模型精度。
EdgeRazor 是一个轻量级框架，用于通过熵引导的混合精度量化感知蒸馏来压缩大语言模型，实现每参数 1.88 比特，同时保持教师模型的能力，且无需更改 llama.cpp 等推理实现。该方法在 MobileLLM 和 Qwen 变体等小型模型上进行了演示。
MixQuant提出了一种针对大语言模型的自适应混合精度量化框架，通过边缘化随机上游配置下的层失真来处理可变内存预算，在多个模型和预算下均优于现有方法。
本文提出了一种算子感知的校准方法，用于张量核正确性测试中的绝对容差校准，利用误差分布数据设定更严格的阈值。该方法在缺陷检测中将召回率绝对提升了9.3%，且误报极少，在gpuemu语料库上得到了验证。
LaCache 提出了一种针对扩散式LLM的无训练加速框架，利用无损缓存和精度自适应推理消除去噪步骤中的冗余计算，在保持任务精度的同时实现了高达40.2倍的端到端加速。
本文分析了混合精度神经网络中量化损失的结构，表明饱和使每层损失可加，并提出了一种覆盖模型，该模型用少量参数预测配置损失，在大规模模型上得到验证。
KronQ是一种后训练量化框架，通过Kronecker分解的海森矩阵近似引入梯度协方差，实现了双向非相干处理和改进的混合精度分配灵敏度度量。即使在LLaMA-3-70B等大模型上进行2比特权重量化，也能实现低困惑度。
一位社区研究员通过混合量化（NVFP4、NF3、MXFP8），在无需剪枝的情况下，在 vLLM 中运行了 GLM-5.2（753B 参数，全部 256 个专家），可在 4×96GB GPU 上运行，拥有约 307k KV 缓存，精度接近 FP8。
本文介绍MODE，一种用于MoE多模态大语言模型的模态分解专家级混合精度量化框架，通过按模态分解选择频率并过滤冗余视觉标记来解决专家重要性估计中的偏差，在激进量化下实现极小的性能损失。
对Google的Gemma-4-12B-it模型进行混合精度量化，使用NVFP4用于MLP权重，FP8用于注意力层，实现了25%更小的存储占用和更快的吞吐量，同时保持质量。
dMX 是一个可微分混合精度量化框架，能够为大型语言模型逐层学习最优的浮点位宽分配，目标是由 OCP 标准定义的 MXFP 系列格式。它采用基于温度的退火策略和预算感知的正则化项进行连续优化，在 Llama、Qwen3 和 SmolLM2 模型上始终优于基于 KL 散度的启发式方法。
来自 UiT 和奥斯陆大学的研究人员提出了一种可微分 NAS 框架，能够联合优化 LLM 压缩中的架构配置与混合精度量化策略。与先 NAS 后量化的顺序基线方法相比，该框架在七项推理任务中可实现最高 1.4 倍的推理加速，或最高 6% 的精度提升。
BitsMoE提出了一种基于谱能引导的比特分配框架，用于量化混合专家大语言模型，在超低位宽量化下实现了显著的精度提升和加速。