标签
ThinkBit 是一个严格标量的两比特量化框架，通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上，它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。
QUASAR 释放了针对 Qwen3.5-4B、Gemma 4 E4B/12B 和 Muse Glimmer 30B 的 4-bit QAT 检查点（NVFP4 与 Q4_0 GGUF 格式），通过量化感知蒸馏在 KL 散度和下游基准上超越 Google 与 NVIDIA 的官方 4-bit 版本。代码、论文与项目页现已公开。
Q-PACE 提出一种基于二阶敏感度模型的动态精度分配方法，用于量化感知训练（QAT），在预训练和监督微调实验中（模型规模达4B参数）相比现有混合精度训练方案取得了更优效果，并在更低内存预算下达到可比拟的损失。研究还发现量化敏感度可通过深度和层类型高度预测，从而支持低成本的低频重校准。
OnlineQAT 采用两阶段框架：先通过块级 QAT 获得低位初始化，再在学生自生成的轨迹上，利用冻结的全精度教师进行反向 KL 的在线蒸馏，从而缓解固定补全训练与部署时学生自采样前缀之间的分布错配。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16（57.28）和 W2A16（32.52）设置中取得对比方法中的最佳平均分，较 ReasoningQAT 分别提升 2.90 和 0.44 分。
这篇文章质疑为什么量化感知训练没有成为开放权重AI模型的标准实践，并询问了如计算成本或性能影响等潜在障碍。
本文研究分析了三元量化语言模型中的能力分层退化现象。研究表明，尽管事实知识出现显著衰退，但常识推理能力和下游任务适应性仍得以保持，这使得该类模型在高效边缘部署中具有实用价值。
QUASAR是一种量化感知训练方法，通过使用损失感知重建来降低损失下限，提升大型语言模型中低比特模型的性能，在2-4比特时实现显著的精度增益。
对谷歌 Gemma 4 技术报告的评论，指出他们通过量化感知训练（QAT）和多令牌预测（MTP）进行了激进的优化，以实现更快的推理。
介绍了可变位宽量化（VBQ），一种训练时的方法，其中每组64个权重通过Gumbel-Softmax松弛学习自己的位宽（1、2、4、8）。VBQ发现了一种异构分配，实现了“更大但更小”的机制，例如，平均位宽1.82的1.31亿参数模型在TinyStories上的困惑度为4.2，击败了5500万FP16模型（困惑度4.4），同时存储减少3.8倍；而1.46B模型在FineWeb-Edu上与593M FP16控制模型表现相当，存储减少约3.7倍。
Gemma4-12B-QAT Uncensored Balanced 发布，这是一个经过微调的无审查模型，配备多 token 预测草案头，可实现约 60% 更快的推测解码，针对 llama.cpp 优化，并支持视觉功能。
Google 发布了 Gemma 4 模型，采用量化感知训练 (QAT) 并以 Q4_0 精度托管在 Hugging Face 上，提供从 5B 到 33B 参数的高效变体。
新的 QAT Gemma 4 检查点提供相似的性能，内存使用减少约 4 倍，通过一种新的移动端量化格式，使 Gemma 4 E2B 的内存占用仅需 1GB。
谷歌发布采用量化感知训练（QAT）优化的Gemma 4模型，旨在提升移动和笔记本电脑部署的效率，将E2B模型的内存占用降至1GB，同时保持质量。
Google DeepMind 发布了 Gemma 4 模型，这些模型通过量化感知训练（QAT）进行了优化，并提供包括 GGUF 在内的多种格式，在降低内存需求的同时实现了高质量。
本文系统研究了OpenPangu-Embedded-1B的HiF8 W8A8量化感知训练，识别并解决了amax饱和和灾难性遗忘等失效模式，通过64步最大算法DTS策略和500步BF16预热实现了近无损性能。