qat

论文提出了 OnQ 流水线，通过同策略蒸馏与候选级动态 KL 恢复低比特量化大语言模型的推理能力，在 Qwen3 系列的 2/3 比特量化模型上取得了九项基准测试的最优平均成绩，其中 Qwen3-8B 在 2 比特量化下的平均成绩提升了 10.26 分。

一位开发者展示了一个仅24KB的独立HTML-LLM，可在智能手机上以每秒超过60个token的速度生成连贯的故事，该成果通过自适应量化和QAT（量化感知训练）在81KB的MacroStory模型上实现，并使用本地Qwen3.8工具完成。

LittleBit 提出了一种通过低秩潜在矩阵分解与二值化实现超低比特（低至0.1 BPW）LLM 量化的框架，配合多尺度补偿机制，在 Llama2-7B 上以 0.1 BPW 超越了现有 0.7 BPW 方法，实现约 31 倍内存压缩与最高 11.6 倍推理加速。

Samsung Labs 释出 LittleBit 项目（NeurIPS 2025 / ICML 2026），通过潜在空间低秩分解与二值化实现大语言模型的亚 1-bit（低至 0.1 bpw）压缩，并在 LittleBit-2 中引入 Joint-ITQ 潜在几何对齐初始化以提升性能。

Prism-LM 的基于 Qwen3.8 的 Bonsai 2 QAT 模型已被评估并加入比较研究，在综合基准测试中达到约 91.5%，并为模型权衡提供了可靠的参考。

用户报告在使用Vulkan后端时，Gemma 4 12B QAT模型开启MTP后的推理速度变慢，但发现切换到ROCm后性能显著提升，MTP下达到60t/s。

一位用户分享了使用 QAT Q2 和 Q5 KV 运行量化版 Qwen 3.8 27B 模型的经验，在 12GB 显卡上实现了高达 200K token 上下文的高性能，性能超越了 Sonnet 4.6 等模型。

Whisper large-v3-turbo 已压缩至 368 MB，采用 Q3_K 匹配的量化感知训练，并报告了多语言词错误率结果。

Gemma 4 QAT 31B 模型在 KV 缓存量化时表现出更好的行为，表明推理效率得到提升。

Gemma 4 12B QAT（密集）使用TurboQuant在8GB RTX 4060上实现超过1000 tokens/秒的预填充速度，支持120k上下文，实现完整的GPU层卸载。相比之前的方法，预填充速度提升了42%。

作者发布了Gemma 4模型（12B和31B）改进后的GGUF量化版本，采用了更精确的量化感知训练过程，相比原版量化实现了更低的KLD和更高的同top百分比。

Unsloth 发布了 Gemma 4 QAT MTP 辅助模型，以 GGUF 文件形式在 Hugging Face 上提供，支持 q8_0 及更大量化格式。

一位用户在MMLU_PRO和HumanEval上对Gemma 4 26B IT的三个量化版本（4位、6位和8位QAT）进行了基准测试，发现QAT 8位模型在HumanEval上的表现不如6位量化版本，且并未明显优于4位版本，从而质疑QAT对此模型的优越性。

Google 发布了 Gemma 4 模型，采用量化感知训练 (QAT) 并以 Q4_0 精度托管在 Hugging Face 上，提供从 5B 到 33B 参数的高效变体。

新的 QAT Gemma 4 检查点提供相似的性能，内存使用减少约 4 倍，通过一种新的移动端量化格式，使 Gemma 4 E2B 的内存占用仅需 1GB。

基准测试结果显示，在24GB RTX 3090 GPU上使用QAT和MTP，Gemma 4模型（12B和26B）的每秒token速度提升了1.2-1.8倍。

作者报告称，与标准 Q5_K_L 版本相比，Gemma 4 12b QAT 模型由于控制令牌配置错误导致的 bug，在工具调用和编码任务上出现了倒退。尽管令牌速度很高，但模型输出不一致，使其不适合代理工作流。

技术对比显示，Google的Q4_0量化Gemma-4模型比Unsloth的Q4_K_XL版本具有更高的精度和更多的高精度张量，从而导致文件体积更大。

用户分享了使用Gemma4 QAT模型的积极体验，提到质量提升和MTP带来的速度增益，并询问其他人的体验。

关于2位量化感知训练（QAT）在更大规模MoE模型上的潜力的讨论，比较其与4位QAT及三元LLM的性能，并探讨在消费级硬件上的可行性。