qat

一位用户寻求澄清 llama.cpp 中 MTP（多 token 预测）与 QAT（量化感知训练）之间的关系，特别是关于 Gemma4 模型的 GGUF 兼容性以及文件名中新增的 QAT 字符串。

有用户报告称，Gemma4 26B A4B的QAT量化变体在棋盘SVG测试中性能比非QAT版本更差，尽管使用了建议设置，棋子绘制仍不稳定。

Google的Gemma 4 12B QAT模型通过llama.cpp的多令牌预测（MTP）在12GB GPU上达到120 tok/s。本文提供分步指南以及无MTP的基准对比，显示速度提升2倍。

讨论对像Gemma-4这样的量化感知训练(QAT)模型使用替代量化方法是否合理，质疑unsloth的基准测试显示其更接近QAT微调的性能是有益还是适得其反。

一位用户在 AMD 7900 XTX 上对 Google 的 Gemma 4 QAT 模型进行了基准测试，报告显示生成速度提升高达 45%，吞吐量提高 83%，显存占用大幅减少（例如 12B QAT 模型节省 5.7GB），且与标准权重相比质量无损。

Unsloth 发布了Google DeepMind的Gemma 4模型的GGUF量化版本，通过量化感知训练（QAT）优化，在保持质量的同时降低内存需求，支持多种格式和大小，适用于不同的部署场景。

一位 Google Gemma 团队成员证实，Gemma 4 QAT（量化感知训练）模型即将发布，建议用户等待后再测试自己的量化版本。

宣布即将发布使用量化感知训练（QAT）的B27模型量化版本，号称迄今为止最智能的B27。