标签
本文介绍了一个冻结的12B模型，该模型利用已验证解决方案的持久内存，在已解决问题族上以零生成token实现100%准确率，并在单个46GB GPU上展示了600万token的可移动窗口。
无审查版本的Gemma4-12B发布，采用了量化感知训练（QAT）和多令牌预测头，通过推测解码实现约60%的生成速度提升。该模型在保持质量的同时移除了拒绝回答，现已可在Hugging Face上获取。