标签
用户分享在Mac上使用llama.cpp配合GGUF Q4_K_M量化版Gemma-4-12b模型的经验，实现了约36 tok/s的本地推理速度和约10GB内存占用。
我们刚刚发布了 Gemma 4 12B，一个中型多模态模型，支持原生音频输入，仅需 16GB 内存，并以 Apache 2.0 许可证发布。