@mylifcc: 我已经在mac上用上Gemma-4-12b了，技术栈是： llama.cpp + GGUF Q4_K_M + Metal 32K context，本地 OpenAI-compatible API 实测约 36 tok/s，常驻 RSS 约…
摘要
用户分享在Mac上使用llama.cpp配合GGUF Q4_K_M量化版Gemma-4-12b模型的经验，实现了约36 tok/s的本地推理速度和约10GB内存占用。
查看缓存全文
缓存时间: 2026/06/03 21:54
我已经在mac上用上Gemma-4-12b了，技术栈是： llama.cpp + GGUF Q4_K_M + Metal 32K context，本地 OpenAI-compatible API 实测约 36 tok/s，常驻 RSS 约 10GB
难以想象，只有10GB的内存占用！ 如果你也有一台16GB以上的MAC，看我的方案，你可以不一直用，但你能忍住不试试吗？ https://t.co/F3yL6fyAoh
相似文章
在MLX中使用turboquant（及自定义内核）运行Gemma4 26b MoE
一位开发者成功在Apple MacBook Air M5上使用MLX、turboquant和自定义内核运行了Gemma4 26b MoE，实现了比llama.cpp更快的提示处理和生成速度，且内存占用更低。实现方式包括本地部署说明。
Gemma 4 + LiteRT-LM在移动设备上：内存和性能远优于我的llama.cpp设置
用户分享在移动设备上运行Gemma 4与LiteRT-LM的亲身对比体验，相较于之前的llama.cpp设置，内存占用显著降低（1.5-2 GB vs 4-5 GB），推理速度更快（2-4秒 vs 7-10秒），测试机型包括三星S25 Ultra和iPhone 13 Pro Max。
@iluciddreaming: 玩了两个月本地 LLM。 用 Windows 11 + llama.cpp + llama-swap 狂测各种开源模型，这是我的最终成绩单： 硬件：i7-13700 + 64GB RAM + RTX 4070 目前最能打的组合是 gemm…
经过两个月本地 LLM 测试，作者认为 gemma-4-12B-it-QAT 和 MTP 辅助组合在速度和可用性上表现最佳，硬件为 i7-13700 + 64GB RAM + RTX 4070。
@hank_aibtc: 猛啊！在浏览器里跑 Gemma 4，堪比 ChatGPT？！ 完全零服务器、零数据上传、离线使用、纯WebGPU本地推理！ Xenova把 Fable 5写的27个自定义WebGPU内核 全部开源了： - Gemma 4 E2B（23亿参…
文章介绍了Xenova开源了27个自定义WebGPU内核，使得Gemma 4模型可以在浏览器中完全离线、本地运行，性能达到255 tok/s，并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。
@leopardracer: GEMMA 4 26B 在 RTX 4060 上运行，拥有 248K Token 上下文窗口，每秒 20 个 Token，上下文窗口大得可以……
Gemma 4 26B 在 RTX 4060 上运行，通过 llama.cpp 和 Q4_K_XL 量化实现 248K Token 上下文和每秒 20 Token 的速度，从而在消费级硬件上本地处理整个代码库。