@no_stp_on_snek:9070 XT 在 Butter 上运行。@waffuruai。效果还不错,仍有一些细节待优化。Gemma 4 12B https://localmaxxing.com/…
摘要
用户在 Radeon RX 9070 XT 显卡上对 Gemma 4 12B IT(GGUF)进行了基准测试,通过 localmaxxing.com 测得约 85.3 tokens/秒的速度,认为性能表现不错,但仍有改进空间。
查看缓存全文
缓存时间: 2026/10/05 19:31
9070 XT 在 Butter 上跑的。@waffuruai 。还不错。还有一些细节需要打磨 Gemma 4 12B https://localmaxxing.com/en/models/unsloth/gemma-4-12b-it-GGUF?run=cmuvdjsum002vmr01ooq7j6ou…
gemma-4-12b-it-GGUF — RX 9070 XT · 16 GB 上 85.3 tok/s
来源:https://www.localmaxxing.com/en/models/unsloth/gemma-4-12b-it-GGUF?run=cmuvdjsum002vmr01ooq7j6ou
实测性能
运行快照
符合以下筛选条件的所有运行。
最快的运行
中位速度
内存占用上限
最慢的运行
实测运行
相似文章
@DogukanUrker: 单张RTX 3060上运行Gemma 4 12B:完整262,144上下文,速度约100 tok/s。(配置如下)密集模型 -> MTP推测…
DogukanUrker演示了在单张RTX 3060上使用推测解码和KV缓存拆分运行Gemma 4 12B,拥有完整262,144上下文,速度约100 tok/s,实现了接近满GPU利用率且无需CPU卸载。
昨天在我的3090上跑了gemma 4 12b,我觉得本地模型领域已经变了
一位用户报告称,通过GGUF量化在单张RTX 3090上本地运行了谷歌的Gemma 4 12B模型,发现其性能强劲,包括真实的256k上下文、多模态能力以及函数调用功能,在编码任务上甚至优于更大的70B模型。
Qwen3.6-35B 与 Gemma4-26B 在 7900 XTX 上的对比
一项详细的基准测试对比了 Radeon 7900 XTX 上的 Qwen3.6-35B 和 Gemma4-26B,结果显示尽管 Gemma 的 token 生成速度较慢,但端到端快了约 20%,原因是 Qwen 因内部推理生成了约两倍的 token。文章建议:在吞吐量受限的批量任务中使用 Qwen,在延迟敏感的单次请求中使用 Gemma。
@leopardracer: GEMMA 4 26B 在 RTX 4060 上运行,拥有 248K Token 上下文窗口,每秒 20 个 Token,上下文窗口大得可以……
Gemma 4 26B 在 RTX 4060 上运行,通过 llama.cpp 和 Q4_K_XL 量化实现 248K Token 上下文和每秒 20 Token 的速度,从而在消费级硬件上本地处理整个代码库。
Gemma 4 QAT 基准测试结果(AMD 7900 XTX):速度更快,显存占用更少,质量无损
一位用户在 AMD 7900 XTX 上对 Google 的 Gemma 4 QAT 模型进行了基准测试,报告显示生成速度提升高达 45%,吞吐量提高 83%,显存占用大幅减少(例如 12B QAT 模型节省 5.7GB),且与标准权重相比质量无损。