RTX5090, gemma-4-31B-it-Q6_K.gguf。上下文：之前 - 35k，之后 - 80k！

Reddit r/LocalLLaMA 2026/07/04 11:09 新闻

rtx-5090 gemma-4 quantized context-length gpu-benchmark performance

摘要

在RTX 5090上运行量化后的Gemma-4-31B模型，上下文长度从35k增加到80k，展示了显著的性能提升。

暂无内容

查看原文

相似文章

Reddit r/artificial

一位用户报告称，通过GGUF量化在单张RTX 3090上本地运行了谷歌的Gemma 4 12B模型，发现其性能强劲，包括真实的256k上下文、多模态能力以及函数调用功能，在编码任务上甚至优于更大的70B模型。

X AI KOLs Timeline

在 llama.cpp 中，将量化从 q4_k_m 切换为 q4_k_xl，可在相同 GPU（RTX 4060）上使推理速度翻倍，无需更换硬件或驱动，如 Gemma 4 12B 所示。

X AI KOLs Timeline

DogukanUrker演示了在单张RTX 3060上使用推测解码和KV缓存拆分运行Gemma 4 12B，拥有完整262,144上下文，速度约100 tok/s，实现了接近满GPU利用率且无需CPU卸载。

Reddit r/LocalLLaMA

本文介绍了在RTX 5090 GPU上运行DiffusionGemma 26B A4B GGUF模型的基准测试结果及调优参数，通过优化温度设置和量化选择实现最高44%的加速。

X AI KOLs Timeline

Gemma 4 26B 在 RTX 4060 上运行，通过 llama.cpp 和 Q4_K_XL 量化实现 248K Token 上下文和每秒 20 Token 的速度，从而在消费级硬件上本地处理整个代码库。