感谢 Mradermacher。

Reddit r/LocalLLaMA 2026/09/30 04:45 新闻

ai-quantization gemma-model nvidia-gpu lmstudio hermes-model inference-performance ai-hardware

摘要

用户感谢 Mradermacher 帮助量化 Gemma 4 26b 模型，使其在两台 NVIDIA 4060 GPU 上使用 lmstudio 高效运行，实现了高吞吐量和性能。

业界最佳智能量化，成功让 Gemma 4 26b 在两块 NVIDIA 4060 8GB GPU 上使用 lmstudio 运行，达到 75tok/s 的生成吞吐量和 1500 pp 的处理速度，并为 hermes 提供服务，付出了大量工作。

查看原文

相似文章

X AI KOLs Timeline

一条推文指出，经过 abliterated 处理、NVFP4 量化的 Gemma-4-12B 模型（7.7 GB）在实际任务中能够与 Qwen 3.6-35B 相媲美，同时在 Blackwell GPU 上运行快速，展现了显著的效率提升。

X AI KOLs Timeline

用户在8GB显存的游戏本上，使用llama.cpp配合MTP推测解码，以约3 tokens/s的速度运行了Gemma 4 31B稠密模型，展示了在消费级硬件上运行31B稠密模型的可行性，并提出了智能体工作流程：快速MoE模型将困难任务路由给这个较慢的稠密模型。

X AI KOLs Timeline

Alok演示了使用Unsloth的QAT量化以及llama.cpp中的-cmoe标志，在8GB显存上运行Gemma 4 26B MoE，实现了250k上下文下20 token/秒的速度，这标志着廉价本地AI的一个重要里程碑。

Reddit r/artificial

一位用户报告称，通过GGUF量化在单张RTX 3090上本地运行了谷歌的Gemma 4 12B模型，发现其性能强劲，包括真实的256k上下文、多模态能力以及函数调用功能，在编码任务上甚至优于更大的70B模型。

X AI KOLs Timeline

Gemma 4 26B 在 RTX 4060 上运行，通过 llama.cpp 和 Q4_K_XL 量化实现 248K Token 上下文和每秒 20 Token 的速度，从而在消费级硬件上本地处理整个代码库。