@leopardracer: 同一GPU、同一模型、同一上下文，速度翻倍！RTX 4060，Gemma 4 12B，48k上下文，仅切换量化方式从 q4_k_m 到 q4_k_xl…

X AI KOLs Timeline 工具
local-llm llama-cpp quantization performance-optimization gemma-4 rtx-4060

摘要

在 llama.cpp 中，将量化从 q4_k_m 切换为 q4_k_xl，可在相同 GPU（RTX 4060）上使推理速度翻倍，无需更换硬件或驱动，如 Gemma 4 12B 所示。

同一GPU、同一模型、同一上下文，速度翻倍！ RTX 4060，Gemma 4 12B，48k上下文 仅将量化从 q4_k_m 切换为 q4_k_xl，速度便从 15 tokens/s 提升至 32 tokens/s 无需新硬件、新驱动、新模型，只需修改 llama.cpp 中的一个参数 大多数本地运行大模型的人，GPU 一半的性能被闲置而不自知 工具和配置的完整解析见下方文章 ↓
查看原文
查看缓存全文

缓存时间: 2026/06/09 01:36

相同GPU 相同模型 相同上下文 速度翻倍

RTX 4060, Gemma 4 12b, 48k上下文

只需将量化从q4_k_m切换到q4_k_xl，速度就从每秒15个词元提升到32个

无需新硬件，无需新驱动，无需新模型，只需在llama.cpp中更改一个参数

大多数运行本地LLM的人都在浪费GPU一半的速度，而他们自己甚至不知道

工具和配置的完整解析见下文 ↓

相似文章