标签
在 llama.cpp 中，将量化从 q4_k_m 切换为 q4_k_xl，可在相同 GPU（RTX 4060）上使推理速度翻倍，无需更换硬件或驱动，如 Gemma 4 12B 所示。
详细记录了在8GB笔记本GPU上运行Qwen3.6-35B-A3B MoE模型的经历，涵盖有效优化（如--no-mmap和VRAM余量）、意料之外的发现（推测解码相比基准测试提升26%的速度）以及Windows和CPU瓶颈的陷阱。