llama.cpp 的 auto fit 远比我想象的好用

Reddit r/LocalLLaMA 工具
llama-cpp vram-optimization local-inference quantization

摘要

llama.cpp 新增的 --fit 标志让超大模型也能在显存不足时高速运行，轻松突破显存限制，速度依旧惊人。

我一直以为 32 GB 显存最多只能跑 20 GB 左右的模型，比如 Qwen3.5 27B Q4 或 Q6。印象里只要模型塞不进显存，速度就会跌到 2 token/s。结果我大错特错。刚刚用 llama.cpp 测试了 Qwen3.6 Q8，上下文 256 k，开启 `\--fit\` 后，权重体积本身就超过显存，而我的 5090 还是通过 Oculink 连接的，却依旧能跑到 57 token/s！简直像魔法。如果你也和我一样以为“显存不够就完蛋”，现在立刻去试试！
查看原文

相似文章

Llama.cpp：拆分模式张量修复即将到来？

Reddit r/LocalLLaMA

Llama.cpp 预计将获得针对多 GPU 配置下拆分模式张量崩溃问题的修复，该问题目前每 90-120 分钟导致 VRAM 耗尽。据称，该修复还能带来约 35% 的吞吐量提升，优于分层模式。