有闲置的老旧低显存GPU吗？或许可以用来运行 Just Vision mmproj llama.cpp
摘要
文章建议利用旧GPU卸载llama.cpp中的mmproj组件，以提升多模态处理速度，同时不影响推理性能，作为缓慢的--no-mmproj-offload选项的替代方案。
对许多人来说，显存非常宝贵。我看到很多人推荐使用--no-mmproj-offload来节省显存，但速度极慢，尤其是在进行AI代理编码时。如果可能，添加第二个GPU仅用于mmproj，使用--mmdev CUDA1(你的GPU)。这将比--no-mmproj-offload快一个数量级，且不影响推理速度。--mmdev
相似文章
llama.cpp - 如何在GPU上释放更多空间
一则讨论如何在llama.cpp中释放GPU内存实用技巧的帖子，例如将mmproj卸载到CPU、调整KV缓存类型，同时讨论了--cache-type-k/v和--spec-draft-n-max等参数。
一个 llama.cpp PR 在 GPU 上缓存“热”MoE 专家 — 8GB VRAM 下报告 33 → 56 tok/s
一个 llama.cpp PR 增加了基于热力图的“热”MoE 专家 GPU 缓存，在 8GB VRAM 下对某些模型将 tok/s 提升了约 1.7-2 倍，但对其他模型结果不一。
在16GB显存+32GB内存下运行Qwen 3.8 - 写给贫民窟GPU玩家的实用/趣味指南
一位Reddit用户分享了如何在拥有16GB显存和32GB内存的系统上，通过激进量化及特定llama.cpp设置成功运行Qwen 3.8 Next MoE模型，实现了在有限硬件上高效运行大模型的效果。
@analogalok：我的8GB显存游戏本肯定会恨我这么做，但我还是做了。跑了一个31B稠密模型（Gemma 4…
用户在8GB显存的游戏本上，使用llama.cpp配合MTP推测解码，以约3 tokens/s的速度运行了Gemma 4 31B稠密模型，展示了在消费级硬件上运行31B稠密模型的可行性，并提出了智能体工作流程：快速MoE模型将困难任务路由给这个较慢的稠密模型。
专家优先的llama.cpp
一位开发者创建了llama.cpp的实验性分支，该分支仅将已使用的专家（expert）而非完整层卸载到显存，从而在RTX 2060 12GB等显存有限的GPU上为MoE模型带来了速度提升。作者正在寻找测试者，以验证其在其他Nvidia GPU上的性能表现。