hardware-tip

标签

#hardware-tip

有闲置的老旧低显存GPU吗？或许可以用来运行 Just Vision mmproj llama.cpp

Reddit r/LocalLLaMA ↗ · 5天前

文章建议利用旧GPU卸载llama.cpp中的mmproj组件，以提升多模态处理速度，同时不影响推理性能，作为缓慢的--no-mmproj-offload选项的替代方案。

0 人收藏 0 人点赞