开发们 - 你有64GB显存 - 你用什么模型写代码？

Reddit r/LocalLLaMA 新闻
vram coding qwen open-source model-selection local-llm

摘要

一位拥有64GB显存的开发者分享了他使用unsloth版Qwen 3.5 122b-a10b模型进行编码的偏好，并向社区征求推荐。

我目前锁定的是unsloth版Qwen 3.5 122b-a10b模型（UD-IQ4_NL）。在100k bf16上下文窗口下，我只将少量层加载到CPU/内存中，运行速度约30 tok/s，对我来说足够了。我测试过很多模型，花了数小时，但目前这款给我留下了深刻印象。我也会根据需求使用Qwen 3.6模型（两个版本），但我觉得这个大个头即将成为我的日常主力。很想知道其他有类似显存容量的人用的是什么？
查看原文

相似文章

16GB显存炼狱讨论帖

Reddit r/LocalLLaMA

一个讨论帖，分享在16GB显存Windows系统上运行AI模型如Qwen3.8-27B的配置和技巧，专注于内存优化技术。