开发们 - 你有64GB显存 - 你用什么模型写代码？

Reddit r/LocalLLaMA 新闻
vram coding qwen open-source model-selection local-llm

摘要

一位拥有64GB显存的开发者分享了他使用unsloth版Qwen 3.5 122b-a10b模型进行编码的偏好，并向社区征求推荐。

我目前锁定的是unsloth版Qwen 3.5 122b-a10b模型（UD-IQ4_NL）。在100k bf16上下文窗口下，我只将少量层加载到CPU/内存中，运行速度约30 tok/s，对我来说足够了。我测试过很多模型，花了数小时，但目前这款给我留下了深刻印象。我也会根据需求使用Qwen 3.6模型（两个版本），但我觉得这个大个头即将成为我的日常主力。很想知道其他有类似显存容量的人用的是什么？
查看原文

相似文章

Qwen 35B-A3B 在 12GB 显存下非常可用。

Reddit r/LocalLLaMA

一位用户在12GB的RTX 3060上对Qwen 35B-A3B（一个35B参数的MoE模型）进行了基准测试，发现12GB显存是运行该模型并支持32k上下文时的实用甜点区，生成速度可达约47 token/秒。

有人在32GB Mac上使用opencode、claude code或类似工具，通过Qwen3.6-35B-A3B-UD-Q4_K_M实际完成编码工作吗？

Reddit r/LocalLLaMA

我在一台配备32GB RAM的M2 Macbook Pro上运行Qwen3.6-35B-A3B-UD-Q4_K_M。我使用的是相当新版本的llama.cpp和opencode。为了避免llama-server因内存耗尽而直接崩溃，我必须将上下文窗口设置为32768个token。这一点后来被证明很重要。作为一次希望能有些参考价值的测试，我给opcode布置了一个之前Claude Code配合Opus 4.7能够完成的任务。项目不算大，但任务涉及深入挖掘应用程序的前后端，并找出一个连我（作为原始开发者，在AI之前）都没有一眼看出的问题。