@jtdavies: 在小模型上编程... 我的4xDGX Spark集群的默认模型是@UnslothAI的Qwen3.6-35B-A3B-NVFP4。我获得了极好…

X AI KOLs Timeline 新闻
coding small-models qwen3.6 model-comparison vllm ai-benchmark

摘要

一位用户测试了多种小型AI模型进行编程任务，发现Qwen3.6-27B-NVFP4在速度和准确性之间取得了最佳平衡，并指出这些模型在Java上的表现较差。

在小模型上编程... 我的4xDGX Spark集群的默认模型是@UnslothAI的Qwen3.6-35B-A3B-NVFP4。我获得了极好的结果，而且它通常比技术参数上更小的4B和9B模型更快。它明显优于Gemma4模型，所以全能表现不错。 不过，有时我需要编写工具或代理，因此需要能写代码的模型。我测试了默认模型，它并不出色，虽然最终能解决大部分问题，但速度带来的优势被错误抵消了。 因此，我测试了一些其他模型，全部属于Qwen3.6系列。简而言之，不出所料，27B密集模型明显更好，但同样明显更慢。我在一对QSFP集群的Spark节点上测试了最佳模型，性能提升了约40%，但仍然只有35B NVFP4 MoE的三分之一。 27B MoE编程模型表现不错，但不如27B密集模型，也比不上NVFP4的速度。Qwopus非常差，所以被删除了。 我还测试了Java和Python，大多数编程基准测试都是用TypeScript和Python完成的。Java在这些模型中表现非常糟糕，所以我将其列入以展示差异。所有测试都在关闭思考模式的情况下进行，因为已经花了足够多的时间。 我最终的编程选择将是Qwen3.6-27B-NVFP4，因为它在我的集群中运行在vLLM上，切换起来很容易。用户只需等待结果即可。
查看原文
查看缓存全文

缓存时间: 2026/07/15 22:00

在小模型上编码……

我那套4xDGX Spark集群的默认模型是@UnslothAI的Qwen3.6-35B-A3B-NVFP4。效果非常好，而且通常比技术指标上更小的4B和9B模型还快。它明显优于Gemma4系列模型，所以是个全能选手。

不过有时我需要编写工具或智能体，这时候就需要能写代码的模型。我测试了默认模型，不太行——虽然大多数问题最终能解决，但速度优势全被错误抵消了。

于是我又试了几款，都在Qwen3.6系列范围内。简而言之，不出所料，27B密集模型的性能明显更好，但速度也明显更慢。我在一对QSFP集群的Spark节点上试了最佳方案，性能提升了约40%，但速度仍然只有35B NVFP4 MoE的三分之一。

27B MoE代码微调模型表现不错，但比不上27B密集模型，速度也不及NVFP4。Qwopus非常差，已经删掉了。

我同时测试了Java和Python——大多数代码基准测试只用TypeScript和Python。这些模型在Java上的表现非常糟糕，所以我特意把它加进来展示差距。所有测试都关闭了思维链，因为花的时间已经够长了。

我最终选择的编码模型是Qwen3.6-27B-NVFP4，它能在我的集群里通过vLLM运行，切换起来很方便。用户只需要等待结果即可。

接下来我会试试DeepSeek V4和GLM 5.2，但我并不打算替代Claude Code——我的客户不写代码。CC: @HundtRichard

小模型通常不擅长编码，但能自己写工具或智能体对模型来说依然是一项有用的技能。我正用一些较大的Qwen3.6模型和代码微调版完成一轮测试网格。我的Spark节点都热得发烫了。

相似文章

DGX Spark 智能体使用数据

Reddit r/LocalLLaMA

一位用户分享了在 NVIDIA DGX Spark 上使用 vLLM 运行 Qwen3.6 模型的基准测试结果和配置，重点关注包含并发请求和工具调用的智能体工作负载。