Qwen 3.8 27B 对比 Nanbeige 4.3 33B，运行于 4 张 R9700：在我的工作负载下的实际 TPS 和每小时任务数
摘要
一位用户在配备 4 张 R9700 GPU 的硬件配置上，对比了 Qwen 3.8 27B 与 Nanbeige 4.3 33B 在实际场景中的吞吐表现，发现 Qwen 在词元生成速度和每小时任务量上分别领先约 25% 和 45%，且在思考模式下准确率更高。
我就是那个发帖分享使用 127 美元二手 EPYC 的 4× R9700 装机方案的人（https://www.reddit.com/r/LocalLLaMA/comments/1x67qeu/4x_r9700_builds_with_127_used_epycs_107k_allin/）。看到这里的 Nanbeige 基准测试结果后，我花了几天时间，用这些机器实际处理的工作来对比测试它和 Qwen。任务量 > TPS 我的公司 USA Arms 维护着枪械相关企业的信息，我使用本地 AI 来维护其中的大部分内容……服务、营业时间、价格、设施等。每种配置都以审核员的身份，针对 25 项字段级黄金标准运行了相同的 2,484 个案例，可选择接受、拒绝或弃权。（歧义案例黄金标准）每小时正确任务数 指标 Qwen 3.8 27B Nanbeige 4.3 33B 每小时处理任务数，关闭思考 1,855 1,281 每小时经验证正确的任务数，关闭思考 1,174 798 准确率，关闭思考 77.4% 76.2% 准确率，开启思考 86.6% 82.4% 每小时任务数的数据使用了 2 个双 GPU 引擎。Token 速度 单独进行的 MT-Bench 速度测试，使用一个双 GPU 引擎测量（这些不是四卡数据）：并发流数 Qwen 输出 token/秒 Nanbeige 输出 token/秒 1 38.4 30.7 4 135.4 112.7 8 246.0 214.0 审核员 视频中有详细说明，但在同样开启思考模式、审核相同任务的情况下，Qwen 审核自身结果的表现实际上比 Nanbeige 更好。总体而言：在单流 token 测试中，Qwen 大约快了 25%，但在关闭思考的情况下，每小时完成的任务量比 Nanbeige 多了约 45%。很好奇，测试编程或创意写作的人在使用 Nanbeige 时，是否看到了不同的结果……又一次，备受追捧的模型没能撼动王者的地位。完整结果和更多细节见这段短视频：https://youtu.be/kmmN49ecyvc（我尝试直接上传到 Reddit，但遇到了问题）
相似文章
Qwen 3.8 27B 比预期更快
一位用户报告称，Qwen 3.8 27B 模型在双 5060 TI 显卡上达到了 50-60 个令牌每秒的速度，显示出比之前版本（如 Qwen 3.6）更令人意外的速度提升。
Qwen 3.6 35B A3B 与 Qwen 3.5 122B A10B 对比
用户反馈，尽管基准测试表现亮眼，Qwen 3.5 122B 在多步任务上大幅领先 Qwen 3.6 35B，怀疑是量化或部署配置问题。
4x RTX 3090 上的 Qwen3.5-27B、Qwen3.5-122B 和 Qwen3.6-35B —— MoE 模型在严格全局规则下的表现困境
潜水多年的老用户，首次发帖。在 4 张 RTX 3090 上对三款 Qwen 模型分别进行了 20 多个会话的实时智能体工作测试——**Qwen3.5-27B** 稠密模型、**Qwen3.5-122B-A10B** MoE 和 **Qwen3.6-35B-A3B** MoE。以下数据均解析自持续真实负载下的 vLLM 日志，而非合成基准测试。**本文所有数据的关键负载背景：** 测试框架是一个多智能体编排器，同时运行 1-6 个并发的 OpenCode 会话，Prompt 长度为 30-60k token，并且强制执行**严格的 Bash 允许列表
Qwen3-8B 2.4T 在 Nvidia GB300 NVL72 上达到 288k tokens/s
NVIDIA 展示了在 GB300 NVL72 硬件上运行 Qwen3-8B 2.4T 参数模型的高吞吐量性能，实现每 GPU 超过 4k tokens/s。
大家在 Qwen3.6 27b 上跑出来的速度是多少？
用户基准测试 Qwen3.6-27B-Q8_0，在 3 块混合 GPU 上通过 llama.cpp 以约 13 tokens/sec 运行 128k 上下文，询问该性能是否典型。