Qwen3.8-27B 思考模式 xhigh 与关闭思考模式 - Apple M5 Max
摘要
在MacBook Pro M5 Max上的基准测试显示，禁用Qwen3.8-27B的思考模式会严重降低输出质量，而xhigh思考模式则使用5.5倍更多的令牌并运行6倍更长时间。
我在我的MacBook Pro M5 Max上使用oMLX进行了一些基准测试：关闭Qwen3.8-27B的思考模式对输出质量有重大影响。开启xhigh思考模式会消耗5.5倍的令牌并运行6倍更长时间。Qwen3.8-27B在工作中投入的思考量确实巨大——这一点已经有很多讨论。完全关闭思考模式的影响很大——在质量上，它基本上使模型落后于Qwen3.6-35B-A3B和其他提供更高Tok/s的MoE模型。详情请见：比较基准测试运行 | llm-bench.io
相似文章
ThinkingCap 3.8-27B 对比 Swift 3.8-27B 对比 Qwen 3.8-27B 基准测试
文章对ThinkingCap-Qwen3.8-27B和Swift-Qwen3.8-27B与原始Qwen3.8-27B进行了基准测试，结果显示两个微调模型都减少了约40%的推理令牌，性能损失极小，但在特定语言结果和令牌使用模式上存在差异。
Qwen3.8-27B在M5 Max MacBook Pro上实现144 tok/s速度
Inco Splash是一款针对Apple silicon优化的开源推理引擎，在M系列MacBook上运行Qwen3.8-27B等AI模型时提供了显著的速度提升。
Qwen3.8-27B中'medium'和'xhigh'推理努力度的区别确实非常惊人。
用户观察到，在Qwen3.8-27B中将推理努力度设置为'xhigh'时，生成的思考标记比'medium'多得多，标记使用量差异显著。
Qwen 3.8 27B 表现优异，但默认启用过度推理模式
Qwen 3.8 27B 是阿里巴巴通义千问实验室推出的一款强大的开源270亿参数多模态大语言模型。它在基准测试中表现突出，但被批评默认启用过度推理模式，这在消费级硬件上拖慢了运行速度。
@_akhaliq: bottlecapai/ThinkingCap-Qwen3.6-27B —— Qwen3.6-27B 具备平均减少50%思考令牌、最佳情况减少90%以上的能力
bottlecapai 发布了 ThinkingCap-Qwen3.6-27B，这是 Qwen3.6-27B 的微调版本，平均减少50%的思考令牌，最佳情况下减少90%，提升了效率。