我让 3 个 Qwen 3.8 模型以 4 种思考强度解答近期的 AtCoder 题目

我最近在考虑确定日常使用的主力模型，但不太清楚该选哪一个。我有一张 5060ti 16GB 显卡，因此选了以下几个候选模型，它们在我的硬件上运行速度似乎都还不错：在 Strata 下运行的 Swift 1.5 IQ2_XS GSQ-RCO，在 Strata 下运行的 Flash Next IQ3_S GSQ-RCO，以及在 llama.cpp 下运行的 27B IQS_3 GSQ-RCO。我也想了解思考强度如何影响模型表现，因此在这轮测试中纳入了全部 4 种可用的思考强度（none、low、medium、xhigh）。最后，我用 AtCoder 的题目作为测试数据，以 LiveCodeBench 为基础搭建测试框架，做了一个自己的小型基准测试。我只选取了过去 30 天内的题目作为测试集，以确保模型没有在训练中见过这些题目。最终测试集包含了 14 道难度各异的题目。所有测试的思考预算上限均为 32k token。硬件：AMD 7945HX CPU、64GB DDR5 5200 内存和 5060ti 16GB 显卡。软件：操作系统为 Arch Linux；llama.cpp 为 build 11149，上下文长度为 140k；Strata 为 0.1.38，上下文长度为 128k。跑完所有测试花了将近 11 个小时。CAP+DNF burn 表示在未能解决的题目上耗费的时间。https://preview.redd.it/rf85frufznuh1.png?width=893&format=png&auto=webp&s=7c03164f7b605e9973a6aaae7f22229dbdf15764 这是汇总表：https://preview.redd.it/wojizpqeunuh1.png?width=845&format=png&auto=webp&s=e732e20d69d2abd6cfe47159b4cff3ef92a3f082 图例：problem - AtCoder 上的题目编号；pts - AtCoder 为每道题目分配的难度分值；low、med、xhi、non - 思考强度；CAP - 模型触及了 32K 的思考上限；DNF - 没有生成代码；ERR - 生成了代码，但未返回预期结果；其余单元格显示返回预期结果时模型的运行时间，单位为秒。结果解读：在这个基准测试中，思考带来的收益并不大。三个模型的最佳解题数与各自在 low 下的解题数相比，差距都在 ±2 道以内，而且没有任何模型的表现随着 low → med → xhi 逐步提升。Flash 在 med 时达到峰值（11 道），Swift 在 xhi 时达到峰值（10 道），但在 med 时出现了 3 次 ERR；27b 在各档思考强度下都稳定在 10 道。关闭思考是唯一会稳定导致表现下降的设置，而且下降方式很明确：DNF 只出现在 none 下（共 4 次，全部来自 flash/swift），同时 ERR 也明显增加（27b 从 0→2，flash 从 0→2，swift 从 0→4）。没有思考通道时，模型要么省略代码块标记，要么写出错误代码。提高思考强度主要带来的是更多触及上限的情况，而不是更多解答。Flash 的 CAP 次数为 4→3→5，Swift 为 3→3→4，27b 为 3→4→4，而从 low 到 xhi，耗时增加了 33–57%。额外的思考 token 都花在了模型本来就会失败的题目上。最终结论：Swift 速度快，但不够严谨；如果速度比准确性更重要，我可能会用它。27B 很可靠，但非常慢。Flash 能解决更多题目，而且速度更快，因此我看不出使用 27B 的理由。Flash IQ3_S 在速度和准确性之间似乎取得了很好的平衡。此外，在 medium 思考强度下，它比 27B 多解决了一道题。我在日常使用中也注意到，采用 Q3 量化的 Flash 似乎比 27B 更聪明，有时能提出 27B 没有发现的见解。在思考强度方面，我会继续使用 medium，并在 medium 卡住时切换到 xhigh。对于简单任务，我也可能尝试关闭思考。我确实理解这次测试的局限性——数据点不算多，而且模型行为具有一定随机性，因此这些数字应谨慎看待。我可能会继续测试，将范围缩小到更复杂的题目，并大幅提高思考预算，看看会发生什么。欢迎告诉我你们的看法，并分享你们自己的观察。