对比 Qwen3.8-27B 微调模型并与前沿模型进行基准测试

**TL;DR：** 针对我的使用场景，mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 脱颖而出。根据你的领域特定测试结果，结论可能有所不同。与前沿模型相比，解决问题所花费的时间差距是巨大的；尤其如果你像我一样用的是“土豆机”。我当前可行模型在整个评测集上的关键指标是慢 28 倍。对于拥有更好硬件的人来说，时间差距可能会宽松得多。 大约一周前，我分享了对比 Qwen3.8-27B 微调模型的初步测试结果。此后，我对其中一些微调模型进行了一次为期数天、包含 469 道领域特定题目的综合评测。所有模型均通过 llama.cpp 运行，并使用相同的 thinking 设置。我还通过 OpenRouter 在 Opus 5.5 和 Astra 上运行了完整评测集，并在 Qwen3.8-Flash-Next 上运行了部分题目。有些服务商公开量化信息，有些则不公开。如果 OpenRouter 能强制要求披露量化信息，那就太好了。 这就是我称之为 PTA 指数的东西。这个指数会因模型、评测集和手头硬件的不同而有所差异，但可以作为一个基准化的关键指标，用来衡量自己的进展。 https://preview.redd.it/y27wkaoha5uh1.png?width=2966&format=png&auto=webp&s=0848931754587ba911d5eac3795ab081bce45c02 Astra 的 token 使用量最低——不过看起来该服务商屏蔽了推理过程。没有一个模型达到 100% 准确率。Opus 5.5 接近满分，以 99.6% 位居榜首。在我本地运行的模型中，mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 在任务完成的 token 用量和耗时上都更低，同时准确率更高。一个 Q4_K_M 微调模型表现优于其他 L 或 XL 量化，这是个不错的发现。它只有一次因为过度思考而被截断，而且通过的测试比其他模型都多。我在某处读到过，Signal-Terse-Coder 是 AgentionAI 的 Signal-3.8-27B 和 Shockem 的 Terse-Coder LoRA 的组合。我不太理解其中的机制，但底层一定发生了某种魔法。 对于 OpenRouter 上模型的首 token 响应时间（TTFT），我不会过分在意。它们有缓存，而我也无法真正影响这一点。以下是中位数 token 数和更有趣的信息。每个模型在多少道题上因过度思考而被截断显示在 “Cut off” 列中（我的设置是每题最多 16,384 token）：Signal-Terse-Coder 违规 1 次，Dirk 违规 4 次，Unsloth 违规 4 次。 https://preview.redd.it/iucw41rzc5uh1.png?width=2984&format=png&auto=webp&s=742905e5344c85f78abd14c2028f729e86c42995 19 分钟 vs 9 小时，差距惊人；但反过来说，前沿模型的隐私性为 0，而本地模型约为 100，同样惊人。更好的硬件才是平衡这一切的因素。我怀疑 Astra 在 469 道题中有 456 道显示最少 token 用量，是因为它隐藏了推理过程。同一道题由 Opus 5.5 和 Astra 作答的对比表明，Astra 的推理过程可能被服务商屏蔽了。尽管如此，Astra 的回答简洁明了，没有代码评论，并且正确通过了所要求的内容。 Opus 5.5 https://preview.redd.it/87cicfq1f5uh1.png?width=2846&format=png&auto=webp&s=1f3687c1ed9349a74c873e51b62c46699917783d Astra https://preview.redd.it/aztvm4nkf5uh1.png?width=2858&format=png&auto=webp&s=ec8612c8cded25fa96990eb832159ad0acd192fb gpt-oss-120b 不在列表中，但在我负责的 pandas/numpy 任务上 *表现得一塌糊涂*。只有领域特定的评测才能发现这类情况，并提醒你哪些模型/微调模型应该避开以用于特定任务。 我还试了 AgentionAI/Qwen3.8-27B-AP-Q4_K_XL 和 UkisAI/Swift-1.5-Qwen3.8-27B-Q4_K_L，但在两者的运行都进行到约 115 道题时我就中止了。到那时已经形成了明显的模式，我没有必要让整个运行跑完。 https://preview.redd.it/zhiqa0bqt5uh1.png?width=2990&format=png&auto=webp&s=062fb0fb37cedbf58c1a966b8086aa6360f04850 起初，这个工具是为我自己做的。但我后来将引擎与测试/数据解耦，使其可以扩展到其他用户的选择。工具在这里：https://github.com/ashe-wb/tuieval