peculiar-ragdoll 的 Dirk-Qwen 3.8-27B 对比 UkisAI Swift-1.5 Qwen3.8-27B

我有一长串自己整理的领域特定评测问题，用来验证哪些模型是我可以信赖的：编码、编码（numpy/pandas）、数据分析决策、本地 RAG、语音助手。这些内容涵盖我每天可能会遇到的场景。测试题目的难度和组成各有不同：简单、中等、困难。 系统环境：M1 Max 32 核 32GB，Dirk 上下文为 128K，Swift 为 110K。Swift 没有 XL 版本，所以我只能用 L 量化来测试，以尽量保持一致。 我用我的 tuieval 工具跑了评测，测试对象是 peculiar-ragdoll 的 Dirk-Qwen3.8-27B-UD-Q4_K_XL 和 Swift-1.5-Qwen3.8-27B-Q4_K_L，加载方式是通过一个修改版的 Splash。这个“混合框架”是我本地整合的，基于 incoai/Splash 1.1 和 paperniuk 的 apple7-m1-kernels。我做了一些小改动，但都不会影响模型性能。我只是合并并微调了一些我喜欢的内存特性，比如 llama.cpp 中加载开始时的上下文适配检查，以及我个人关于自动上下文处理的体验优化（那些我不想自己操心的事情）等等。 说这个结果让我惊讶完全是轻描淡写，它简直让我大开眼界。几天前我用仅 44 道题做过第一次测试时，我以为这一定是某个提示词缓存问题，让 Dirk 占了便宜。我验证过并不是，并用更多题目跑了测试来确认。这是真实有效的测试结果。 Dirk-Qwen 在得出决策和给出回答方面要锐利得多。每次传入聊天模板的“请简洁回答”指令所产生的效果，远超我的预期。它还用少得多的时间消耗答对了更多题。 让 Swift-1.5 栽跟头的主要是难题。它不停地尝试，直到每题 16,384 的最大 token 限制被用尽，然后因截断而失败。即使忽略这些 16,384 截断失败的情况，只对比其他题目，Dirk 的 token 用量也明显更低。 截断视图……以下基本是同样的模式，还有另外 191 道不同的题目。 https://preview.redd.it/otg3d1rkbqsh1.png?width=1420&format=png&auto=webp&s=eed9d563b76f1108debfaf1a38cc11fb0599bbed 更重要的是，这种表现不仅仅体现在问答上。在实际的代码重构任务中也能看到同样的差异。 另外提一句：目前唯一能 100% 通过我全部评测集的模型是 Opus 5.5。Deepseek Flash 4.1 fp32 除了三题外其余全部答对。