Qwen3.8-27B 在*知识*方面相比 3.6 遭受重创

像你们许多人一样，我过去几天一直在将 Qwen3.8-27B 应用于我所有的常用用例、个人任务、测试框架和工作流。它很棒，有时甚至令人惊叹，但这不是本文的重点。我的一个个人基准测试是一组与我相关但略显冷门的琐碎知识，混合了一些实用或准备性的问题。无论我尝试哪种量化级别和采样设置，Qwen3.8-27B 在这方面表现都相对较差。它无法回答 Qwen3.6 能可靠回答的问题。我发现，在离线（无工具调用）知识基准测试中，结果似乎与我的说法一致。与它的前代 3.6 相比，它在回忆随机事实方面明显较弱（或者在我的测试中幻觉较少，尽管这在这些特定基准测试中没有反映出来）。现在，你绝不应该相信柱状图胜过自己的直觉，但这次我的直觉验证了这些柱状图。这是否相关？不一定。它似乎足够了解自己尝试使用的代码，对于其他一切，我假设/希望你们使用工具调用。这主要适用于那些依赖离线模型、仅从其自身权重中提取模糊/广泛知识检索的策略的人，这可能本就是一个失败的策略……但如果你是这样，建议跳过 Qwen3.8 或最终设置那个 MCP 服务器。我觉得这很有趣。想知道你的想法，或者是否有人也注意到了这一点。