Qwen3.8-27B FP8抹除版本：拒绝率从64–99%降至0–6%，且MMLU/GSM8K变化不超过1.3分

我在阅读抹除版Qwen3.8-27B FP8构建的评估表格，而不是发布说明。它作为红队材料发布，附有免责声明等，因此这些数字才是有趣的部分。在关闭思考模式下，对常见有害指令集（AdvBench、HarmBench、StrongREJECT等）的拒绝率为0–6%，而基础检查点为64–99%。能力在相同脚本上单独测量，变化很小：MMLU从84.3到84.7，GSM8K从90.0到88.7，变化不超过1.3分。两个不同的评估家族，彼此都不支持对方。我想要复制这种配对，因为如果能力侧在其他人的测试框架下仍然有效，这将为Arditi的单向结果提供另一个数据点——拒绝行为被移除，而不会拖累网络的其余部分。拒绝百分比来自OrcaRouter自己的基于规则的分类器，且卡片明确说明这只是指示性的，不是出版级别的。它读取响应的开头方式。这表明模型不再以“我无法”开头；但这对第一句之后的内容说明不多。据我所知，其中没有对基础模型的KLD（Kullback-Leibler散度）比较，这本是我会首先寻找的数字。