[P] 根据 logits 为每个允许的标签评分的 Pecision 模型：Jebadiah v2.1（27B、9B），开放权重及自行运行的基准测试结果 [P]

我一直在构建开放模型，将决策视为封闭选项集上的评分问题，而不是文本生成。输入是结构化上下文，加上一个带有固定选项集的类型化问题。输出是每个选项的概率，由候选标签的 logits 计算得出，因此没有需要解析的生成步骤，也没有采样。v2.1 更新了 27B 和 9B。在 Decision Index 0.3 公开测试套件上（由我自行运行，使用未经修改的官方评分器，结果已提交至排行榜；排行榜会加入私有测试后再进行排名）：- 27B：57.03，v2 为 55.11。知识 +2.34，语言 +3.89，检索 +2.81，艺术 +1.31，工具 -2.10 - 9B：47.20，v2 为 44.09。知识 +3.67，语言 +4.34，检索 +5.96，艺术 +0.01，工具 -0.84 性能退步集中在少数项目上：When2Call 下降了 6.38（27B）和 7.44（9B）。我尚未找到原因，模型卡也没有声称这些差值具有统计显著性。数据污染检查：针对与公开训练来源存在重叠的基准测试系列，我们在训练数据中进行了扫描，未发现任何匹配。这是文本匹配扫描器，因此改写后的重叠内容可能漏检。量化：我针对每个构建版本，用 260 道留出问题测量了其与完整权重模型的一致性（例如，27B Q8_0 为 259/260，9B MLX 4 位为 237/260），并公布了逐题记录。权重（Apache-2.0 许可证，基于 Qwen）：https://huggingface.co/frontier-infra/jebadiah-27b-v2-1 和 https://huggingface.co/frontier-infra/jebadiah-9b-v2-1 结果：https://huggingface.co/datasets/frontier-infra/jebadiah-v2-1-decision-index-results 代码和评测：https://github.com/getainode/jebadiah 欢迎对评测设置提出批评，尤其是工具使用性能退步的问题。