在ninfer上原生运行类似jev的API，使用qwen3.8 27b模型，结果相当不错

大家好！在所有的jev热潮之后，我想自己尝试一下，使用qwen3.8 27b在ninfer上混合匹配开源实现，老实说我对结果印象深刻，延迟不太理想但准确率几乎相当，这是一个非常粗糙的概念验证，但有点用（仍然存在一些错误和不正确的分配，还需要弄清楚如何正确集成到ninfer中）。源代码位于：https://github.com/knoopx/ninfer 基准测试 针对JevBench v1.2，一个决策模型基准测试进行测量。公共集包含231个类型化决策（48个简单，111个困难，72个原始）：每个决策包括一个状态和一个受限的评分标准，回答包含类型化结果和每个选项的概率。运行直接驱动原生POST /v1/decisions路由（输入状态+问题，输出类型化概率），而不是chat-completions的表述路径。设置：模型 https://huggingface.co/knoopx/Swift-Qwen3.8-27B-NInfer ，RTX 5090，三个进行中的决策。所有231个任务已评分，0错误，0准入阻止。挂钟时间19秒。 主要指标值 准确率（231个公共）84.4% (195/231) ECE（10个箱）0.045 Brier 0.081 延迟 p50 / p95 127 ms / 699 ms 速度轴（JevBench ×2 + 0.15 s）~81.7 按层级和类型的准确率 层级 选择 noul 分数 总计 简单 100% (36/36) 100% (12/12) — 100% (48/48) 原始 97% (35/36) 95% (23/24) 100% (12/12) 97.2% (70/72) 困难 70% (47/67) 73% (28/38) 33% (2/6) 69.4% (77/111) 全部 84.9% (118/139) 85.1% (63/74) 77.8% (14/18) 84.4% (195/231) 困难层级按家族 家族 准确率 temporal-numeric 33% (5/15) probability 50% (5/10) tradeoff 67% (4/6) long-policy 68% (13/19) multi-hop 72% (13/18) judge-hard 76% (13/17) ambiguous 86% (6/7) trap 88% (7/8) adversarial 100% (6/6) routing-hard 100% (5/5) 延迟（秒） 范围 p50 p90 p95 p99 最大值 平均值 全部 0.127 0.619 0.699 0.896 0.925 0.238 简单 0.100 0.103 0.453 0.691 0.736 0.134 原始 0.101 0.123 0.123 0.309 0.331 0.109 困难 0.286 0.694 0.774 0.911 0.925 0.366 困难层级p95（774 ms）主要由约3.7k令牌状态主导。尾延迟（p95及以上）对排队敏感：单个决策工作者串行执行，因此任务可能排队在更重的进行中决策之后，导致每层尾延迟增加（在简单行中可见）。p50和平均值反映计算成本；准确率和校准不受排队影响。 校准 36个错误任务（共231个）。ECE 0.045（10个箱），Brier 0.081——模型整体校准良好。五个置信度最高的错误答案： 任务 置信度 预测 黄金 hard-opus-b-tradeoff-01 0.949 escalate_to_security escalate_to_engineering hard-opus-a-probability-08 0.852 yes no hard-sol-b-judge-hard-02 0.852 yes no hard-opus-c-temporal-numeric-02 0.798 no yes hard-opus-a-probability-04 0.729 late on_time 字段比较（相同231个公共任务） 每个已发布系统的公共集准确率，针对其发布的JevBench复合分数（复合分数是智力、校准、速度和成本在完整534任务集上的几何平均值，因此不能直接与公共集准确率比较）。此运行没有发布的复合分数（自托管，无速度/成本测量）： 排名 系统 分数 公共准确率 1 Jev 1.13.0 (TypeSafe AI) 75.4 86.6% 2 SemIf, formerly OpenJev (Qwen3.5-4B) 74.7 81.0% 3 djev (Maisa, diffusion-gemma) 74.3 84.0% 4 openJev Verdict 1.4 72.5 57.6% 5 Laya (ModernBERT-large 421M) 70.1 58.4% 6 open-alternative-jev (Qwen3.5-4B) 69.8 74.0% 7 system-one-open (Gemma 4 E2B LoRA) 68.9 73.2% * NInfer ukisai/Swift-Qwen3.8-27B (this run) 68.4 84.4% 8 OpenJev (DiffusionGemma 26B NVFP4) 67.7 81.8% 9 SimpleJev Qwen3.8-27B 67.3 86.6% 10 jeff (GLiFormer 400M) 66.9 62.8% 11 kev 0.6B 66.7 66.7% 12 openjev-sglang (Qwen3.6-35B-A3B) 66.3 85.3% 13 openJev Verdict (ModernBERT-base 151M) 66.2 55.4% 14 GPT-5.6 Luna (low reasoning) 66.2 97.4% 15 open-jev-deberta-v3-large (CPU) 64.6 52.4% 16 SimpleJev Qwen3.6-35B-A3B 63.8 81.4% 17 Bespoke Nimble 9B 63.7 67.5% 18 kev 0.5B 63.1 49.4% 19 kev 4B 62.2 66.2% 20 Gemini 3.1 Flash-Lite 60.9 87.0% 21 kev 8B 58.3 71.4% 22 DeepSeek V4.1 Flash (thinking) 57.8 97.8% 23 system-one (Qwen3-8B) 56.6 71.9% 24 GLiNER2 (Fastino) 53.0 58.0% — classifier.dev (fast tier) 84.8 85.3% — Qwen3.8 27B (Chutes TEE) 25.5 71.9% — Needle 3 (options as tools) 19.2 22.1% — Needle 3 (Cactus, 2-bit, CPU) 16.8 22.5%