Jev：非前沿模型，但仍值得关注 [评测]

# Jev：并非前沿模型，但仍值得关注 Source: https://jevresearch.github.io/Jev-Research/ 由 JevResearch 撰写的独立实测评估 · 模型版本 pin：服务端上报的 jev-1.13.0 · 测量时间 2026 年 9–10 月 · 报告第 5 版（2026-10-03） 一篇针对 Archer Hume《Jev's Architecture Unmasked》（https://archerhume.com/posts/jevs-architecture-unmasked/）的简短反驳（https://jevresearch.github.io/Jev-Research/counterpoint/）。 TypeSafe AI 把 Jev 宣传成一款不可幻觉的前沿级推理器，由 ChatGPT 的共同发明人打造——速度极快，且几乎免费。我们通过它的 API 实际运行了 16,379 次基准测试请求，测量了它的延迟和计费，并探测了它底层究竟是什么。结论是：这是一个更小、更谦逊的模型，但对某类工作而言却确实有用——而市场上的其他产品没有谁能以完全相同的方式胜任它。 | 基准 | 成绩 | 说明 | 已公布最佳成绩 | | --- | --- | --- | --- | | MMLU-Pro | 82.7% | 12,032 道研究生水平多项选择题 | Claude Fable 5.1 92.4%（5-shot CoT） | | ARC-Challenge | 97.9% | 1,172 道小学科学题——一个已经饱和的领域 | Llama 3.1 405B 96.9%（25-shot CoT） | | GPQA Diamond | 76.5% | 196 道研究生水平科学题 | GPT-6 Astra 96.3%（开启推理） | | Humanity's Last Exam（MC） | 21.9% | 494 道专家考试多项选择题 | GLM-5.3 62.5%（配合工具） | | MMLU 作为多项选择题 | 83.1% | 261 道可编码题目，答案以选项形式给出 | GPT-5（high）99.4%（开启推理） | | MATH-500 逐位读出 | 13.6% | 273 道题，每一位都判对或判错 | 无协议可比的参照 | | ARC-AGI-2，按格计 | 59.6% | 70,100 个抽象谜题格子——一种诊断性编码 | 无协议可比的参照 | | ARC-AGI-2，整格精确 | 0.0% | 120 个任务，167 张网格的每一个格子都正确 | GPT-6 Astra 95.0%（推理，pass@2，半私有集） | 1 / 8 **一句话总结。** Jev 不是前沿模型：例如，它在研究生科学题上错掉约四分之一，在 HLE 上只拿到 21.9%。但它也并非玩具：MMLU-Pro 82.7%、GPQA 76.5%，每题约 73 毫秒的代理上报上游服务时间，以及跑完一整套研究生规模基准只需几美分。诚实的分类是*廉价的实时次前沿判断*——路由、评分标准打分、控制面决策——在这些场景里，市场上没有第二个产品能同时把这种延迟、这种价格和一份严格输出契约结合起来并保持高可靠性（约 16,000 次基准请求中只有 19 条违反契约）。 本报告内容 ## 宣传话术，以及其中经得起考验的部分 「一个**不会幻觉**的模型，**达到前沿级性能**，由 **ChatGPT 的共同发明人**打造——**极快**、**极便宜**，且**输出免费**。」 每个分句在狭义上都能自圆其说，但在买方实际听懂的那个意义上则是误导性的。我们逐条来看。 **不会幻觉。** Jev 真正做不到的是返回自由文本：它是一个固定输出的 API，只能通过在调用方提供的选项中挑选来作答，因此根本没有可供幻觉的散文。但一条符合契约的答案不等于正确的答案。Jev 经常出错（见[我们的基准测试](https://jevresearch.github.io/Jev-Research/#benchmarks)），而每一条错误答案都排版得漂漂亮亮。一个不会写散文的模型并没有解决幻觉；它只是让幻觉变得难以察觉。 **快而且便宜。** 两者都属实，而首要的解释是：打分过程由 prefill 主导，没有自回归解码。1（https://jevresearch.github.io/Jev-Research/#ref-jevfree）速度和价格是这种任务形态的属性，而非前沿模型经济学的属性。 **前沿级。** 这一条根本站不住。Jev 表现不错，而「不错」在这里会意味着某种真正有用的东西——但按 2026 年底的任何标准，它都不是前沿模型；而它看起来像前沿的地方（ARC-Challenge 97.9%），那只是在一场多年前就已结束的竞赛上的成绩。以下是证据。 **ChatGPT 的共同发明人。** Diogo Almeida 确实值得肯定，但说「我共同发明了 ChatGPT」是过度归功。Almeida 是 InstructGPT 的八位主要作者之一，从事过学习型优化器的研究，也是 ChatGPT 首发时被致谢的 88 人之一。但 ChatGPT 诞生于数千人的工作；见脚注 2（https://jevresearch.github.io/Jev-Research/#ref-almeida）。 ## 我们做了什么，以及没能做什么 我们通过 Jev 的 API 实际运行了它的公开基准测试：12,032 道 MMLU-Pro 题（准确率 82.7%）、1,172 道 ARC-Challenge、196 道 GPQA Diamond、494 道 Humanity's Last Exam 多项选择题、MATH-500 中可编码的子集（261 道作为选项式选择题，273 道按逐位评分标准处理），以及 ARC-AGI-2 公开集（167 张网格，重新编码为逐格形式和 120 个整任务请求）——在三个冻结的题集上共计 16,379 个计划请求。本仓库发布的是派生后的聚合结果和完整的 Talk-to-Jev 轨迹。基准题目本身的文本属于第三方授权内容，不在此处再发布。分析结果由这些产物生成。3（https://jevresearch.github.io/Jev-Research/#ref-behavioronly） 有三个约束塑造了下文的一切。第一，Jev 直接作答：一次成形，没有思维链，没有工具，没有重试——我们用来对比的前沿成绩并非以这种方式在现代模型上取得的，虽然这确实是基准中较老模型的运行方式，并且已经自动计入帕累托前沿的比较中。第二，API 是封闭的：我们从未看到权重、梯度或其设计中的任何内部细节，因此架构讨论是对可观察行为的推断。3（https://jevresearch.github.io/Jev-Research/#ref-behavioronly）第三，我们选择的都是模型能原生作答的基准——在可见选项之间选择，或按固定评分标准打分——因为把它们转换成别的形式，测到的将是我们的转换，而不是这个模型。 ## Jev 看起来是什么 以下是我们的*操作前提*：之后每一节都要透过这里陈述的模型来解读 Jev 的行为。完整的证据台账——包括带概率的替代假设、以及每条承重论断对应的证伪方法——保存在 `ARCHITECTURE-ANALYSIS.md`（https://github.com/JevResearch/Jev-Research/blob/main/ARCHITECTURE-ANALYSIS.md）中。 主要理论一句话：Jev 看起来像一个**小型 transformer 语言模型**，经过判断型而非对话型的后训练，服务时把它的**生成头替换成了一个概率读出装置**，用于读取调用方提供的选项——请求中的每一道题都由**一次批量 prefill 前向**打分，这就是它为什么快、输出为什么免费、以及它为什么写不出一首诗的原因。仅凭 API 无法唯一确定这一点：一次前向与一条未暴露的等价流水线、被替换的头与其他读出机制、decoder transformer 与其他 transformer 变体、以及从头训练的权重与经过适配或蒸馏的权重，这些可能性都还摆在桌面上。 ``` 假设的架构 一个朴素绘制的 transformer 栈——外加证据实际显示的那两处改动 ┌─────────────────────────┐ │ REQUEST（请求） │ │ 状态 + 各个问题 │ │ 选项：每个 ≤ 255 │ │ choice / score / noul │ │ POST /v1 │ │ system one（系统一） │ └─────────────────────────┘ ┌─────────────────────────────────────┐ │ SERVING PATH（服务路径） │ │ 空白符规范化器 │ │ 固定模板，约 316 token │ │ 厂商自有 tokenizer │ │ 以拉丁语为中心的 BPE，字节级回退， │ │ 每个非拉丁字符约 1 token │ └─────────────────────────────────────┘ ┌──────────────────────────────────────┐ │ ONE FORWARD PASS（仅 prefill 一次前向）│ │ token 嵌入 │ │ Attention │ │ Feed-forward × N │ │ 最终隐藏状态 h │ │ 每一道题和每个选项都从这一次前向读取 │ │ 计算量：73 ms 下限 + 每 1k token 6.1 ms│ │ 在 29k 以内呈线性；判定成本低于测量分辨率│ │ 高度批量（选项数 × 并行运行） │ │ 估计活跃参数量：约 4 至 9B │ └──────────────────────────────────────┘ ┌──────────────────────────────────────┐ │ READ-OUT HEAD（读出头） │ │ 替换掉语言建模头 │ │ 每道题一个分布，定义在调用方的选项上 │ │ +0.44 ms / 题 │ │ +0.10 ms / 选项 │ │ 每个问题只为其自身的 token 付费 │ └──────────────────────────────────────┘ ┌──────────────────────────────────────┐ │ DISPLAY PIPELINE（显示流水线） │ │ argmax 在四舍五入之前就已确定 │ │ 概率被舍入到 0.01 网格；返回值之和为 │ │ 0.99 或 1.00，从不超过 │ └──────────────────────────────────────┘ ┌───────────────┐ │ RESPONSE JSON │ │ （序列化向量） │ └───────────────┘ 权重是怎么来的（推断——可信度中等） 预训练语料未识别；知识时间边界在 2024 年代的事实 上最强，在 2025 年的新闻上较弱 判断格式的后训练（厂商称：RLCD） 基座模型谱系未识别 前沿教师模型的贡献：无可辨识证据，也未被排除 未识别 Dense 还是 MoE；attention 类型 教师蒸馏还是自有数据训练 0.01 舍入背后的精确规则 ``` | 组件 | 最佳猜测 | 置信度 | | --- | --- | --- | | 输出侧 | 对调用方选项暴露的概率分布（实测：choice / score / noul 为其三种暴露形态）。 | 高置信（暴露的分布） | | 服务方式 | 很可能是共享的单次打分前向：题目与选项在同一个请求内被打分，不返回自由文本。并发下的平稳计时是实测结果，但批处理、冗余容量与多副本之间的区别尚未厘清 | 可信 | | 服务时间曲线 | 在上游服务头上表现为固定的约 73 ms 截距 + 每 1k 输入 token 约 6 ms，在 29k token 内大致线性，没有明显的二次项特征。实测增量：每多一题 +0.44 ms、每多一个选项 +0.10 ms——两者都与新增 token 的成本一致。 | 高置信（实测） | | 输入核算 | 空白符规范化（ASCII 连续段被压缩；NBSP、ZWJ 与 BOM 不做处理）以及固定的约 316 token 模板开销，在上报的计数中可见。 | 高置信 / 可信 | | tokenizer | API 上报的 token 计数器符合以英语/拉丁语为中心的 BPE 式特征：拉丁语合并密集，主要非拉丁文字体系每个码位约 1 token，未覆盖字符走字节级回退（在最稀有的码块上，每个 UTF-8 字节约 0.99–1.01 个 token）。上报的计数与任何已知的既有 tokenizer 特征都不匹配（共测试 173 种）；模型自身的编码器并不能由此识别出来。 | 可信（较强） | | 核心 | transformer 家族；dense 还是 MoE 未知——在量化服务的假设下两种规模解读彼此重叠，因此两者都不被强制，MoE 依然可能；在这些上下文长度下，decoder 与其他 transformer 形态无法区分，attention 变体也无从得知 | 可信 / 未定 | | 规模 | 服务时间斜率经由硬件相关情景（假定硬件、量化、利用率）解读，活跃参数量跨度约为 0.6 至 49B。从能力定位看约为 4 至 14B dense 等效。量化后的 dense 约 4–9B 是最简洁的联合解读；一个 MoE（总参数约 15 至 100B）仍有可能 | 可信 | | 训练 | 预训练语料未识别；在抽样的带日期事实探测中，知识时间边界在 2024 年代事实上最强，在 2025 年新闻上不可靠；判断格式的助手后训练；从训练文本继承而来的 OpenAI 风格品牌先验；前沿教师模型的贡献：无可辨识证据，也未被排除 | 高置信 / 可信 | | 证据不支持的方面 | 不是前沿模型（实测）。不支持检索/缓存辅助、也不支持在其他厂商 API 外套一层薄壳的说法。基座模型未识别。详见下文。 | 高置信（方向性） | 详见 [ARCHITECTURE-ANALYSIS.md](https://github.com/JevResearch/Jev-Research/blob/main/ARCHITECTURE-ANALYSIS.md) §1。 ### 毫秒数说了什么 在我们 9 月的计时实验中，响应里带有一个上游服务计时头（`x-envoy-upstream-service-time`），即**代理上报的上游服务时间**。我们 10 月的后续响应不再提供该头，因此那些测试改用客户端耗时。9 月针对约 0.5k 至 29k token 不同提示长度的顺序探测，拟合结果为： **约 73 ms 固定下限 + 每 1k 输入 token 约 6 ms**，在该头上测得，二次项可忽略，拟合质量见图。一个平坦基线加上线性的输入 token 项，正是 transformer 前向传播从外部看过去的样子。 ``` 0k 5k 10k 15k 20k 25k 30k 0 50 100 150 200 250 250 输入 token（千） 代理上报的上游服务时间 vs 输入 token（35 组探测配置）： 一个平坦的下限加上一条直线，在这些长度下没有注意力爆炸式曲率； 拟合的残差与不确定度都落在图中绘制的带内。 服务下限：73.1 ms（95.6%） prefill（560 个输入 token）：3.4 ms（4.4%） 在单次前向拟合下对一次代表性调用的示意性分解： 一次典型短问题的头部时间大部分是固定下限， 而判定步骤占比很小。 ``` 更有说服力的实验是*自我批量*。把 192 道题打包进同一个请求，上报的服务时间几乎没有变化（每多一题 +0.44 ms），而上报的输出却增加了约每题 33 个 token——每道题完整的概率向量都被序列化了。这些边际量与每道题（约 55 个）和每个选项（约 18 个）额外贡献给共享提示的 token 数一致。按 prefill 斜率读取这些 token 本身就值 +0.34 ms，剩下那 0.1 ms 实际上就是噪声。用 255 个选项而非 2 个，服务时间多出 +0.10 ms，上报的输出每个选项多出 9.6 个 token，而其自身约 18 个 token 只贡献 +0.11 ms。两种情况下，实测增量都与纯粹的输入 token 缩放一致。这就是无自回归解码、由 prefill 主导的打分过程从外部看起来的样子，也是我们采用的首要解释。 这组探测在实测中再次确认了这一点：在选项数量（2–255）与选项长度（2–64 token）交叉的网格上，除 token 之外没有任何东西随选项数量缩放（每 100 个选项 −0.8 ms，落在 ±20 ms 的残差噪声之内）。计费的输出每题增长约 33 个 token、每个选项约 9.6 个——那正是响应 JSON 对自身的序列化，这也是为什么在该服务的计费策略下输出可以按零计价。上游服务时间保持平稳（并发 1 时 78 ms，并发 32 时 82 ms），而我们自己的墙钟时间开始弯曲，这与高效的共享服务一致。四道题打包一次在约 261 ms 内完成，同样的四道题分开问则要约 1,117 ms：在这些测量中，关键路径上没有出现逐题的往返。按这种解读，「系统一」既是服务方式的描述，也是心理学意义上的描述——prefill、读出、结束。 ``` 0 50 100 150 200 250 0 32 64 96 128 160 192 （打包进同一请求的题目数量） 代理上报的上游服务时间 vs 打包进同一请求的题目数量（45 次探测调用）。 虚线是每道题自身新增的输入 token 在 prefill 斜率下的预测值； 各数据点落在线上，误差在测量精度范围内。 ``` ``` 1 2 4 8 16 32 （在途并发请求数） 0 100 200 300 400 500 600 ● 客户端墙钟时间 ▲ 上游服务时间 并发 1→32：客户端墙钟时间在 32 处弯曲（我们自己的连接池）； 代理上报的上游服务时间纹丝不动（与高效的批量或弹性服务一致） ``` 总结一下，什么会推动实测的上游服务时间： - **提示 token**——唯一会改变它的东西，而且是线性的。 - **请求中额外的题目**——只通过它们新增的 token 起作用。 - **额外的选项**——只通过它们新增的 token 起作用。 - **并发请求**——在该头部上保持平稳（与跨副本或冗余容量的高效批量/弹性服务一致）。只有我们自己的墙钟时间会弯曲。 - **重复调用**——每次调用都重新读取提示，没有任何东西被缓存掉。 ### 读出装置上的指纹 Jev 返回的每一个概率都被四舍五入到两位小数：在 7,887 个已发布向量共 704,277 个数值上，从 2 选项的问题到 255 选项的菜单，没有一个数值落在 0.01 网格之外。4（https://jevresearch.github.io/Jev-Research/#ref-quantization）在高置信场景中，恰好为 0.00 的概率相当常见