autotrust/JEV-35B-NVFP4 · Hugging Face

来源: https://huggingface.co/autotrust/JEV-35B-NVFP4 AutoTrust/GuruSearch 推荐与搜索在线演示: news.guru.so (https://news.guru.so/ui)

https://huggingface.co/autotrust/JEV-35B-NVFP4#%F0%9F%94%B4-live-autotrustgurusearch-recommendation–search-demo-%E2%86%92-newsguruso🔴 在线体验: AutoTrust/GuruSearch 推荐与搜索演示 →news.guru.so (https://news.guru.so/ui)

**立即体验 AutoTrust/GuruSearch 在线演示（新，2026年10月11日）。**这是一个推荐与搜索演示，每一次排序都是经过校准的 System 1 决策，耗时约半秒： - **推荐：**来自 6 个新闻源的最新头条，按重要性排序。 - **搜索：**来自 Google News、Bing News 和 Yahoo News 的结果按相关性重新排序，与搜索引擎自身的排序并列展示，并附带带引用的简短回答。

https://huggingface.co/autotrust/JEV-35B-NVFP4#autotrustjev-35bautotrust/JEV-35B

https://huggingface.co/autotrust/JEV-35B-NVFP4#nvfp4-versionNVFP4 版本

本仓库是autotrust/JEV-35B，其 10,240 个路由专家 MLP（40 层 × 256 专家）被量化为 NVFP4。其他部分与 bf16 模型完全一致：注意力、线性注意力、共享专家、路由器、视觉塔、MTP 层、lm_head、System 1 适配器、决策头以及温度参数。在 NVFP4 对比表之后，本模型卡的其余部分为 JEV-35B 的模型卡；除非另有标注，其中的表格均为 bf16 结果。

JEV-35B（bf16）JEV-35B-NVFP4下载大小（权重）71.9 GB25.6 GBGPU 显存占用（vLLM）66.5 GiB23.3 GiB（−65 %）Decision Index 0.3，公开测试集（我们使用官方套件评分）59.7559.18与 bf16 相同的 top-1 答案（308,559 个 Decision Index 答案）—96.6 %近似公开视觉分数（我们重新构建，13,361 行）72.0871.23与 bf16 相同的答案（视觉数据行）—95.2 %单请求中位延迟，文本 / 图像（单块 B200）215 / 378 ms227 / 371 ms电脑操作，编号框 + 元素文本（60 个任务）95 %95 %电脑操作，仅编号框（60 个任务）38 %37 %机械臂，抓取与放置（20 个场景）75 %65 %

• **文本：Decision Index 下降 0.57。**所有五个领域的技能分与 bf16 的差距均在 1.2 分以内（知识 0.422，语言 0.628，检索 0.706，工具 0.753，艺术 0.413）；单项基准测试中变化最大的是 Home appliance simulator −5.7、CRUXEval −4.7 和 GPQA +5.4。
• 图像：视觉重建分数下降 0.85，幅度小但确实存在损失（配对 bootstrap 95% 置信区间 −1.5 至 −0.2），主要体现在 CharXiv 图表任务（−5.3）。
• **机械臂：20 个场景中成功 13 个，对比 bf16 的 15 个。**四个场景的结果发生变化（3 个失败、1 个成功），在噪声范围内（符号检验 p = 0.63）；所有成功抓取的方块均到达托盘（13/13）。
• **速度：**单块 B200 上单请求延迟与 bf16 相同；收益在于显存（一块 32–48 GB 的 GPU 即可运行）。
• 游戏（随机种子 0，各运行一次，噪声较大）：2048 最大方块 64（bf16 32），Snake 吃到 5 个食物（bf16 11），Quick, Draw! 完成草图识别准确率 85.9 %（bf16 86.3 %），国际象棋一步杀棋 45 %（bf16 47 %），四子棋 6 局赢 1 局（bf16 0 局）。

下面两个视频使用此 NVFP4 检查点录制；逐集 NVFP4 结果见 reports/demos\-nvfp4/ (https://huggingface.co/autotrust/JEV-35B-NVFP4/tree/main/reports/demos-nvfp4)，bf16 结果见 reports/demos/ (https://huggingface.co/autotrust/JEV-35B-NVFP4/tree/main/reports/demos)。

**量化内容及方式。**NVFP4 是 NVIDIA 的 4 位浮点格式：每 16 个 FP4 E2M1 值为一组，每组配一个 FP8 E4M3 缩放因子，每个张量配一个 FP32 缩放因子。每个专家的 gate、up 和 down 投影均被量化（gate 和 up 共享一个张量缩放因子，因为 vLLM 将它们融合）；专家激活值使用在 3,072 个 System 1 提示上校准的静态缩放因子。该检查点使用 ModelOpt 的 NVFP4 布局（quant\_method: modelopt），因此 vLLM 无需任何额外标志即可加载。System 1 适配器在路由专家上没有 LoRA，因此 adapter\_vllm/ 与 bf16 模型相同。

https://huggingface.co/autotrust/JEV-35B-NVFP4#deploy-the-nvfp4-version-vllm部署 NVFP4 版本（vLLM）

`` hf download autotrust/JEV-35B-NVFP4 –local-dir JEV-35B-NVFP4 bash JEV-35B-NVFP4/serve.sh # vLLM 服务运行在 :8000

`serve\.sh` 和 API 与 JEV\-35B 完全一致（参见 快速开始 (https://huggingface.co/autotrust/JEV-35B-NVFP4#quick-start-vllm)）；vLLM 从 `config\.json` / `hf\_quant\_config\.json` 读取量化配置。

GPUNVFP4 运行方式B200 / B300 / GB200（SM100）原生 W4A4：FlashInfer TRT\-LLM NVFP4 MoE 内核（已在 B200 上测试）RTX PRO 6000, RTX 5090, DGX Spark（SM12x）原生 W4A4：CUTLASS / FlashInfer CUTLASS FP4 MoE 内核（此处未测试）H100 / H200 / A100（SM80–90）Marlin W4A16：权重 FP4，激活 bf16（此处未测试）

---

## https://huggingface.co/autotrust/JEV-35B-NVFP4#the-jev-35b-card-bf16-resultsJEV\-35B 模型卡（bf16 结果）

### https://huggingface.co/autotrust/JEV-35B-NVFP4#a-system-1-decision-model-on-qwen35-35b-a3b-35-b-parameters-about-3-b-active-per-token-up-to-256-options-in-one-pass基于 Qwen3\.5\-35B\-A3B（350 亿参数，每 token 约 30 亿激活）的 System 1 决策模型，单次最多处理 256 个选项

**Decision Index 0\.3 公开测试集：59\.75**（我们使用官方套件评分），对比排行榜上的 autotrust/JEV\-27B\-VL (https://huggingface.co/autotrust/JEV-27B-VL) 得分为 53\.64。近似公开视觉分数为 **72\.08**（我们对视觉基准测试的重新构建；JEV\-27B\-VL 在相同重建中得分为 71\.67，两者在噪声范围内持平）。单块 B200 上单请求中位延迟 241 ms（JEV\-27B\-VL 为 271 ms）。

> **两个模型，两个组织。****TypeSafe Jev 1\.13** 是由 TypeSafe AI 开发的托管闭源模型。**autotrust/JEV\-35B\-NVFP4** 是由 AutoTrust AI 构建的独立开放权重模型；与 TypeSafe AI 无关，未获其背书，也不是其产品。

## https://huggingface.co/autotrust/JEV-35B-NVFP4#decision-index-03-public-suiteDecision Index 0\.3（公开测试集）

公开指数**autotrust/JEV\-35B，System 1**（我们使用官方套件运行）**59\.75**autotrust/JEV\-27B\-VL，System 1（排行榜公开部分）53\.64
领域（技能）知识与推理语言检索与分类工具与自动化艺术与品味**JEV\-35B****0\.426****0\.632****0\.710****0\.765****0\.422**JEV\-27B\-VL0\.4140\.5640\.5370\.7350\.416
JEV\-35B：0\.3 公开测试集全部 140,178 个可评分请求均已回答（0 错误），仅使用 System 1（关闭思考），每个选项在单次前向中读取（最多 256 个选项），使用官方套件的 `score \-\-edition 0\.3` 评分。我们的评分，非排行榜条目：排行榜的 Full 分数还包含私有测试（占 80 %），仅其维护者可运行。JEV\-27B\-VL：排行榜上 JEV\-27B 的公开数据，其文本决策由 JEV\-27B\-VL 复现（参见 JEV\-27B\-VL 模型卡）。

JEV\-35B 在全部五个领域以及 37 项基准测试中的 24 项上领先。最大提升（技能分）：PhishNChips \+42\.3、HoVer \+28\.3、Habermas Machine \+28\.1、VAST \+22\.8、WinoGrande \+18\.9、BANKING77 \+18\.3、iSarcasmEval \+17\.2、When2Call \+14\.9、GPQA \+9\.5。JEV\-27B\-VL 领先的项目：POP909\-CL（\+25\.7）、GSM8K（\+18\.3）、ANLI（\+11\.4）、BPoMP（\+10\.8）、NLI4CT（\+6\.7）和 BBH（\+4\.8）。

### https://huggingface.co/autotrust/JEV-35B-NVFP4#every-benchmark全部基准测试

技能分将基准测试的原始指标重新缩放，使随机水平为 0（低于随机水平计为 0）；★ = 黄金基准（权重 1\.2）；较高分数以粗体显示。

**知识与推理**（领域技能分 0\.426；JEV\-27B\-VL 0\.414）

基准测试JEV\-35BJEV\-27B\-VLGPQA Diamond ★**0\.360**0\.265GSM8K（0\.3 重建）0\.359**0\.542**ChessBench**0\.127**0\.091MuSR0\.361**0\.402**SATA\-Bench0\.284**0\.328**CRUXEval0\.546**0\.583**CLadder**0\.440**0\.410HLE ★0\.0000\.000MMLU\-Pro ★**0\.642**0\.567BBH ★0\.647**0\.695**WinoGrande ★**0\.841**0\.651
**语言理解**（领域技能分 0\.632；JEV\-27B\-VL 0\.564）

基准测试JEV\-35BJEV\-27B\-VLContractNLI**0\.732**0\.639ANLI ★0\.545**0\.658**HellaSwag ★**0\.962**0\.900ACOS**0\.280**0\.169FinEntity**0\.856**0\.755iSarcasmEval**0\.426**0\.254VAST**0\.550**0\.322NLI4CT0\.627**0\.694**RAGTruth**0\.666**0\.604
**检索与分类**（领域技能分 0\.710；JEV\-27B\-VL 0\.537）

基准测试JEV\-35BJEV\-27B\-VLBANKING77 ★**0\.922**0\.739CLINC150\+OOS ★**0\.943**0\.845BRIGHT ★**0\.421**0\.417Amazon ESCI**0\.519**0\.430PhishNChips**0\.661**0\.238HoVer**0\.761**0\.478
**工具与自动化**（领域技能分 0\.765；JEV\-27B\-VL 0\.735）

基准测试JEV\-35BJEV\-27B\-VLBFCL ★**0\.950**0\.946ToolRet0\.600**0\.604**API\-Bank ★**0\.856**0\.825Home appliance simulator0\.500**0\.523**When2Call**0\.863**0\.714
**艺术与人类品味**（领域技能分 0\.422；JEV\-27B\-VL 0\.416）

基准测试JEV\-35BJEV\-27B\-VLBPoMP0\.750**0\.859**Humicroedit**0\.232**0\.223POP909\-CL0\.132**0\.390**cfcolor0\.256**0\.283**Habermas Machine**0\.416**0\.135New Yorker**0\.744**0\.607
## https://huggingface.co/autotrust/JEV-35B-NVFP4#images-approximate-public-vision-score图像（近似公开视觉分数）

Decision Index 的视觉基准测试未公开发布；以下是我们对其公开数据集的重新构建（CV\-Bench、BLINK、RealWorldQA、CharXiv、InfographicVQA、Mind2Web、CORD \+ FUNSD、Hateful Memes、R\-Bench\-M、MMMU\-Pro vision；不包含 Winoground），使用排行榜的随机水平校正和权重进行评分。在相同的重建中，JEV\-27B\-VL 得分为 71\.67，对比其在排行榜相同基准上的 71\.53。

近似公开视觉分数准确率ECE**JEV\-35B****72\.08****78\.6 %**0\.050JEV\-27B\-VL（相同重建）71\.6778\.0 %0\.044
基准测试JEV\-35B 技能分JEV\-27B\-VL 技能分CV\-Bench75\.7**76\.9**BLINK55\.6**56\.7**RealWorldQA68\.9**72\.2**CharXiv80\.780\.7InfographicVQA95\.0**95\.9**Mind2Web**83\.6**83\.2KIE（CORD\+FUNSD）**98\.7**98\.6Moderation（Hateful Memes）**47\.7**38\.0R\-Bench\-M28\.1**30\.3**MMMU\-Pro vision**43\.5**39\.2
总体上两个模型持平：差异（\+0\.4）在噪声范围内（配对 bootstrap 95% 置信区间 −0\.7 至 \+1\.6）。仅两项基准测试的差异具有统计显著性（配对 McNemar 检验，p \< 0\.01），均偏向 JEV\-35B：Moderation（\+9\.6）和 MMMU\-Pro（\+4\.3）。在 RealWorldQA、CV\-Bench、BLINK、InfographicVQA 和 R\-Bench\-M 上的小幅落后（−1 至 −3）不具有统计显著性。视觉塔沿用 Qwen3\.5\-35B\-A3B，未做修改；图像决策均为零样本。

## https://huggingface.co/autotrust/JEV-35B-NVFP4#speed速度

单个顺序客户端，相同的 587 行数据（从 Decision Index 中采样的 387 行文本数据，200 行图像数据），POST /v1/decide 调用 `serve\.sh`（vLLM，System 1 以 LoRA 方式运行），单块 B200：

中位数（p95）文本图像全部**JEV\-35B**215 ms（415）378 ms（784）241 ms（682）JEV\-27B\-VL（相同基准）207 ms（617）457 ms（910）271 ms（746）
## https://huggingface.co/autotrust/JEV-35B-NVFP4#computer-use-robot-arm-and-games电脑操作、机械臂与游戏

与 JEV\-27B\-VL 模型卡 (https://huggingface.co/autotrust/JEV-27B-VL) 使用相同的演示代码、随机种子、场景和对手；每一步都是一次 System 1 决策（`POST /v1/decide`，关闭思考），单模型运行在单块 B200 上。

**电脑操作：截图 → 选择点击哪个元素。**真实浏览器（headless Chromium）。每个可点击元素获得一个编号框；System 1 选择下一个点击目标（或判定"任务已完成"），浏览器执行点击，循环重复。

**机械臂：从摄像头图像抓取与放置**（MuJoCo）。每一步 System 1 根据俯拍图像回答两个问题：目标在夹爪的左边还是右边？在上方还是下方？每当某个回答发生翻转时，机械臂将步长减半。

**JEV\-35B**JEV\-27B\-VL电脑操作，编号框 + 元素文本（60 个任务：购物、设置、邮件）95%95%电脑操作，仅编号框（60 个任务）**38%**10%每次点击决策毫秒数，中位数（6 个浏览器并行）**397**720机械臂，二值决策伺服（20 个场景）：抓取放置成功率75%75%机械臂：抓取时与方块中心的中位距离2\.5 cm2\.7 cm机械臂：一旦抓取成功放入托盘的比例15/1515/15机械臂：每次决策毫秒数，中位数239239机械臂，在 8 个电机动作中直接选择（10 个场景）0%0%
- **带元素文本的电脑操作：95%，与 JEV\-27B\-VL 失败的任务相同**（购物场景种子 12、15、20：颜色色块不含文本，被跳过）。
- **仅编号框（所有元素均从像素中读取）：38% 对比 10%。**JEV\-35B 完成了 90% 的设置任务，但邮件任务仅完成 15%，购物任务仅完成 10%；大多数失败仍然过早宣告任务完成（37 次中 24 次）。
- **机械臂：成功率相同，失败场景不同。**每个模型在 20 次抓取中各有 5 次失败（两者均在场景 4 和 19 失败），每次失败偏离方块中心均超过 3 cm；一旦成功抓取，每个方块均到达托盘。
- 在 8 个电机指令中直接选择对两个模型均失败；应将控制分解为简单的视觉问题。

**游戏**（两个模型均使用随机种子 0；棋盘以图像 + 文本形式呈现）：

游戏**JEV\-35B**JEV\-27B\-VL2048：得分 / 最大方块336 / 32**2,080 / 128**四子棋对战规则型对手（6 局）0 胜 6 负0 胜 6 负Flappy Bird：通过管道数0**3**Snake：吃掉食物数11**21**Quick, Draw\! 16 选 1 top\-1（320 张草图；30% / 60% / 100% 笔画）35\.0 / 57\.5 / 86\.3%**41\.6 / 62\.2 / 87\.8%**国际象棋一步杀棋，16 个走法中选择（200 个 Lichess 谜题）47\.0%**52\.0%**
**游戏性能请使用 JEV\-27B\-VL。**在五个随机种子下，JEV\-35B 的 2048 最大方块平均为 64（随机游玩：102），未能通过任何 Flappy Bird 管道，Snake 吃到 3–18 个食物（平均 10 个）。逐集结果：`reports/demos/` (https://huggingface.co/autotrust/JEV-35B-NVFP4/tree/main/reports/demos)。

## https://huggingface.co/autotrust/JEV-35B-NVFP4#quick-start-vllm快速开始（vLLM）

``
hf download autotrust/JEV-35B-NVFP4 --local-dir JEV-35B-NVFP4
bash JEV-35B-NVFP4/serve.sh    # vLLM 运行在 :8000；需要 32 GB 以上显存的 GPU

serve\.sh 运行 serve\_decide\.py：标准的 vLLM OpenAI 服务端（与 vllm serve 使用相同标志），额外添加了 POST /v1/decide 路由。普通请求走 System 2；请求 LoRA 模块 jev\-decision（adapter\_vllm/：骨干 LoRA + 决策头作为 lm\_head LoRA）走 System 1。已在 2026 年 9 月的 vLLM 开发版上测试。

适配器在路由专家上没有 LoRA。serve\.sh 设置了 JEV\_DECIDE\_NO\_MOE\_LORA=1 和 \-\-lora\-target\-modules，使路由专家运行在 vLLM 的正常 MoE 内核上（决策头需要 \-\-max\-lora\-rank 320；vLLM 的 MoE-LoRA 内核最多支持 rank 128）。

https://huggingface.co/autotrust/JEV-35B-NVFP4#system-1-post-v1decideSystem 1：POST /v1/decide

`` curl localhost:8000/v1/decide -H ‘Content-Type: application/json’ -d ‘{ “kind”: “choice”, “state”: “客户消息：我的卡片因同一订单被扣款两次。”, “question”: “应该由哪个团队处理这个工单？”, “options”: [“billing”, “shipping”, “technical support”, “account security”]}’

字段值`kind``noul`：是/否，对应 `["false", "true"]` 的概率 · `score`：0–5 · `choice`：从你的 `options` 中选择`state`决策的对象：字符串、JSON 对象，或混合文本和图像的列表`question`关于 state 的一个问题`options`仅 `choice` 时使用：2–256 个字符串`thinking``"off"`（默认）
响应包含 `options`、`probabilities`、`choice`、`choice\_index` 和 `usage`。`GET /v1/decide/info` 列出默认值。

### https://huggingface.co/autotrust/JEV-35B-NVFP4#system-2System 2

``
import requests
requests.post("http://localhost:8000/v1/chat/completions", json={
    "model": "autotrust/JEV-35B-NVFP4",
    "messages": [{"role": "user", "content": "一句话解释什么是安全库存？"}],
    "max_tokens": 200})

如果你自行调用 /v1/completions 来使用 System 1，请传入 top\_k: 0 和 top\_p: 1\.0，以确保返回的概率不被截断。

https://huggingface.co/autotrust/JEV-35B-NVFP4#engine-and-read-out引擎与读出

System 1 读