autotrust/JEV-27B-VL
摘要
autotrust 发布 JEV-27B-VL，这是基于 Qwen3.8-27B 构建的 JEV-27B 模型的视觉版本，可通过 POST /v1/decide 提供快速的、经过校准的 System 1 决策，同时支持完整的 System 2 推理，已在机械臂抓取放置任务（成功率 75%）和计算机使用浏览器任务（完成率 95%）上得到验证。
查看缓存全文
缓存时间: 2026/10/05 15:52
autotrust/JEV-27B-VL · Hugging Face
来源：https://huggingface.co/autotrust/JEV-27B-VL
https://huggingface.co/autotrust/JEV-27B-VL#jev-27b-that-can-see-the-same-system-1-decisions-and-system-2-now-on-imagesJEV-27B 能「看见」：同样的 System 1 决策与 System 2，现在扩展到图像
autotrust/JEV-27B-VL 是 autotrust/JEV-27B (https://huggingface.co/autotrust/JEV-27B) 加上视觉能力。
| 它做什么 | 输出 |
|---|---|
System 1（POST /v1/decide）｜带类型的决策：是／否 · 从 2–256 个选项中选一个 · 0–5 分评分，支持文本和图像；提示词最长可达 256K token | 在一次前向传播中，为每个选项给出一个经过校准的概率 |
System 2（autotrust/JEV\-27B\-VL）｜未经改动的 Qwen3.8-27B，可选逐步思考，支持图像输入 | 文本／推理 |
https://huggingface.co/autotrust/JEV-27B-VL#new-3-october-2026-robot-arm-and-computer-use新增（2026 年 10 月 3 日）：机械臂与计算机操作
下面每一步都是一次 System 1 决策：输入一张摄像头图像或一张截图，输出每个动作的概率，且只进行一次前向传播。
**机械臂：从摄像头图像中取放。**每一步，System 1 都会查看顶部摄像头图像并回答两个问题：目标物体在夹爪的左边还是右边？在上方还是下方？机械臂据此移动，并在任一答案翻转时将步长减半。它抓住方块、搬运并放入托盘（MuJoCo 仿真）。
**20 个随机场景中完成 75%，为 JEV 系列最佳。**它抓到的每个方块都最终落入托盘（15/15）；所有未成功的情况，都是抓取点偏离目标 3.0–3.7 cm。每次决策约需 240 ms。
**计算机操作：截图 → 该点击哪个元素。**真实浏览器（headless Chromium）。每个可点击元素都会获得一个带编号的方框；System 1 选出下一个点击目标（或「任务已完成」），浏览器执行点击，如此循环。
60 个随机多步任务中完成 95%（购物、设置、邮件；每个任务 3–7 次点击），每次点击约 0.26 s。颜色色块不含文字，因此该次点击完全依据截图判断。
该系列中每个模型都使用相同的场景与任务：
| JEV-27B-VL | JEV-9B (https://huggingface.co/autotrust/JEV-9B) | GEV-26B-Decide (https://huggingface.co/autotrust/GEV-26B-Decide) | |
|---|---|---|---|
| 机械臂：取放（20 个场景） | 75% | 50% | 40% |
| 计算机操作：编号方框 + 元素文本（60 个任务） | 95% | 95% | 95% |
| 计算机操作：仅编号方框 | 10% | 37% | 15% |
| 每次机械臂决策耗时 | 239 ms | 163 ms | 61 ms |
- 将 System 1 用于控制回路中的简单视觉问题。让它直接从 8 个电机指令中选一个，它在 10 个场景中完成了 0 个。
- 在计算机操作中，把元素文本一并给它（就像无障碍树会提供的那样）。只给编号方框时，它经常过早宣布任务完成。
演示代码：JEV-9B 的 vl/demos/ (https://huggingface.co/autotrust/JEV-9B/tree/main/vl/demos)（将 JEV_URL 指向该服务器）。逐回合结果：reports/demos/ (https://huggingface.co/autotrust/JEV-27B-VL/tree/main/reports/demos)。
https://huggingface.co/autotrust/JEV-27B-VL#new-1-october-2026新增（2026 年 10 月 1 日）
- 通过普通 HTTP 提供 System 1。
serve\_decide\.py在 vLLM 服务器上增加POST /v1/decide：发送\{kind, state, question, options\}，即可为文本或图像中每个选项获得一个经过校准的概率。参见快速开始 (https://huggingface.co/autotrust/JEV-27B-VL#quick-start)。 - 单个选择题最多可有 256 个选项，无需重新训练。在 CLINC150 上零样本测试，将全部 150 个意图作为选项：仅用意图名称达到 89.5%，每个选项附一行描述后达到 93.8%。参见带最多 256 个选项的选择题 (https://huggingface.co/autotrust/JEV-27B-VL#choice-questions-with-up-to-256-options)。
- **如何编写提示词：实测结果。**为相似选项提供一行「何时使用」的描述有帮助；问题措辞、JSON 与纯文本、以及额外指令则没有可测量的影响。参见编写 System 1 提示词 (https://huggingface.co/autotrust/JEV-27B-VL#writing-system-1-prompts)。
- **256K token 提示词。**某次决策依赖隐藏在最长 250K token 文本中随机位置的一句话：在所有测试长度上均为 20/20 正确。参见上下文长度 (https://huggingface.co/autotrust/JEV-27B-VL#context-length)。
https://huggingface.co/autotrust/JEV-27B-VL#highlight-zero-shot-short-video-recommendation-for-tiktok-style-feeds亮点：零样本短视频推荐（适用于 TikTok 式信息流）
短视频信息流必须针对每位用户、每个新视频决定是否将其展示出来。JEV-27B-VL 的 System 1 可以仅凭画面完成这一判断：它查看用户最近观看的 5 个视频封面加一个候选视频封面，并在一次前向传播中返回 P（该用户会观看它）。它不需要交互日志、不需要物品向量、也不需要训练，因此一个全新的视频在上传的那一刻、在任何人观看之前就可以被排序。
在 MicroLens-100k (https://github.com/westlake-repl/MicroLens) 上进行离线评估，该数据集来自真实短视频平台、包含原始封面：对 200 位用户，隐藏每位用户实际观看的下一个视频，将它混入其他用户在 ±3 天内观看过的 19 个视频中（也就是信息流原本会展示的内容），每种方法对这 20 个候选视频进行排序。
| 方法 | 是否使用交互日志？ | AUC | HR@5 | NDCG@10 |
|---|---|---|---|---|
| 随机排序 | 否 | 0.489 | 0.205 | 0.219 |
| 标题相似度（TF-IDF） | 否 | 0.602 | 0.385 | 0.367 |
| JEV-27B-VL System 1，仅标题 | 否，零样本 | 0.649 | 0.455 | 0.399 |
| JEV-27B-VL System 1，仅封面 | 否，零样本 | 0.727 | 0.590 | 0.498 |
| 基于物品的协同过滤 | 是，59,045 位其他用户 | 0.728 | 0.490 | 0.503 |
- **零行为数据即可媲美协同过滤：**与从 59,045 位用户观看历史中学习得到的基于物品的 CF 相比，AUC 相同（差异 0.000，95% 区间 −0.041 至 +0.040），且 top-5 命中率更高（59% 对 49%）。
- **解决冷启动问题：**协同过滤需要共同观看历史；JEV 只需要封面，因此新视频和新创作者从第一秒起就可以被推荐。
- **图像胜过文字：**仅封面相比仅标题，AUC 高出 +0.078（95% 区间 +0.031 至 +0.126）。
- **速度快到可以用于排序阶段：**在演示中，单张 GPU 上对 20 个候选封面打分约需 2.6 秒。
代码、数据处理管线与在线 Web 演示：JEV-27B-DEMO / 07-video-recommendation (https://github.com/yuhai-china/JEV-27B-DEMO/tree/master/07-video-recommendation)。
https://huggingface.co/autotrust/JEV-27B-VL#watch-it-decide看它决策
下面每一步都是一次 System 1 决策：在一次前向传播中读出每个可能动作的概率。面板会展示动作概率以及每次决策所耗时间。
**《超级马里奥兄弟》。**每一步是一次移动选择加一次跳跃决策，每次决策约 150 ms（视频以 5 倍速播放）。
**魔方。**解一个 25 步的打乱状态，每个动作从 11 个标准公式中选择，每次决策约 46 ms（10 倍速回放）。
**俄罗斯方块。**为每块方块选择列位置和方向，每次决策约 122 ms（5 倍速）。
**Quick, Draw!**逐笔猜测玩家正在画什么，从 16 个答案中选择。在 Quick, Draw! 数据集的 320 位真实玩家涂鸦上，图形画完后它能正确说出画的内容的概率为 88%，仅画出 60% 笔画时的概率为 62%（随机猜测为 6%）。每次猜测约 270 ms。
**贪吃蛇。**观察棋盘和位置列表，在每一步选择方向：131 步内吃到 18 个食物，每次决策约 300 ms（4 倍速回放）。
https://huggingface.co/autotrust/JEV-27B-VL#highlight-agent-judge亮点：智能体评判器
**Plan-RewardBench（ACL 2026）。**工具使用智能体的两条完整轨迹，哪一条更好？在 1,171 对样本（规划、错误恢复、安全拒答、工具无关性）上，System 1 达到 73.2% 的宏平均准确率，位居论文表格（Table 4）榜首：Qwen-Plus 70.0、DeepSeek-V3.2 69.6、Inf-ORM-Llama3.1-70B 69.2、Gemini-3-Flash 69.1、GPT-5 68.5。
AgentRewardBench（2025 年，含截图）。
这个网页智能体真的完成任务了吗？给定用户目标、智能体的动作与最终消息，以及最终截图，System 1 在一次前向传播中、零样本地返回 P（任务已完成）。在 AgentRewardBench (https://agent-reward-bench.github.io/)（McGill，2025；来自 GPT-4o、Claude 3.7、Llama 3.3 与 Qwen2.5-VL 智能体的 1,302 条专家标注轨迹）上，其精确率高于官方榜单上每个评判器在自身召回率水平下的精确率：
| 评判器 | 其精确率 | 其召回率 | JEV-27B-VL 在相同召回率下的表现 |
|---|---|---|---|
| 规则基线 | 83.8 | 55.9 | 86.2 |
| WebJudge（o4-mini） | 82.0 | 47.8 | 87.7 |
| WebJudge-7B（训练出的评判器） | 75.7 | 58.0 | 86.2 |
| World-State-Model-7B（训练出的评判器） | 71.2 | 72.2 | 77.7 |
| GPT-4o（无障碍树） | 69.8 | 83.1 | 72.9 |
| Claude 3.7 Sonnet（截图） | 69.4 | 76.3 | 75.6 |
| Qwen2.5-VL-72B（截图） | 64.5 | 86.1 | 67.9 |
在阈值 0.5 时：精确率 78.4，召回率 70.2；AUROC 0.91。在单张 GPU 上约 4 分钟内完成全部 1,302 条判定。代码：JEV-27B-DEMO / 10-agent-judge (https://github.com/yuhai-china/JEV-27B-DEMO/tree/master/10-agent-judge)。
https://huggingface.co/autotrust/JEV-27B-VL#highlight-multimodal-judge亮点：多模态评判器
给定一张图像、一个问题和两个答案，System 1 判断哪个答案更好，零样本、每种顺序各做一次前向传播。在 VL-RewardBench (https://vl-rewardbench.github.io/)（CVPR 2025，1,247 对人工核验样本）上，它达到 78.3% 的总体准确率，高于其官方榜单上的每个模型（26 个模型，2025 年 5 月更新）：
| 评判器 | 通用 | 幻觉 | 推理 | 总体 | 宏平均 |
|---|---|---|---|---|---|
| JEV-27B-VL System 1 | 58.0 | 83.2 | 78.2 | 78.3 | 73.1 |
| Skywork-VL-Reward-7B | 65.6 | 80.2 | 61.3 | 73.3 | 69.0 |
| Gemini 2.0 Flash | 50.8 | 72.6 | 70.1 | 68.8 | 64.5 |
| Gemini 1.5 Pro | 50.8 | 72.5 | 64.2 | 67.2 | 62.5 |
| GPT-4o | 49.1 | 67.6 | 70.5 | 65.8 | 62.4 |
| Claude 3.5 Sonnet | 43.4 | 55.0 | 62.3 | 55.3 | 53.6 |
在单张 GPU 上，2,494 次决策耗时 163 秒。代码：JEV-27B-DEMO / 09-multimodal-judge (https://github.com/yuhai-china/JEV-27B-DEMO/tree/master/09-multimodal-judge)。
在更新的 Multimodal RewardBench 2 (https://arxiv.org/abs/2512.16899)（Meta，2025 年 12 月）上，该基准包含当前一代的评判器（每个任务 1,000 对专家标注样本；其他行取自论文 Table 2）：
| 评判器 | 文生图 | 图像编辑 | 交错多模态 | 推理 | 平均 |
|---|---|---|---|---|---|
| Gemini 3 Pro | 74.4 | 74.9 | 76.4 | 79.5 | 76.3 |
| GPT-5 | 70.5 | 73.8 | 74.4 | 70.2 | 72.2 |
| Gemini 2.5 Pro | 70.5 | 71.3 | 75.1 | 66.6 | 70.9 |
| Qwen3-VL-32B | 64.1 | 67.3 | 70.5 | 56.6 | 64.6 |
| Gemini 2.5 Flash | 63.1 | 66.5 | 69.4 | 57.5 | 64.1 |
| JEV-27B-VL System 1 | 69.2 | 57.8 | 67.8 | 60.4 | 63.8 |
| GPT-4.1 | 65.8 | 68.2 | 67.0 | 53.0 | 63.5 |
| Qwen3-VL-235B-A22B | 62.0 | 64.8 | 69.0 | 55.9 | 62.9 |
| GPT-4o | 60.3 | 65.0 | 61.5 | 51.9 | 59.7 |
文生图评判与 GPT-5 仅差 1.3 分；四任务平均分与 GPT-4.1 和 Qwen3-VL-32B 处于同一水平。GPT-5 和 Gemini 3 Pro 仍然领先，图像编辑是其最弱的任务。
https://huggingface.co/autotrust/JEV-27B-VL#benchmarks基准测试
JEV-27B-VL 给出的文本决策与 autotrust/JEV-27B (https://huggingface.co/autotrust/JEV-27B) 完全一致：在 1,000 次答案核对决策中，平均概率差为 0.010，且 99.8% 落在 0.5 的同一侧。下文的文本结果由 JEV-27B 测得；图像结果由 JEV-27B-VL 测得。
https://huggingface.co/autotrust/JEV-27B-VL#six-public-decision-benchmarks六个公开决策基准
分数单位为 %，越高越好。JEV-27B 与 TypeSafe Jev 1.13（托管 API）由 AutoTrust 全量运行（2026 年 9 月 27 日）；其他行取自 NeoHorse-Jev-4B 评测 (https://huggingface.co/TokenRhythm/NeoHorse-Jev-4B/blob/b50e043e22e0e41e7fc0c244e4daa707b8124930/README.md) 的报告结果。
| 模型 | JevBench | Kev | OpenJev text | Nimble | VitaminC | MASSIVE-en | 六组平均 |
|---|---|---|---|---|---|---|---|
| JEV-27B / JEV-27B-VL | 88.70 | 83.75 | 73.89 | 92.91 | 77.46 | 87.71 | 84.07 |
| TypeSafe Jev 1.13，托管 API | 87.18 | 85.52 | 72.96 | 91.84 | 78.46 | 87.14 | 83.85 |
| NeoHorse-Jev-4B | 75.73 | 81.92 | 58.74 | 87.23 | 77.13 | 85.43 | 77.70 |
| Open-Jev-9B | 77.13 | 77.87 | 65.39 | 80.50 | 68.28 | 84.86 | 75.67 |
| Kev-4B | 73.71 | 81.47 | 54.75 | 73.40 | 76.46 | 85.71 | 74.25 |
| Laya English | 55.82 | 61.30 | 40.07 | 45.04 | 78.63 | 68.57 | 58.24 |
https://huggingface.co/autotrust/JEV-27B-VL#system-1-fidelity-and-calibrationSystem 1 的保真度与校准
jev\-distill\-corpus\-v3 中留出的 test\_set\_30k。
| 指标 | JEV-27B / JEV-27B-VL |
|---|---|
| 与 TypeSafe Jev 1.13 分布的 KL 散度（Jev 标注行，0 = 完全相同） | ≈ 0.017 |
| 是／否 AUROC | 0.995 |
| 与 Jev 的选择题 top-1 一致率（有明确最优选项的行） | 95.8% |
| 评分误差，0–5 量表（期望评分的 MAE） | 0.098 |
| 期望校准误差 | 0.0009 |
| 对未见过任务族的真值标签的 KL | 0.104 |
https://huggingface.co/autotrust/JEV-27B-VL#independent-benchmark-decision-models-under-pressure独立基准：高压下的决策模型
人工金标准标签（CLINC-150、MTOP、GoEmotions、DBpedia），800 个样本。
| 选项数 | 2 | 4 | 8 | 16 |
|---|---|---|---|---|
| TypeSafe Jev 1.13（已发表） | 0.890 | 0.801 | 0.782 | 0.769 |
| JEV-27B / JEV-27B-VL | 0.876 | 0.784 | 0.767 | 0.740 |
https://huggingface.co/autotrust/JEV-27B-VL#applied-tasks-from-jev-27b-demo应用任务（来自 JEV-27B-DEMO (https://github.com/yuhai-china/JEV-27B-DEMO)）
| 任务 | 结果 | 对比 |
|---|---|---|
| 零样本短视频推荐（MicroLens，仅封面）· JEV-27B-VL | AUC 0.727 | 来自 59,045 位用户日志的协同过滤 0.728 · 仅标题 0.649 |
| 智能体评判器（Plan-RewardBench，ACL 2026，1,171 对）· JEV-27B-VL | 73.2%，位列论文表格榜首 | Qwen-Plus 70.0 · Gemini-3-Flash 69.1 · GPT-5 68.5 |
| 智能体评判器（AgentRewardBench，1,302 条轨迹）· JEV-27B-VL | 在榜单上各评判器的召回率水平下，精确率高于全部 16 个评判器；AUROC 0.91 | o4-mini、GPT-4o、Claude 3.7、训练出的 7B 评判器 |
| 多模态评判器（VL-RewardBench，1,247 对）· JEV-27B-VL | 78.3% 准确率，高于其 2025 年榜单上的每个模型 | Skywork-VL-Reward-7B 73.3 · GPT-4o 65.8 · Claude 3.5 Sonnet 55.3 |
| 多模态评判器（MMRB2，4 × 1,000 对）· JEV-27B-VL | 文生图 69.2，平均 63.8 | GPT-5 70.5 / 72.2 · GPT-4.1 65.8 / 63.5 · GPT-4o 60.3 / 59.7 |
| 生物医学研究问题（PubMedQA 测试集，500 条）· JEV-27B-VL | 77.8% 准确率，零样本 | 人类专家 78.0% · GPT-4 零样本 75.2% · BioBERT 68.1% |
| 回复评判器（RewardBench，2,985 对） | 89.9 | Gemini 1.5 Pro 88.2 · GPT-4o 86.7 · Claude 3.5 Sonnet 84.2（作为评判器） |
| 幻觉防护（TriviaQA，只回答可信的那一半） | 96.4% 准确率 | 全部作答 71.2% · 模型自身声明的置信度 87.2% |
| 零样本新闻推荐（MIND） | AUC 0.642 | 最佳零样本基线 0.606 · 在 MIND 上训练的 LightGBM 0.616 |
| 搜索重排（TREC-COVID，nDCG@10） | 0.858 | bge-reranker-v2-m3 0.793 · BM25 0.623 |
| System 1 → System 2（置信度低于 0.70 时升级） | 准确率 0.892，70% 的问题在 0.11 s 内作答 | 仅 System 1 0.792 · 全部都思考 0.917 |
https://huggingface.co/autotrust/JEV-27B-VL#system-2System 2
| 基准 | 结果 |
|---|---|
| HumanEval pass@1（贪心） | 78.0%，与 Qwen3.8-27B 完全相同 |
https://huggingface.co/autotrust/JEV-27B-VL#quick-start快速开始
hf download autotrust/JEV-27B-VL --local-dir JEV-27B-VL
bash JEV-27B-VL/serve.sh # vLLM 于 :8000；需一块 80 GB 或以上的 GPU
serve\.sh 会运行 serve\_decide\.py：即标准的 vLLM OpenAI 服务器，
相似文章
autotrust/GEV-26B-Decide
autotrust 发布了 GEV-26B-Decide，这是一个基于 Gemma-4-26B-A4B-it 构建、具备自适应思考能力的 26B 参数（每 token 约 4B 激活）决策模型，在 Decision Index 上得分为 62.48。该模型还演示了面向计算机操作的亚 100 毫秒 System 1 决策（在无头 Chromium 中任务成功率达 95%），以及 MuJoCo 机械臂的抓取与放置任务。
autotrust/JEV-35B
AutoTrust AI 发布了开源权重模型 autotrust/JEV-35B，一个基于 Qwen3.5-35B-A3B 构建的 System 1 决策模型，单次前向可处理多达 256 个选项，在 Decision Index 0.3 公开测试集上取得 59.73 分，优于 JEV-27B-VL，并提供可在单张 32–48 GB GPU 上运行的 NVFP4 量化版本。
RoboJev：用于机器人任务成功检测的开放式视觉语言评判模型
RoboJev-27B 是一个开放权重的视觉语言评判模型，可根据视频帧预测机器人操作是否成功，在 SO-101 机器人上达到了 95.2% 的平衡准确率，并能在未见过的实验室和机器人上展现出强大的泛化能力，其推理代码和完整评估数据均已公开。
我将 Qwen3.8-27B Q2_64 + llama.cpp 转换为一个完全 TypeSafe AI 兼容的 Jev 风格系统。OpenAI API 仍然完整！全球首个支持视觉的 Jev 风格模型！显存占用低于 10 GB，在 RTX 3090 上延迟 170 毫秒，聊天速度约 140 tok/s。在包含 22,000 个请求的多样化类型决策基准测试中，准确率为 76%，而 Jev-1.13 为 88%。
Bonsai-Llama-Jev 是一个开源的、支持视觉的类型决策推理系统，可在本地运行，具有低显存占用和高准确率，在多样化基准测试中超越其他系统。
@Zefan_Cai: 在点击确认前，找出错误的目标。试试 Open-Jev-27B-v1.1 演示：点击两个示例之间，看看模型如何选择操作。
Open-Jev-27B-v1.1 是一个开源 AI 模型，配备 LoRA 适配器，在 JevBench 上达到 85.28% 的准确率，并具有各种任务的交互式演示。