qev-0.8b · 新一代 SOTA 超轻量本地决策模型

# qev-0.8b · 微型本地决策模型 来源: https://app.labqoat.com/e/qev/qev qev 可以读取任何内容（游戏棋盘、帖子、收件箱、网页），并以**校准概率在一次前向传播中**回答关于它的任何问题。在 27 个同规模的决策模型中，它在 Benchmark Heaven 上得分最高，回答速度最快，且能在你的笔记本电脑上运行。本页面上的所有内容都是真实模型实时运行的，而且**它玩的六个游戏中有五个从未出现在其训练数据中**：俄罗斯方块（Tetris）、吃豆人（Pac-Man）、2048、打砖块（Breakout）和打地鼠（Whac-A-Mole）。只有贪吃蛇（Snake）曾出现在训练数据中。 - **77.1%**Benchmark Heaven · 27 个模型中排名第 1 - **3.5 ms**p50 延迟 · 27 个模型中最快 - **74.2%**JevSpatial 空间游戏 · 第 1 名 - **1.3 GB**Mac 上的内存占用（8-bit） **正在 GPU 上唤醒 qev...** 当没有人观看时，演示页面会休眠。安静一段时间后的第一位访客需要等待一次冷启动。 全部同时运行 ## 快到可以同时完成所有任务。此刻，就在这块 GPU 上。 六个游戏和六项阅读任务，全部实时运行，全部由同一个微型模型决策。每次决策只需几毫秒，因此它能跟上所有任务的节奏，且仍有余力。它从未在俄罗斯方块、吃豆人、2048、打砖块或打地鼠上训练过；贪吃蛇是这里唯一它见过的游戏。 **12**个任务实时运行 **–**毫秒/决策**0**每秒决策数 基准测试 ## 微型模型，榜首称王。 我们将 qev-0.8b 与另外 26 个参数量约 1B 的决策模型进行了对比。每个模型都接收相同的题目和评分标准，运行在单块 NVIDIA L40S 上，并使用各自公开的推理方案。qev 在 Benchmark Heaven、JevExtra 和 JevSpatial 上均排名第一，且速度最快。 ### 每个基准，每个模型 准确率为百分比。ECE、延迟和内存越低越好。每列最优值以**加粗**显示。 ### 最准确 Benchmark Heaven 准确率，27 个模型中的前 8 名 ### 最快 单块 L40S 上每次请求的 p50 延迟，27 个模型中的前 8 名 ### 最准确模型中最小的 准确率前 8 名模型的参数量 Benchmark Heaven**77.1%** 27 个模型中排名第一，参数量仅 0.8B。排名其后的 decision-2b 和 decider-2b，参数量是它的两倍多。 延迟 p50**3.5 ms** 27 个模型中最快：比 decider-2b 快一倍，比 decision-2b 快 23 倍。 JevExtra**72.0%** 涵盖国际象棋、浏览器操作、工具使用、智能体动作、注入攻击、安全性、评判和接地。最佳分数为 64.1。 JevSpatial**74.2%** 游戏与空间推理。俄罗斯方块、吃豆人、打砖块、2048 和打地鼠均未参与训练。 BH = Benchmark Heaven 公开数据划分（231 道题，采样误差约 ±2.8 分）。JevBench = 240 个案例；连贯性使用官方 jevbench 框架（×100），qev 采用逐题模式，其他模型使用各自运行时。Suite = 22 个公开数据集任务（880 道题）。JevExtra = 国际象棋、浏览器（Mind2Web）、工具、智能体动作、注入攻击、安全性、评判和接地各项技能准确率的均值。JevSpatial 和 Rules-7 = jev-skills 的空间和 rules7 配置。延迟为 L40S 上各模型自有运行时中 batch=1 时每次请求的 p50。VRAM 估算为权重 + 0.5 GB，非实测值。 qev-0.8b 的数据来自我们的评估框架；其他行数据来自对比框架，该框架在 BH 上对上一版 qev 的评分低了一分（76.6 对比 77.1）。有 1 100+ 道题在该模型自身运行时中失败，按均匀猜测计分，因此其数据被低估了。jevos-v5 仅在 CPU 上运行，其测试仍在进行中。decider-2b 和 lev-350m 没有 JevSpatial 或 Rules-7 的测试结果。原始 Qwen3 的连贯性得分虚高：大部分题目失败，近乎均匀的猜测看起来很"一致"。 在上方的演示中，游戏代码计算出每步操作的结果并写入状态，然后由 qev 进行决策，这与 JevSpatial 的"状态中的事实"设置一致。 本地运行 ## 在你的数据所在之处运行。甚至可以在笔记本上。 相同的权重以三种格式发布：CUDA 用于高速 GPU 引擎，MLX 用于 Apple 芯片，GGUF 用于 llama.cpp。8-bit 量化下仅需 1.3 GB 内存。它不生成文本，因此数据不会离开你的机器，也没有 token 费用。 - 参数量0.8B，基于 Qwen3.5-0.8B-Base 的全量微调 - 权重1.7 GB bf16 · 0.8 GB 8-bit - 内存2.2 GB VRAM（估算）· Mac 上 8-bit 为 1.3 GB - 延迟3.5 ms p50（单块 L40S）· M4 Pro 上 109 ms - 输出针对选择题、是/否题和评分题的校准概率，最多支持 255 个选项 - 许可证Apache-2.0 ``` # pip install mlx==0.32.4 mlx-lm==0.32.2 tokenizers decider-ai==1.9.0 huggingface_hub from qev_mlx import QEVMLX m = QEVMLX.load("labqoat/qev-0.8b-MLX", subfolder="q8") # 1.3 GB m.decide({"ticket": "Charged twice, please refund one."}, {"dept": {"type": "choice", "instructions": "Which team?", "criteria": {"billing": "payments", "tech": "bugs"}}, "urgent": {"type": "noul", "instructions": "Is this urgent?"}}) ``` API ## 一次 POST 请求。任意状态，任意问题。 发送一个状态（文本、对象或列表）和最多 16 个问题。每个答案以概率分布的形式返回。如果模型有信心，就按其决策执行；如果没有，则升级给人工或更大的模型。 - choice从选项中选择一项。名称和简短描述很重要，因为模型会读取它们。 - noul是或否，以"是"的概率形式返回。 - score序数评分，以期望分数和分布的形式返回。 - /batch一次前向传播中最多回答 64 个请求。 ### 试一试 此调用与演示使用的模型相同，实时运行。 状态问题