对 System 1 决策模型（tev1、Jev、pplx-decider-v1.2、Liquid d1.1）与 9B 大语言模型在智能体路由和工具调用门控方面进行基准测试的心得

声明：我是 Herald 和 Ultimate Assistant（开源，采用 AGPL-3.0 许可证）的开发者。根据规则 3，我没有在帖子正文中放置任何代码仓库和基准测试链接，而是将它们放在下方的第一条评论中。在构建多智能体运行框架时，最大的延迟来源之一，是主智能体开始工作之前的路由和门控开销。用户的每一轮输入通常都会触发几个小决策：* 应由哪位专门智能体处理这一轮（规划员、程序员、桌面操作员、研究员、导师，还是快速聊天）？* 这一轮需要 MCP 工具，还是可以走快速对话路径？* 用户是否提到了未来的任务、账单或约会，需要触发后台待办承诺提取？如果每项检查都使用一次标准的生成式 LLM 调用，那么在本地每项检查大约需要 475 毫秒（使用 RTX 4070 Ti SUPER 运行 qwen3.5:9b），而通过托管 API 则需要 2–3 秒。1. 一次提出 40 个是非问题（“盲式语义推断”）与提出 5 个问题的对比 最近出现了几个 System 1 决策端点（Ollama 上使用 tev1 的 /v1/systemone、TypeSafe Jev、OpenRouter 上使用 perplexity/pplx-decider-v1.2 和 liquid/d1.1 的 /api/v1/systemone、OpenAI /v1/decisions，以及 Cloudflare clef）。这些模型接收一个状态和一组是非问题，并返回经过校准的是/否概率（noul）。我们测试了一个想法：与其总结提示词或只提出一个路由问题，不如一次性就提示词的含义提出 40 个相互独立的是非问题（5 个专门智能体问题、25 个子意图维度、5 个对话排除维度，以及 5 个待办承诺门控维度），会怎么样？我们发现，托管 API 与本地单 GPU 推理之间存在明显差异：* 在并行托管 API（Jev、OpenRouter /api/v1/systemone、pplx-decider-v1.2、liquid/d1.1）上：全部 40 个问题在一次前向传播中完成评估，耗时 159–319 毫秒（每轮 0.000028–0.00006 美元，输出 token 成本为 0 美元）。更好的是，当两个专门智能体在主要路由问题上的得分接近时，这 25 个子意图维度可以通过普通 Python 代码决出胜负。这使我们的 LLM 回退率从约 15% 降至 0%（0/24 次回退），并且在 jev-1.14.0 和 perplexity/pplx-decider-v1.2 上都达到了 100% 的准确率。* 隐私方面的额外好处：由于这 40 个维度都有固定代码（pl_todo_shopping、cd_debug_error、cm_future_task），运行框架可以仅根据布尔概率重建结构化语义摘要（surmise:planner [pl_todo_shopping,cm_future_task]），而完全不必存储用户的原始提示词文本，也不必将其写入日志。* 在本地单 GPU Ollama 上（RTX 4070 Ti SUPER 上的 tev1 4.3B Q8_0）：Ollama 以 -np 16 分批评估问题（5 个问题约需 53 毫秒，40 个问题约需 416 毫秒）。因此，对于本地模型，我们的路由器会自动切换到精简拆分方案：5 个专门智能体问题 + 1 个待办承诺门控问题。这样，单个门控耗时 27 毫秒，路由确定时耗时 164 毫秒，并在此前未见过的路由测试集上达到了 100%（56/56）的准确率。2. 结果汇总 引擎 模式 56 个未见过的路由测试案例 24 轮 [agent, needs_tools, commitment] LLM 回退次数 延迟中位数 每轮成本 本地 tev1（Ollama） 精简 5Q + 1Q 拆分 100%（56/56） 100%（24/24） 16 / 24（0 次错误） 27 毫秒（1Q）/ 164 毫秒（路由确定）/ 530 毫秒（回退） 免费 本地 qwen3.5:9b LLM + 词法规则 93%（52/56） 92%（22/24） 22 / 24 477 毫秒 免费 TypeSafe jev-1.14.0 40Q 并行语义推断 100%（56/56） 100%（24/24） 0 / 24 159 毫秒 0.00006 美元 OpenRouter jev-latest 40Q 并行语义推断 100%（56/56） 100%（24/24） 0 / 24 238 毫秒 0.00006 美元 OpenRouter pplx-decider-v1.2 40Q 并行语义推断 - 100%（24/24） 0 / 24 319 毫秒 0.000034 美元 OpenRouter liquid/d1.1 40Q 并行语义推断 - 92%（22/24） 0 / 24 274 毫秒 0.000028 美元 3. 何时不应使用决策模型 我们要求助手中的每个决策点都必须通过自动化门槛检查（准确率 >=90%，且速度不慢于现有路径），才能为其启用决策模型。例如，在 light_work 和 heavy_work 模型通道之间做选择时，决策模型的准确率为 75%，耗时 152 毫秒；而根据已选定的专门智能体进行简单的确定性查表，则在 0.11 毫秒内达到了 100% 的准确率。很好奇这里的其他人目前是如何处理每轮开始前的路由和工具门控的：你们使用的是快速 LLM、嵌入式路由器，还是 System 1 分类器？