@StevenDarlow:您的智能体不需要更大的模型。它需要更快的决策。Jev + Hermes:路由、记忆、技能选择、GUI点击…
摘要
本文介绍了TypeSafe开发的决策模型Jev,它与Hermes集成,能够为AI智能体快速且低成本地处理小规模的非推理决策,从而优化成本与性能。
查看缓存全文
缓存时间: 2026/09/20 05:16
你的代理模型不需要更大的参数,而是需要更快的决策速度。Jev + Hermes:路由决策、记忆检索、技能选择、界面点击。约0.4秒响应,成本不足一美分。
https://t.co/KoXuXvIvLF
kerpopule/hermes-jev-skills
来源:https://github.com/kerpopule/hermes-jev-skills
Hermes Jev 技能集
为你的代理模型配备一个快速、低成本的“第二大脑”,专门处理小型决策。
你的代理模型正在用前沿模型处理大量非思考类任务,浪费着宝贵的算力:本轮对话应调用哪个模型、从377种技能中加载哪一个、检索到的段落哪些重要、哪些对话轮次需要摘要保留、下一步该点击哪个按钮。这些都是决策任务,而非文本生成。让成本仅为一小部分、响应时间约0.4秒的轻量级处理器来完成这些工作,把昂贵的模型留给文本创作。这就是 Jev(https://docs.typesafe.ai)——TypeSafe 的决策模型。
它从不生成文本。
你只需提供状态和类型化问题(选择其一、评分、是/否判断),它就能以校准后的置信度给出答案。本代码库将这一能力集成到代理模型的日常工作流程中。
模型路由仪表盘
包含 Jev 开关(开启/影子模式/关闭)、路由池网格面板,以及实时决策流
jev dashboard 示例数据:Jev 路由开关、按工作类型分层展示的路由池面板,以及实时决策流(层级、工作类型、模型来源、置信度、延迟)
Jev 的决策能力与成本
| 技能模块 | Jev 决策内容 | 实测数据 |
|---|---|---|
| 模型路由 | 从所有可用模型中选择本轮对话足够好的模型 | 每轮约0.4秒 |
| 记忆检索 | 判断检索到的段落中哪些值得阅读,哪些包含隐藏指令 | 单次请求处理60个段落(最多480个);即使Jev离线,注入过滤器也会在本地运行 |
| 压缩与交接 | 决定哪些对话轮次需要逐字保留、哪些需要摘要、哪些可以丢弃 | 0.95秒内处理71轮对话 |
| 技能选择 | 判断本轮需要调用哪个已安装技能,或无需调用 | 377项技能约2.8秒完成检索;确认响应在本地免费处理 |
| 优先级分类 | 判断消息紧急程度、类型,并决定是否必须由人工处理 | 每条消息约0.4秒,成本$0.00006 |
| 界面操作 | 从预定义的安全操作表中选择下一个GUI操作。--plan参数可将多步命令拆分为一次性规划 | 每个决策约0.5秒 |
| 浏览器操作 | 选择下一个页面操作,遵循相同规则 | 每步约0.4秒 |
八种技能以标准 SKILL.md 文件形式发布,不仅限于 Hermes 平台。同样的文件夹结构可兼容 Claude Code、Codex 或任何能读取技能文件的系统。
两行命令快速体验
git clone https://github.com/kerpopule/hermes-jev-skills ~/hermes-jev-skills && python3 ~/hermes-jev-skills/install.py
jev setup-key # 将密钥粘贴至打开的临时页面,然后运行:jev doctor
安装程序会自动检测系统中的 Hermes、Claude Code 和 Codex,并为每个检测到的工具进行安装。
python3 install.py --check 可预览安装计划而不实际更改。
--uninstall 可完全卸载。
仍在犹豫?
运行 jev models suggest --write 根据价格区间生成路由池方案,再用 /jev routing shadow 进入影子模式观察一天。影子模式仅记录决策日志而不实际切换,一天的决策成本极低且零风险。当日志显示决策合理时即可正式启用。
在 Hermes 中使用
从影子模式开始——这是观察 Jev 决策行为的最真实方式,且不会触发任何实际变更。
/jev status
/jev routing shadow # 仅记录决策日志(从此处开始)
/jev routing on # 按对话轮次切换模型
/jev skills on # 每轮自动推荐合适技能
/jev notice on # 在路由响应时显示 "[Jev] 硬分类 · 编程 → kimi-k3 · 置信度0.92"
/jev routing on all # 设为所有配置文件的默认设置(配置文件自身设置仍优先)
代理模型获得五个新工具:
jev_memory_filter、jev_compact_select、jev_choose_action、jev_supervise、jev_escalate。
hermes-jev 插件仅使用公开接口(pre_llm_call、llm_request 中间件、工具接口、斜杠命令),因此 hermes update 不会破坏兼容性,且不会修改 Hermes 核心代码。插件只能切换模型,不能改变供应商连接——在 OpenRouter 平台上这依然覆盖所有服务商。若通过 /model 手动选择,则以手动设置为准。
管理所有可用模型
jev models list # 列出本机可调用所有模型:价格、上下文、视觉、推理能力
jev models providers # 列出已持有API密钥或登录凭据的服务商
jev models suggest --write # 根据价格区间生成初始路由池方案(可自行调整)
模型目录来自 models.dev(https://models.dev),筛选条件为环境变量或 Hermes .env 中已设置API密钥名称的服务商,或 Hermes 已保存登录凭据的服务商。仅读取密钥名称,不读取密钥本身。
路由池配置存储于:
- 全局配置:
~/.hermes/jev/routing.json - 配置文件专属覆盖:
~/.hermes/profiles/<profile>/jev/routing.json
详细文档见 skills/jev-model-routing。
API密钥永远不接触代理模型
jev setup-key 打开的临时页面仅由本机托管。你将 TypeSafe 密钥(https://console.typesafe.ai/settings/keys)粘贴至此页面后,密钥直接存入操作系统密钥库(macOS 钥匙串 / Linux 的 secret-tool / 备选的0600权限文件),并在 Hermes 环境中自动写入各配置文件的 .env。执行命令的代理仅能看到一行状态:已存储、已验证、成功或失败——永远看不到密钥本身,甚至无法查看前缀。
该页面基于不可猜测的临时URL运行,拒绝非常规Host头请求(防止DNS重绑定攻击),不发送引用日志,使用后或10分钟后自动关闭。在无图形界面环境中,可通过 jev setup-key --tty 启用隐藏式命令行提示。
绝对不要将密钥粘贴到聊天窗口中!
若已泄露,请立即生成新密钥。
离开设备的数据内容
Jev 是云端API,因此以下信息会明确传输(非隐式传递):
- 路由决策:用户对话轮次(经脱敏处理:邮箱、电话、令牌、长十六进制字符串被遮蔽),限制3000字符内。绝不传输历史记录、工具结果、文件或记忆内容。若对话轮次疑似包含密钥,或存在于
private_profiles配置中的配置文件,仅传输基础特征(长度、是否包含代码、是否出现风险关键词)。 - 记忆检索:查询语句 + 每个段落最多900字符(脱敏处理)。存储系统的ID、路径、来源被替换为
P0、P1… 且绝不传输。疑似凭证的段落完全不会发送。 - 对话压缩:每个轮次最多700字符(脱敏处理)。敏感对话轮次会被跳过。
- 技能选择:对话轮次(脱敏)+ 技能名称与描述。
- 界面/浏览器操作:操作目标、简要元素标签、操作描述。绝不传输截图、页面文本或字段值。敏感目标或标签在传输前会被拦截。
日志仅记录决策元数据(层级、模型、置信度、延迟),绝不记录提示词文本。
全链路容错设计
密钥缺失、超时、速率限制、响应异常、置信度过低:路由保持当前模型、记忆返回原始列表、压缩跳过所有处理、技能选择不推荐任何技能、界面操作返回 reobserve。Jev 故障最多损失决策时间预算(路由环节2.5秒),绝不阻断对话轮次。
安全机制不依赖 Jev 决策准确性:
- 风险关键词(生产环境、删除、迁移、安全、支付、法律等)绝不路由至最低成本层级
- 长对话上下文不会在会话中途切换至廉价模型
- 对话轮次仅在获得高置信度答案时才会被压缩丢弃
- Jev 只能返回你在操作表中预定义的操作ID
目录结构
jevkit/ # 核心库与 `jev` 命令(仅使用标准库)
skills/ # 八个 SKILL.md 技能文件(平台无关)
hermes/plugin/ # Hermes 插件
router-dashboard/ # 模型路由界面(`jev dashboard`)
install.py # 安装/卸载脚本
tests/ # 离线测试套件(所有Jev响应为模拟数据)
docs/ # 集成文档与实战经验总结
| 文档 | 阅读时机 |
|---|---|
| turning-a-jev-feature-on.md | 启用任何功能前必读:影子模式、静默默认设置、为何静默日志不能证明系统状态、以时间而非次数限制决策 |
| measuring-a-router.md | 信任路由优化效果前,用实际流量回放测试路由决策 |
| wiring-triage-into-a-live-pipeline.md | 向已承载生产流量的系统添加分类功能时 |
| hermes-compaction.md | 专门针对 Hermes 平台的压缩与交接机制说明 |
测试套件完全离线运行,所有Jev响应均为模拟数据,可安全在任何环境执行:
python3 -m unittest discover -s tests
许可证
MIT 协议。Jev 和 TypeSafe 是 TypeSafe AI 的产品;本项目为独立开发。
可选的浏览器执行器封装了 browser-use/jev-ultrafast(MIT协议),但未包含在本项目包内。
相似文章
当更快的决策未能造就更好的智能体:关于智能体工作流中 Jev 的实证研究
南京大学的一项实证研究,旨在探究将速度更快、成本更低的决策模型(TypeSafe AI 的 Jev)整合到大语言模型智能体工作流程中,是否确实能提升任务层面的效率和可靠性。该研究在 ALFWorld 和 AndroidWorld 上对五个智能体进行了评估,共执行了 4,500 次任务。
体验Jev——一种有趣的AI代理方法
作者讨论了尝试使用Jev,这是一种专注于决策的AI代理工具,与使用大型语言模型处理所有任务相比,它声称在速度和成本上有显著优势。
@0xMovez 的推文:https://x.com/0xMovez/status/2101007482919227841
本文提供了一个十步指南,教你如何使用TypeSafe AI的System One模型Jev来构建最快的AI代理大脑,与LLMs相比,它能提供更快且更便宜的决策。
@sydneyrunkle: https://x.com/sydneyrunkle/status/2100754364545761643
TypeSafe AI 发布了 Jev,这是一个 System One 模型,用于代理循环中的快速结构化决策,与传统 LLMs 相比,在分类任务中提供高达 200 倍更快的推理和 400 倍更低的成本。
@omarsar0:推荐一篇关于将 Jev 等决策模型集成到 harness 中的论文。
一篇推荐论文,提出将 Jev 等决策模型集成到 agent harness 中,通过蒸馏得到一个 4B 开源决策模型,在 JevAgentHarness 内超越 Jev 本体且成本更低。