SearchJev:一个快速且经过校准的搜索代理 System-1 模型
摘要
SearchJev 为搜索代理引入了一个快速且经过校准的 System-1 模型,它无需自回归生成即可为决策打分,并通过用于校准决策的软标签学习(SLCD)来降低延迟、提升置信度的可靠性。将 SearchJev 与 System-2 模型结合的双系统代理在 BrowseComp-Plus 上实现了最高 4.7 倍的加速,同时将答案准确率从 45% 提升至 54%。
查看缓存全文
缓存时间: 2026/10/06 08:53
论文页面 - SearchJev:一种快速且经过校准的 Search Agent 的 System-1 模型
来源:https://huggingface.co/papers/2610.05107
摘要
Search Agent 会反复就相关性、证据充分性和搜索动作做出短决策。使用生成式语言模型来做这些决策会带来延迟以及不可靠的置信度。我们提出了 SearchJev,这是一种快速且经过校准的 System-1 模型,将搜索决策与 System-2 推理和生成分离开来。给定一个搜索状态和决策模式(decision schema),SearchJev 可以直接对合法选项进行打分,而无需自回归地生成输出。我们提出用于校准决策的软标签学习(Soft-Label Learning for Calibrated Decisions,SLCD),从不确定的监督信号中学习决策概率并校准其置信度。在双系统 Search Agent 中,SearchJev 负责处理短决策,并将不确定的判断委托给 System 2,后者保留规划、查询生成和答案组织的能力。我们还引入了 SearchDecision-Bench,这是一个将六类搜索决策统一起来用于训练和评估的基准。在 SearchDecision-Bench 上,SearchJev 相比同规模的 Qwen3.5 自回归模型提升了决策质量,决策速度提高 5.2–5.3 倍,并将平均期望校准误差(ECE)降低 41–74%。在 BrowseComp-Plus 上,双系统 agent 在主动搜索时间上实现了 3.7–4.7 倍的加速,同时将答案准确率从 45% 提升至最高 54%。
查看 arXiv 页面 查看 PDF 项目页面 GitHub 添加到收藏
在你的 agent 中获取这篇论文:
hf papers read 2610.05107
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0
没有模型关联该论文
在模型 README.md 中引用 arxiv.org/abs/2610.05107,即可从本页面链接到该论文。
引用该论文的数据集 0
没有数据集关联该论文
在数据集 README.md 中引用 arxiv.org/abs/2610.05107,即可从本页面链接到该论文。
引用该论文的 Spaces 0
没有 Space 关联该论文
在 Space README.md 中引用 arxiv.org/abs/2610.05107,即可从本页面链接到该论文。
收录该论文的合集 0
没有合集收录该论文
将该论文添加到合集,即可从本页面链接到该论文。
相似文章
@LangChain:我们对 Jev 与 LLM 裁判在准确性、可重复性、延迟和成本方面进行了测试,以查看 System One 模型是否能够……
本文评估了来自 TypeSafe AI 的 System One 模型 Jev 作为一个新的代理评估器,显示它在一致性、速度和成本方面优于 LLM 裁判。
Chinese-Jev:将系统一模型应用于中文任务
本文介绍了Chinese-Jev,一个旨在提高中文任务决策准确性和效率的系统一模型,通过领域特定的微调和一个新的基准测试CJ-Bench进行评估。
快速模型,缓慢证据:面向LLM智能体框架的系统一决策模型配对自审评估
本文对两种系统一决策模型(开源权重的Laya与托管服务的Jev)在11个智能体框架决策点上进行了配对自审评估,发现Jev在11项任务中的9项上准确率显著更高,同时审计并纠正了此前多个导致部署结论失真的分析错误。
@Saccc_c:我强烈推荐大家亲自尝试 Jev——它能将您的 Codex 操作速度提升10倍,并节省大量……
TypeSafe AI 推出 Jev,这是一款针对自动化优化的 System One Model,决策速度比传统 LLMs 快193.6倍,成本低444.6倍,并提供类型化输出和置信度估计。
@sydneyrunkle: https://x.com/sydneyrunkle/status/2100754364545761643
TypeSafe AI 发布了 Jev,这是一个 System One 模型,用于代理循环中的快速结构化决策,与传统 LLMs 相比,在分类任务中提供高达 200 倍更快的推理和 400 倍更低的成本。