是新颖还是不是?PatEx-Gym:面向专利审查新颖性评估的智能体现有技术检索框架

Hugging Face Daily Papers 论文

摘要

论文提出了 PatEx-Gym,这是首个用于开发和评估专利审查智能体的框架,包括一个包含 1K 任务的基准(PatEx-Bench)、一种免标注的轨迹合成方法(PASS),以及一个通过监督微调训练的紧凑型 4B PatEx-Agent,其性能可与规模大得多的通用智能体相媲美。

专利审查是一项极具挑战性的现实任务,要求智能体在异构的科学技术领域中发现稀疏的现有技术、迭代优化检索查询、查验技术证据,并在审查意见通知书(OA)中给出新颖性评估。然而,现有基准大多关注静态且有限的候选集合,导致"检索—推理—评估"的完整流程尚未得到充分探索。我们提出 PatEx-Gym,这是首个用于开发和评估专利审查智能体的框架,它集成了三个组件。首先,PatEx-Bench 提供了 1K 个真实的审查任务、两个大规模检索语料库(包含超过 100 万件专利和 5.2 万篇科学论文),以及一个支持迭代检索、文档访问、推理和 OA 生成的运行环境。其次,我们提出了 PASS,即一种免标注的现有技术智能体检索轨迹合成框架。具体而言,它利用文档访问作为隐式相关性信号和证据获取锚点,对轮内查询行为、轮间检索进展以及轨迹级的证据与结果质量进行建模,从而生成 PatEx-SynData。第三,我们在精选的轨迹上通过监督微调训练了 4B 规模的 PatEx-Agent,建立了一个轻量级基线。大量实验表明,仅凭最终决策准确率无法完全反映审查质量,而且即使对于强大的前沿模型,现有技术检索依然困难重重。我们的 PatEx-Agent 在性能上可与规模大得多的通用智能体相竞争。这些结果表明,在 PatEx-SynData 上进行训练,可以使一个紧凑的 4B 模型成为现有技术检索和专利审查中具有竞争力的基线。我们将专利审查视为对智能体检索和深度研究智能体的一项严苛测试平台。
查看原文
查看缓存全文

缓存时间: 2026/10/28 02:01

论文页面 - 新颖性如何判断?PatEx-Gym:面向专利审查新颖性评估的智能体在先技术检索

来源:https://huggingface.co/papers/2610.33503

摘要

PatEx-Gym 引入了一个包含基准测试、合成轨迹数据和紧凑型智能体的框架,用于评估迭代式在先技术检索和专利审查。

专利审查是一项具有挑战性的现实任务,要求智能体在跨学科的科学与技术领域中发现稀疏的在先技术、迭代地优化查询、检视技术证据,并在审查意见通知书(OA)中给出新颖性评估。然而,现有基准测试大多聚焦于静态且规模有限的候选集,导致“检索——推理——评估“的完整流程尚未得到充分研究。我们提出了 PatEx-Gym(https://huggingface.co/papers?q=PatEx-Gym),这是首个用于开发和评估专利审查智能体的框架,它整合了三个组成部分。首先,PatEx-Bench(https://huggingface.co/papers?q=PatEx-Bench)提供了 1000 项真实审查任务、两个大规模检索语料库(包含超过 100 万件专利和 5.2 万篇科学论文),以及支持迭代检索、文档访问、推理和 OA 生成的运行框架。其次,我们引入了 PASS(https://huggingface.co/papers?q=PASS),一个无需标注的在先技术智能体检索轨迹合成(Prior-Art Agentic Search Trajectory Synthesis,https://huggingface.co/papers?q=Prior-Art%20Agentic%20Search%20Trajectory%20Synthesis)框架。具体而言,它利用文档访问作为隐式相关性信号和证据获取锚点,对轮内查询行为、轮间检索进展以及轨迹级别的证据与结果质量进行建模,从而生成 PatEx-SynData(https://huggingface.co/papers?q=PatEx-SynData)。第三,我们在这些精心筛选的轨迹上通过监督微调(supervised fine-tuning,https://huggingface.co/papers?q=supervised%20fine-tuning)以 4B 规模训练了 PatEx-Agent(https://huggingface.co/papers?q=PatEx-Agent),建立了一个轻量级基线。大量实验表明,仅凭最终决策准确率并不能完全反映审查质量,而且即使对于强大的前沿模型,在先技术发现依然困难。我们的 PatEx-Agent(https://huggingface.co/papers?q=PatEx-Agent)取得了与规模大得多的通用智能体相当的竞争力。这些结果表明,在 PatEx-SynData(https://huggingface.co/papers?q=PatEx-SynData)上训练可以让一个紧凑的 4B 模型成为在先技术检索和专利审查的有竞争力的基线。我们认为,专利审查是检验智能体检索(agentic search,https://huggingface.co/papers?q=agentic%20search)和深度研究智能体(deep research agents,https://huggingface.co/papers?q=deep%20research%20agents)的理想测试平台。

查看 arXiv 页面 (https://arxiv.org/abs/2610.33503) 查看 PDF (https://arxiv.org/pdf/2610.33503) 项目页面 (https://patex-gym.wangqiyao.me/) GitHub8 (https://github.com/AIforIP/PatEx-Gym) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.33503)

引用本文的模型 0

暂无模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.33503 即可将本文关联到该页面。

引用本文的数据集 0

暂无数据集关联本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.33503 即可将本文关联到该页面。

引用本文的 Space 0

暂无 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.33503 即可将本文关联到该页面。

包含本文的收藏夹 2

相似文章

AutoGym:蓝图优先的可验证智能体训练环境生成

arXiv cs.AI

AutoGym提出一个框架,通过蓝图优先生成,从最小种子自动生成完整的智能体训练环境(包括任务、可执行环境和验证器),以确保可解性并实现主动课程综合,用于自适应难度调控。

ATLAS:在搜索密集型任务上评估智能体(13分钟阅读)

TLDR AI

Exa 推出了 ATLAS,一个全新的基准测试,用于评估 AI 智能体在搜索密集型真实世界研究任务上的表现,配备经过验证的黄金标准答案和可刷新的自动化评测流水线。关键发现:没有任何单次运行成本低于 1 美元的智能体在行级 F1 上超过 0.5,顶尖智能体仍然遗漏约三分之一的黄金标准结果,而 Exa 的搜索后端定义了成本-性能的帕累托最优边界。