MetaResearcher：在对抗性虚拟环境中通过自我反思强化学习扩展深度研究

# MetaResearcher：通过对抗性虚拟环境中的自反强化学习扩展深度研究

来源：https://arxiv.org/html/2606.19893

魏宇¹，刘素星¹,\*，余敏杰¹，王嘉豪²，郑志坚¹，邓浩程¹，李冰¹

¹景德镇市江西艺术与陶瓷技术学院数字艺术学院，景德镇 33001，中国  
²马来西亚理科大学，11800 马来西亚槟城  
通讯作者：liusuxing@jacti\.edu\.cn (S.L.)

###### 摘要

深度研究智能体在自主信息收集与综合方面展现出了卓越能力，但其训练仍受限于模拟环境的静态性、仅限事实检索的任务设计局限以及基于结果的强化学习效率低下。在本文中，我们提出了 **MetaResearcher**，一种新的框架，通过四个协同维度扩展深度研究智能体的训练。首先，我们引入了 **进化虚拟世界**，将时间动态和对抗性虚假信息注入训练环境，迫使智能体发展来源可信度评估和时间冲突解决技能。第二，我们设计了 **探索导向任务**——包括假设生成和矛盾消解——超越了简单的事实检索，推动智能体走向真正的研究行为。第三，我们在 GRPO 框架内提出了一个 **自反式元奖励** 机制，共同优化答案正确性、搜索路径效率、反思深度和工具调用多样性，直接解决了先前工作中观察到的重复动作循环问题。第四，我们引入了 **异构多智能体群体** 架构，包含专门的侦察、过滤和综合模型，通过协作式强化学习学习合作研究策略。基于 LiteResearcher 基础架构，MetaResearcher 在训练中无需额外 API 成本，同时旨在改进基准性能（GAIA、Xbench-DS）和对抗条件下的认知鲁棒性。我们展示了完整的框架设计、训练方法和计划中的实验验证。

**关键词**：深度研究智能体；强化学习；自反；对抗性环境；多智能体系统；GRPO；虚拟世界模拟

## 1 引言

自主深度研究智能体——能够进行多步骤、工具增强调查的 AI 系统——已成为人工智能最活跃的前沿之一。最近的进展，例如 LiteResearcher[1 (https://arxiv.org/html/2606.19893#bib.bib1)] 等系统，展示了相对紧凑的模型（4B 参数）在诸如 GAIA[22 (https://arxiv.org/html/2606.19893#bib.bib22)]（71.3%）和 Xbench-DS（78.0%）等基准测试上达到了最先进性能，超越了更大的开源模型以及前沿商业系统如 GPT-4o[46 (https://arxiv.org/html/2606.19893#bib.bib46)]。与此同时，DeepAgent[47 (https://arxiv.org/html/2606.19893#bib.bib47)] 和 BrowseComp[26 (https://arxiv.org/html/2606.19893#bib.bib26)] 等系统通过动态自我进化 and 多层次上下文引擎进一步推动了边界。LiteResearcher 成功的关键洞察在于用稳定的本地搜索和浏览环境替代了强化学习（RL）期间与实时网络的交互，实现了超过 7300 万次工具调用且无需额外 API 成本。

尽管取得了这些令人印象深刻的成就，当前训练深度研究智能体的范式仍然显示出几个基本局限性，限制了进一步的进展。我们识别出四个关键空白：

(i) 静态训练环境。LiteResearcher 从大约 3200 万真实网页构建了一个本地虚拟世界，但这个世界在构建后是冻结的。信息不会更新、自相矛盾或随时间演化。因此，在这样的环境中训练的智能体从未学会处理真实世界研究中的时间动态和信息冲突。

(ii) 以事实检索为中心的任务。LiteResearcher 中识别的五个原子能力——聚合、枚举、比较、多跳推理和工具使用——根本上都是面向寻找“现有答案”。这种范式并不能培养更高阶的研究技能，例如从不同来源生成假设或批判性地消解矛盾证据。

(iii) 仅以结果为基础的奖励信号。LiteResearcher 采用的基于 GRPO 的训练仅奖励最终答案的正确性，而不考虑搜索过程的质量。这导致了充分记录的失败模式，包括重复动作循环，即智能体反复刷新同一搜索引擎，仅微调查询变化，而非战略性探索多元信息源[1 (https://arxiv.org/html/2606.19893#bib.bib1)]。

(iv) 单一智能体架构。LiteResearcher 采用单一智能体设计，同一模型必须同时掌握搜索查询构建、相关性过滤和信息综合。这种单一方法与人类研究团队中观察到的分布式、专业化劳动分工形成对比，很可能在可实现性能上施加一个上界。

### 1.1 我们的贡献

为应对这些局限性，我们提出了 **MetaResearcher**，一个全面的框架，通过四个协同创新维度扩展深度研究智能体训练：

1. **环境创新——进化虚拟世界**：我们在本地网络环境中引入了时间动态和对抗性信息注入。训练数据模拟真实世界现象，如科学结果被撤回、新闻文章被纠正以及故意引入的误导内容。这迫使智能体发展来源可信度辨别和时间冲突消解——这些能力对真正的研究至关重要，但在当前训练范式中缺失。

2. **任务创新——探索导向任务**：我们设计了一类超越事实检索的新训练任务。这些任务包括假设生成（识别两个不相关研究领域之间的潜在联系）和矛盾消解（分析同一现象的多个冲突叙述并产生基于证据权重的结论）。这些任务将智能体的能力上界从“高级搜索引擎”提升到“初级研究员”。

3. **算法创新——自反式元奖励**：我们将 GRPO 框架扩展为多维奖励函数，共同优化 (a) 答案正确性、(b) 搜索路径效率、(c) 反思深度（奖励在轨迹中显示显式错误识别和回溯）以及 (d) 工具调用多样性（惩罚重复调用模式）。这个元奖励机制直接减轻了重复循环病理，同时培养更复杂的推理策略。

4. **架构创新——异构多智能体群体**：我们将研究智能体分解为三个专门的轻量级模型——优化搜索查询构建的**侦察兵**、训练快速评估网页相关性的**过滤器**以及专门整合碎片化信息的**综合器**。这些智能体通过协同强化学习进行联合训练，并通过共享奖励信号涌现出学习到的通信协议。

所有四项创新都直接构建于 LiteResearcher 基础设施[1 (https://arxiv.org/html/2606.19893#bib.bib1)]之上，继承了其零边际成本训练范式，同时扩展了其范围和雄心。整个框架设计在相同的本地搜索/浏览环境中运行，无需额外 API 支出。

本文其余部分组织如下。第 2 节回顾了四个研究线索的相关工作。第 3 节详细介绍了 MetaResearcher 框架。第 4 节描述了实验设计和计划评估。第 5 节讨论了影响和局限性，第 6 节进行总结。

## 2 相关工作

我们的工作与四个快速发展的研究线索交叉：深度研究智能体、强化学习用于智能体系统、LLM 中的自反机制以及对抗性训练环境。

### 2.1 深度研究智能体

深度研究智能体范式从初步探索快速发展到生产级系统。早期工作如 Search-R1[2 (https://arxiv.org/html/2606.19893#bib.bib2)] 及其后续 Search-R1++[3 (https://arxiv.org/html/2606.19893#bib.bib3)] 为使用强化学习训练基于 LLM 的搜索智能体奠定了基础，系统调查了提示模板、奖励函数和策略优化方法的影响。他们的关键发现——GRPO 相对于 REINFORCE 和 PPO 变体表现出相对的不稳定性——激发了我们关于增强奖励结构的工作。

LiteResearcher[1 (https://arxiv.org/html/2606.19893#bib.bib1)] 代表了当前开源深度研究智能体的最先进水平，在 GAIA 上达到 71.3%，在 Xbench-DS 上达到 78.0%，参数仅 4B。其三大支柱方法论——协同构建的训练数据、稳定的本地工具环境以及难度感知课程 RL——为 MetaResearcher 提供了基础设施基础。

同时期的工作包括 DeepRubric[5 (https://arxiv.org/html/2606.19893#bib.bib5)]，它引入了证据树评分监督，以约 13× 更少的 RL GPU 小时实现类似性能；以及 Chaining the Evidence (CaRR) 框架[6 (https://arxiv.org/html/2606.19893#bib.bib6)]，它提出了带有显式证据链的引文感知评分奖励。SMTL 框架[24 (https://arxiv.org/html/2606.19893#bib.bib24)] 挑战了顺序推理，用并行证据获取替代，在 GAIA 上达到 75.7%。Branch-and-Browse[50 (https://arxiv.org/html/2606.19893#bib.bib50)] 引入了带回溯的树状网络探索，而 EcoGEO[49 (https://arxiv.org/html/2606.19893#bib.bib49)] 提出了轨迹感知的证据生态系统，重塑智能体接触信息的方式。Expert Consulting Benchmark[25 (https://arxiv.org/html/2606.19893#bib.bib25)] 引入了认知陷阱来评估深度研究智能体。综合综述[23 (https://arxiv.org/html/2606.19893#bib.bib23)] 已对该领域进行了系统化。

这些工作共同展示了该领域向更复杂奖励结构的趋势——MetaResearcher 通过自反式元奖励扩展了这一方向。

### 2.2 强化学习用于智能体系统

组相对策略优化（GRPO）[4 (https://arxiv.org/html/2606.19893#bib.bib4)] 已成为训练基于 LLM 智能体的基石，通过利用基于组的优势估计消除了对单独评论家模型的需求。多项扩展解决了 GRPO 在智能体设置中的局限性：分层 GRPO[7 (https://arxiv.org/html/2606.19893#bib.bib7)] 将轨迹划分为同质层，AT-GRPO[8 (https://arxiv.org/html/2606.19893#bib.bib8)] 为多智能体设置引入了智能体和轮次分组，Dr. MAS[9 (https://arxiv.org/html/2606.19893#bib.bib9)] 从理论上识别了全局 GRPO 基线的梯度范数不稳定性，提出了智能体级优势归一化，在数学推理中取得了 +5.6% 的提升，在搜索任务中取得了 +15.2% 的提升。

智能体 RL 的最新进展包括 GiGPO[29 (https://arxiv.org/html/2606.19893#bib.bib29)]，它引入了组内组优势估计，在 ALFWorld 上比 GRPO 获得了 >12% 的提升；BEACON[28 (https://arxiv.org/html/2606.19893#bib.bib28)] 在里程碑边界划分轨迹以实现时间奖励塑造；以及 StraTA[27 (https://arxiv.org/html/2606.19893#bib.bib27)] 通过分层 RL 采样紧凑策略。SPARK 框架[30 (https://arxiv.org/html/2606.19893#bib.bib30)] 通过战略分支仅用 20% 训练数据实现了 84.4% 的成功率。进一步的进展包括恒定上下文技能学习[31 (https://arxiv.org/html/2606.19893#bib.bib31)]、自我进化智能体[32 (https://arxiv.org/html/2606.19893#bib.bib32)] 以及用于稀疏奖励环境的数据飞轮方法[33 (https://arxiv.org/html/2606.19893#bib.bib33)]。

我们的元奖励机制通过引入超越简单结果正确性的过程级奖励组件扩展了这一研究方向，与领域日益认识到智能体搜索的方式与其找到的结果同等重要的趋势相吻合。

### 2.3 LLM 智能体中的自反

将自反机制整合到 LLM 训练中在 2025-2026 年经历了爆炸式增长。经验强化学习（ERL）[10 (https://arxiv.org/html/2606.19893#bib.bib10)] 将显式的经验-反思-巩固循环嵌入到 RL 训练中，在 Sokoban 上实现了高达 +81% 的提升，在 HotpotQA 上实现了 +11% 的提升。智能体批判训练（ACT）[11 (https://arxiv.org/html/2606.19893#bib.bib11)] 训练智能体在备选方案中识别更优动作，而 ICRL[12 (https://arxiv.org/html/2606.19893#bib.bib12)] 通过分布校准重加权从共享骨干联合训练求解器和批判器。

特别相关的是 ReflexiCoder[13 (https://arxiv.org/html/2606.19893#bib.bib13)]，它通过仅 RL 训练将完整的生成-反思-修正轨迹内化到模型权重中，在 HumanEval 上实现了 94.51% 的准确率，同时 token 效率提升约 40%。RePro[14 (https://arxiv.org/html/2606.19893#bib.bib14)] 通过前向-再-反思范式训练智能体自我生成进度信号，而 RefGRPO[15 (https://arxiv.org/html/2606.19893#bib.bib15)] 通过对比自反与实际结果添加校准奖励，将置信度不足从 44.4% 降低到 7.7%。

过程奖励模型（PRM）[34 (https://arxiv.org/html/2606.19893#bib.bib34)] 的广阔领域已从仅结果信号发展到 token 级监督。例如 iStar[35 (https://arxiv.org/html/2606.19893#bib.bib35)] 等方法将隐式 PRM 与智能体 RL 结合，在 WebShop 和视觉推理上实现了 SOTA，而 StepORLM[36 (https://arxiv.org/html/2606.19893#bib.bib36)] 在策略和生成式 PRM 之间创建了自我进化循环。SWE-TRACE 框架[37 (https://arxiv.org/html/2606.19893#bib.bib37)] 将基于评分的 PRM 应用于软件工程智能体，DPRM[38 (https://arxiv.org/html/2606.19893#bib.bib38)] 将隐式奖励扩展到多跳问题回答。Token 级奖励建模[39 (https://arxiv.org/html/2606.19893#bib.bib39)] 和从结果到过程的转移[41 (https://arxiv.org/html/2606.19893#bib.bib41)] 进一步展示了该领域向细粒度监督的趋势。

MetaResearcher 的反思深度奖励建立在这些基础之上，引入了轨迹级奖励组件，显式激励模型在其推理轨迹中进行真正的自我修正，而不仅仅是优化最终答案的正确性。

### 2.4 对抗性训练环境

语言智能体对对抗性信息的脆弱性已被系统地记录。Synthetic Web 基准[16 (https://arxiv.org/html/2606.19893#bib.bib16)] 展示了注入一篇高可信度的误导性文章会导致准确度...