想入门 agentic RL 但不知道从哪儿开始？在和几位研究员讨论之后，我精选了 3 篇推荐先读的论文：一篇讲基础，一篇讲实际前沿，一篇综述来串联知识点。

1. Search-R1（基础）：学习 RL 如何训练 LLM 进行推理、搜索和利用反馈。 https://arxiv.org/abs/2503.09516
2. Agent Lightning v1.0（实际前沿）：理解 RL 如何与真实的 agent 框架协同工作。 https://arxiv.org/abs/2608.17528
3. The Landscape of Agentic Reinforcement Learning for LLMs（综述）：串联算法、agent 能力和开放问题。 https://arxiv.org/abs/2509.02547 欢迎推荐其他论文！！

Search-R1：通过强化学习训练 LLM 进行推理并利用搜索引擎

来源：https://arxiv.org/html/2503.09516

Bowen Jin 所属：伊利诺伊大学厄巴纳-香槟分校 计算机科学系 Email：[email protected]

Hansi Zeng 所属：马萨诸塞大学阿默斯特分校 智能信息检索中心 Email：[email protected]

Zhenrui Yue

Jinsung Yoon

Sercan Ö. Arık 所属：Google Cloud AI Research

Dong Wang 所属：伊利诺伊大学厄巴纳-香槟分校 计算机科学系

Hamed Zamani 所属：马萨诸塞大学阿默斯特分校 智能信息检索中心

Jiawei Han 所属：伊利诺伊大学厄巴纳-香槟分校 计算机科学系

邮箱：{bowenj4, zhenrui3, dwang24, hanj}@illinois.edu, {hzeng, zamani}@cs.umass.edu

摘要

高效获取外部知识和最新信息对于大语言模型（LLM）的有效推理和文本生成至关重要。提示具有推理能力的先进 LLM 在推理过程中使用搜索引擎，往往并非最优方案，因为 LLM 可能并不完全具备如何与搜索引擎最优交互的能力。本文提出了 Search-R1，这是面向推理框架的强化学习（RL）扩展，使 LLM 在逐步推理过程中学会自主生成（多条）搜索查询，并进行实时检索。Search-R1 通过多轮搜索交互优化 LLM 的推理轨迹，利用检索到的 token 掩码实现稳定的 RL 训练，并采用简单的基于结果的奖励函数。在七个问答数据集上的实验表明，在相同设置下，Search-R1 相比各种 RAG 基线将性能提升了 24%（Qwen2.5-7B）和 20%（Qwen2.5-3B）。本文还提供了关于 RL 优化方法、LLM 选择以及检索增强推理中响应长度动态的实证见解。代码和模型检查点可在 https://github.com/PeterGriffinJin/Search-R1 获取。

1 引言

大语言模型（LLM）在自然语言理解和生成方面展现了卓越的能力（Hendrycks et al., 2020；Clark et al., 2018）。尽管取得了这些成就，LLM 在面对复杂推理任务（Wei et al., 2022）和从外部来源检索最新信息（Jin et al., 2024）时常常遇到挑战。解决这些局限性需要整合先进的推理能力（Huang & Chang, 2022）以及与搜索引擎有效交互以充分利用外部最新信息的能力（Schick et al., 2023）。

现有的 LLM 与搜索引擎集成方法通常分为两类：（1）检索增强生成（RAG）（Gao et al., 2023；Lewis et al., 2020）和（2）将搜索引擎作为工具（Yao et al., 2023；Schick et al., 2023）。RAG 模型通常以 LLM 的输入作为查询来检索段落，并将其纳入 LLM 的上下文中进行生成（Lewis et al., 2020）。这使得 LLM 在回答问题时能够利用外部知识。尽管现有工作（Trivedi et al., 2022a）通过提示 LLM 进行多轮、多查询检索，但这种方法并非最优，因为 LLM 在训练过程中并未被优化来学习如何与搜索引擎有效交互。另一种方法是通过提示或训练使 LLM 将搜索引擎作为推理过程的一部分来使用（Qu et al., 2025；Trivedi et al., 2022a）。然而，基于提示的方法往往泛化能力较差，因为某些任务可能在 LLM 预训练期间未曾遇到。另一方面，基于训练的方法提供了更大的适应性，但由于依赖大规模、高质量的标注轨迹，以及搜索操作固有的不可微性导致基于端到端梯度下降的优化不适用，因此难以有效扩展（Schick et al., 2023；Asai et al., 2024）。

强化学习（RL）（Sutton et al., 1999；Kaelbling et al., 1996）已成为增强 LLM 推理能力的强大范式（Guo et al., 2025；Hou et al., 2025；Xie et al., 2025；Kumar et al., 2024）。值得注意的是，像 OpenAI-o1（Jaech et al., 2024）和 DeepSeek-R1（Guo et al., 2025）这样的模型已经利用 RL 技术（例如 PPO（Schulman et al., 2017）和 GRPO（Shao et al., 2024））通过从经验和反馈中学习来提高逻辑推理和问题解决能力。通过 RL，即使仅在结果奖励上训练，模型也能学会复杂的推理能力，包括自我验证（Weng et al., 2022）和自我纠正（Kumar et al., 2024）。

然而，将 RL 应用于搜索和推理场景面临三个关键挑战：（1）RL 框架和稳定性——如何有效地将搜索引擎集成到 LLM 的 RL 方法中同时确保稳定的优化仍不清楚，特别是在纳入检索到的上下文时。（2）多轮交替推理和搜索——理想情况下，LLM 应该能够进行迭代推理和搜索引擎调用，并根据问题的复杂性动态调整检索策略。（3）奖励设计——为搜索和推理任务设计有效的奖励函数仍然是一个根本性挑战，因为简单的基于结果的奖励是否足以引导 LLM 学习有意义且一致的搜索行为尚不清楚。

为解决上述挑战，我们提出了 Search-R1，这是一个新颖的 RL 框架，使 LLM 能够与其自身的推理以交替方式与搜索引擎交互。具体而言，Search-R1 引入了以下关键创新：

（1）我们将搜索引擎建模为环境的一部分，实现了采样轨迹序列，将 LLM 的 token 生成与搜索引擎检索交替进行。Search-R1 兼容各种 RL 算法，包括 PPO 和 GRPO，我们应用检索 token 掩码来确保稳定的优化。

（2）Search-R1 支持多轮检索和推理，在显式由 <search> 和 </search> token 触发时调用搜索调用。检索到的内容被包含在 <search> 和 </search> token 之间，而 LLM 的推理步骤被包裹在 <reason> 和 </reason> token 中。最终答案使用 <answer> 和 </answer> token 进行格式化，允许进行结构化的迭代决策。

（3）我们采用简单的基于结果的奖励函数，避免了基于过程的奖励的复杂性。我们的结果表明，这种最小的奖励设计在搜索和推理场景中是有效的。因此，Search-R1 可以被视为 DeepSeek-R1 Zero（Guo et al., 2025）的扩展，后者主要关注参数化推理，而 Search-R1 通过引入搜索增强的 RL 训练来实现增强的检索驱动决策。

总结来说，我们的主要贡献有三点：

• 我们的工作分析了挑战，并提供了关于实施 RL 以改进 LLM 使用搜索引擎结果进行推理的视角。
• 我们提出了 Search-R1，一个新颖的 RL 框架，支持 LLM 展开和与搜索引擎的直接优化，包括检索 token 掩码以稳定 RL 训练、多轮交替推理和搜索以支持复杂任务求解，以及有效的结果奖励函数。
• 我们进行了系统的实验来证明 Search-R1 的有效性，两个 LLM 在相同的实验设置（例如相同的检索模型、训练数据和预训练 LLM）下分别实现了相对 RAG 基线 41% 和 20% 的平均相对提升。此外，我们提供了关于推理和搜索场景下 RL 的见解，包括 RL 方法选择、不同 LLM 选择和响应长度研究。

2 相关工作

2.1 大语言模型与检索

尽管展示了卓越的推理（Guo et al., 2025）和编码（Guo et al., 2024）能力，LLM（Zhao et al., 2023；Team, 2024；Achiam et al., 2023）往往缺乏领域特定知识（Peng et al., 2023；Li et al., 2023）且容易产生幻觉（Zhang et al., 2023）。为了缓解这些局限性，搜索引擎（Zhao et al., 2024）被广泛集成以提供外部信息。

将搜索引擎与 LLM 集成有两种主要方式：（1）检索增强生成（RAG）（Gao et al., 2023）和（2）将搜索引擎作为工具（Schick et al., 2023）。RAG（Lewis et al., 2020；Yue et al., 2024；Xiong et al., 2025）通常遵循一轮检索和顺序生成的流水线，其中搜索引擎根据输入查询获取相关信息，然后将其与查询拼接后输入 LLM。然而，这可能面临检索到无关信息（Jin et al., 2024）以及无法提供足够有用上下文的挑战（Jiang et al., 2023）。

另一种方法是 search-as-a-tool，即 LLM 通过提示或微调来与搜索引擎交互。IRCoT（Trivedi et al., 2022a）和 ReAct（Yao et al., 2023）使用提示来引导迭代推理和搜索引擎调用，而 Toolformer（Schick et al., 2023）利用监督微调来增强搜索能力。然而，这些方法依赖于高质量的标注轨迹，难以大规模获取。近期工作（Guo et al., 2025）表明 RL 可以使 LLM 仅使用结果奖励来发展高级推理能力，但其在搜索引擎调用场景中的潜力仍有待探索。

2.2 大语言模型与强化学习

强化学习（RL）（Kaelbling et al., 1996）是一种学习范式，智能体通过与环境交互并接收奖励形式的反馈来学习做出序列决策，旨在最大化随时间的累积奖励（Sutton et al., 1999）。RL 通过基于人类反馈的强化学习（RLHF）（Kaufmann et al., 2023）被引入 LLM 调优（Ouyang et al., 2022）。这种方法首先使用人类偏好数据训练奖励模型（Lambert et al., 2024），然后引导基于 RL 的策略 LLM 调优，通常通过近端策略优化（PPO）实现。然而，PPO 涉及多轮 LLM 优化，实现较为困难。

为了简化基于 RL 的调优，提出了直接优化方法，如直接偏好优化（DPO）（Rafailov et al., 2023）和 SimPO（Meng et al., 2024）。LeRet（Hsu et al., 2024）也采用了类似的方法，训练 LLM 探索多样化的查询以增强信息检索效果。尽管这些方法提供了计算效率，但它们存在离策略问题（Pang et al., 2024），且在性能上无法始终匹配纯 RL 方法。

替代方案包括分组相对策略优化（GRPO）（Shao et al., 2024），它通过从组分数估计基线消除了对 critic 模型的需求，以及 RLOO（Ahmadian et al., 2024），它引入了简化的 REINFORCE 风格（Williams, 1992）优化框架。尽管取得了这些进展，RL 在 LLM 驱动的搜索引擎交互和推理中的应用仍在很大程度上未被探索。

3 Search-R1

图 1：PPO 和 GRPO 训练与搜索引擎（Search-R1）的演示。在展开过程中，LLM 可以与搜索引擎进行多轮交互。

在接下来的章节中，我们将详细介绍 Search-R1 的训练方法设计，涵盖：（1）扩展 RL 以利用搜索引擎；（2）交替多轮搜索引擎调用的文本生成；（3）训练模板；以及（4）奖励模型设计。

3.1 与搜索引擎的强化学习

我们利用搜索引擎 \mathcal{R} 形式化 RL 目标函数如下：

\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_\theta(\cdot \mid x; \mathcal{R})} \left[ r_\phi(x, y) \right] - \beta D_{KL}\left[ \pi_\theta(y \mid x; \mathcal{R}) \| \pi_{ref}(y \mid x; \mathcal{R}) \right]