LLM何时应进行搜索？用于搜索路由的反事实监督

# 语言模型何时应进行搜索？基于反事实监督的搜索路由

来源: https://arxiv.org/html/2607.05752

###### 摘要

搜索增强语言模型可以利用外部证据来弥补参数化知识的局限性，但搜索并非总是有益的：模型可能会对已经知道答案的问题发起搜索，或者在更合适进行纠正、澄清或弃答时依赖有噪声的证据。我们将此问题形式化为实例级别的搜索路由问题：即决定是否需要通过搜索来提升任务成功率，相对于不进行搜索的执行方式。为了获得监督信号，我们针对同一问题比较了无搜索和强制搜索的结果，并根据任务特定的成功标准构建了一个包含`NO_SEARCH`、`SEARCH`和`UNSOLVED`的预言机。我们将此预言机同时用作评估标准和学习信号，通过监督微调（SFT）和偏好优化来训练搜索路由策略。对于符合预言机条件的示例，Gemma E2B的路由宏F1分数从0.7082提升至0.8235，Qwen3.5-4B从0.7053提升至0.8365。进一步分析表明，学习到的策略减少了模型特定的路由失败：Gemma主要学会了克制不搜索，而Qwen进一步减少了错失搜索的情况；剩余的`UNSOLVED`案例揭示了涉及模型容量、检索预算、证据使用和策略行为的异构瓶颈。

机器学习，ICML

## 1 引言

参考图注图1：实例级别搜索路由的动机。搜索可能有益、不必要或具有误导性，这激发了实例级别路由的必要性。

配备了搜索工具的语言模型可以利用外部证据来回答那些仅靠参数化知识难以回答的问题，包括关于长尾事实知识、最新信息或模型参数中不太可能可靠存储的事实（Lewis等人，2020；Izacard等人，2023；Mallen等人，2023）。然而，搜索工具的可用性并不意味着每个问题都应该使用搜索。对于模型已经能够回答的问题，不进行搜索的响应可能更便宜，且更不容易受到嘈杂检索证据的影响。对于存在错误前提或缺少上下文的问题，适当的响应可能是纠正前提、请求澄清或弃答，而非检索外部证据（Amayuelas等人，2024；Xie等人，2026）。在实践中，正确的首要行动取决于具体实例：一个长尾事实问题可能需要搜索来获取证据，而一个条件不明确的问题可能通过澄清来解决，而不是检索通用的搜索结果，如图1所示。

因此，我们不仅将搜索增强语言模型视为生成搜索查询的系统，而且将其视为首先需要进行*搜索路由*的系统：针对每个输入问题，决定是否直接回答（不搜索）还是调用搜索工具。这个首要行动决策非常重要，因为路由错误可能出现在两个相反的方向。一个过于不愿搜索的模型可能会在其参数化知识不足时直接回答，产生看似合理但错误的响应。相反，一个过度依赖搜索的模型可能会对已经能够回答的问题或搜索无法解决的问题发起检索，这增加了成本，并使最终答案暴露于不相关或具有误导性的证据中。目标不是整体的搜索频率，而是仅在搜索能提升任务成功率时才进行调用。

这种框架与标准的工具使用评估不同。许多工具调用基准侧重于评估，在已知适合使用工具的情况下，模型是否以正确的参数调用了正确的工具（Patil等人，2025）。近年来关于“何时不该调用”行为的研究通过评估模型是否能避免不必要的工具调用、提出后续问题或承认无法回答，拓宽了这一视角（Ross等人，2025）。我们的设置特别关注搜索增强问答，其中相同的工具对于一个事实问题可能是有帮助的，对于另一个问题可能是不必要的，而对于需要纠正、澄清或弃答的搜索边界问题，主动使用工具反而无益。这激发了一种实例级别的监督信号，该信号基于观察到的响应结果，而不是直接判断搜索“看起来有用”。

我们通过两个研究问题来解决这个问题。

**RQ1.** 一个具有搜索功能的语言模型是否能够准确识别出哪些实例中搜索相对于不搜索能提升任务成功率？

**RQ2.** 是否可以通过训练来改善这种实例级别的搜索路由行为，同时减少错失搜索和不必要的搜索？

为了不必依赖直接的人工或裁判对搜索有用性的判断，而定义搜索需求，我们为每个问题构建了成对的反事实轨迹。在无搜索轨迹（记为`N(q)`）中，模型在无搜索工具的情况下作出响应。在强制搜索轨迹（记为`S(q)`）中，模型必须首先发起一次搜索调用，然后利用返回的证据生成最终响应。一个任务特定的评估器将每个最终响应映射为二元成功指标：对于可回答的问题，指标是事实正确性；对于存在错误前提或条件不明确的问题，指标是问题的适当解决程度，包括纠正、澄清或弃答。

然后，我们从成对的结果中推导出一个路由预言机。如果无搜索轨迹成功，我们将其标记为`NO_SEARCH`，因为即使强制搜索轨迹也成功，搜索也不是必要的。如果无搜索失败但强制搜索成功，我们将其标记为`SEARCH`，因为搜索挽救了无搜索的失败。如果两个轨迹都失败，我们将其标记为`UNSOLVED`。这些例子没有提供可靠的二元路由目标：失败可能源于检索质量、查询表述、证据使用、答案合成、模型容量或问题本身。因此，我们将`UNSOLVED`例子从路由训练和路由准确性计算中排除，同时将其保留作为诊断子集。

这个基于结果的预言机同时服务于评估和训练。对于评估，我们收集一个自由策略轨迹`P(q)`，其中搜索工具可用但不强制，并将模型的首次行动与预言机标签（标记为`NO_SEARCH`或`SEARCH`的例子）进行比较。这个自由策略轨迹是一个仅基于提示的选择性搜索基线：明确指示基础模型仅在搜索能显著改善响应时才调用搜索，否则直接回答、纠正、澄清或弃答而不使用工具。这使我们能够区分错失搜索（模型在不必要搜索时仍然直接回答）和不必要搜索（模型在无搜索已足够时仍调用搜索）。对于训练，我们使用相同的预言机构建监督微调示例和偏好对。监督微调教会模型模仿与预言机一致的首次行动，而偏好优化鼓励模型选择针对同一问题的适当首选助理回复。

实验表明，即使使用相同的问题集和搜索工具，搜索需求也是模型依赖的：参数化知识和搜索条件下的解题能力会改变一个实例被标记为`NO_SEARCH`、`SEARCH`还是`UNSOLVED`。然而，经过提示的基础模型同时表现出搜索不足和搜索过度，这表明仅靠选择性搜索指令无法恢复这个边界。针对模型特定反事实结果的训练改善了路由：在保留的符合预言机条件的例子中，SFT和偏好优化将Gemma E2B的宏F1从0.7082提升至0.8235，将Qwen3.5-4B从0.7053提升至0.8365；错误方向分析和`UNSOLVED`分析将修正后的路由错误与超出首次行动路由的剩余瓶颈区分开来。

参考图注图2：反事实搜索路由流水线。(A) 我们收集受控的无搜索和强制搜索轨迹，以及在选择性搜索提示下收集的自由策略轨迹。(B) 成对的无搜索和强制搜索结果推导出一个包含`NO_SEARCH`、`SEARCH`和`UNSOLVED`的路由预言机。(C) 该预言机既用于路由监督，也用于自由策略路由评估。

这些发现基于三个贡献。

- **实例级别路由。** 我们将搜索使用定义为一个实例级别的`NO_SEARCH`/`SEARCH`决策，其中`NO_SEARCH`包括直接回答、前提纠正、澄清和弃答。
- **反事实预言机。** 我们从成对的无搜索和强制搜索轨迹中推导出一个基于结果的预言机，并将其用于路由评估和训练。
- **`UNSOLVED`诊断。** 我们将双重失败案例保留为诊断子集，展示了超出初始搜索决策的剩余检索、证据使用、合成和模型容量瓶颈。

## 2 方法

我们将搜索路由形式化为一个首要行动决策。给定一个问题`q`，策略选择`a(q) ∈ {NO_SEARCH, SEARCH}`，其中`NO_SEARCH`表示不使用工具的首次响应，`SEARCH`表示首次对话中的搜索调用。图2给出了概述；下面我们定义轨迹、预言机、评估目标和训练目标。

对于每个问题`q`，我们收集两个受控的反事实轨迹：在搜索禁用的情况下生成的`N(q)`，以及在首次对话中强制搜索调用下生成的`S(q)`。我们仅评估每个轨迹中的最终响应：

`y_N(q) = Eval(q, N(q))`, `y_S(q) = Eval(q, S(q))`，其中`y_N, y_S ∈ {0,1}`。`Eval`应用任务特定的成功标准；详细信息和提示模板见附录A和C。

我们从成对的结果中推导出一个路由预言机：

`o(q) = {`
`NO_SEARCH,  if y_N(q) = 1,`
`SEARCH,    if y_N(q) = 0 ∧ y_S(q) = 1,`
`UNSOLVED,  if y_N(q) = 0 ∧ y_S(q) = 0`
`}`

`o(q) = UNSOLVED`的行被排除在路由监督和路由度量之外，因为成对的失败并未确定一个可靠的首次行动目标。我们将其保留用于第5节和附录B中的诊断分析。表1总结了产生的桶和标签。

表1：由反事实的无搜索和强制搜索结果产生的预言机标签。

由于无搜索和强制搜索的结果可能因模型而异，因此产生的预言机是模型特定的，而不是固定的问题级别标注。因此，监督的目标是当前模型在无需搜索即可解决的案例与可通过搜索恢复的案例之间的边界。如果无搜索已经成功，即使强制搜索也成功，该实例被标记为`NO_SEARCH`，所以`SEARCH`标签只标记观察到的从无搜索失败到搜索成功的恢复情况。

对于自由策略评估，我们在选择性搜索提示下收集`P(q)`：搜索可用，但仅在能显著改善响应时才应调用；否则模型应直接回答、纠正、澄清或弃答而不使用工具。我们解析首次行动：如果是搜索调用，则`p(q) = SEARCH`；否则`p(q) = NO_SEARCH`。当从路由训练前的基础模型收集时，该轨迹记为`P_pre(q)`，相应的基于提示的基础路由策略为`P_pre`。路由评估衡量`p(q)`与`o(q)`在`o(q) ∈ {NO_SEARCH, SEARCH}`的示例上的一致性。我们称`o(q) = SEARCH, p(q) = NO_SEARCH`为错失搜索，称`o(q) = NO_SEARCH, p(q) = SEARCH`为不必要搜索。生成细节和提示见附录A和C。

自由策略提示和搜索接口在`P_pre`收集、训练输入和训练后的推出中保持不变，因此`P_pre`、SFT和偏好优化之间的比较反映的是学习到的路由变化，而非指令变化。SFT仅使用符合预言机条件的示例：`NO_SEARCH`目标是从成功的`N(q)`响应中提取的，而`SEARCH`目标是从成功的`S(q)`轨迹中提取的首次对话搜索调用，这样监督的重点在于路由行动而非搜索后的完整轨迹。

因此，标记为`SEARCH`的SFT示例不要求模型模仿整个搜索答案轨迹。它们监督的是进入搜索路径的决策，而将查询精化、证据使用和最终合成留作路由主要目标之外。这种选择与我们的评估一致，后者评分的是首次行动而非后续所有搜索条件步骤的质量。

对于偏好优化，每个符合条件的`q`都有一个首选响应`r^+(q)`，它以与预言机一致的首次行动开始，以及一个被拒绝的响应`r^-(q)`，它以相反的首次行动开始，最好是从实际的`P_pre`错误中抽取，否则从受控的反事实轨迹中抽取。

我们优化一个带有首选响应NLL正则化的DPO目标（Rafailov等人，2023；Pang等人，2024）：

`L = L_DPO + α * L_NLL(r^+)`。

偏好优化从选定的SFT检查点初始化，并将该检查点用作参考模型。

## 3 实验设置

**数据和评估。** 我们在两个互补的问题机制上实例化反事实路由协议。PopQA提供可回答的以实体为中心的事实问题，搜索可能恢复长尾事实；我们使用所有13,763个问题（Mallen等人，2023）。KUQ提供搜索边界问题，其中搜索可能有用也可能无益：某些情况可能受益于外部证据，而其他情况则更适合通过前提纠正、澄清或弃答来解决（Amayuelas等人，2024）。我们使用虚假假设类别（模型应拒绝或纠正错误前提）和模棱两可类别（模型应识别缺失上下文并要求澄清或弃答）。KUQ子集包含774个虚假假设问题和850个模棱两可问题。

重要的是，这些数据集组不被视为固定的路由标签。PopQA问题不被假定需要搜索：如果无搜索轨迹正确回答，则该实例被标记为`NO_SEARCH`。同样，KUQ虚假假设或模棱两可的问题不被假定禁止搜索：如果无搜索失败但强制搜索使模型能够解决前提或歧义，则该实例被标记为`SEARCH`。因此，混合基准测试的是实例级别路由而非数据集级别分类。

PopQA使用PopQ...