F²DR:一种用于DeepSearch工作流的细粒度全流程奖励框架
摘要
F2DR是一个细粒度奖励框架,旨在评估大型语言模型中的全流程DeepSearch工作流,通过评估内容、轨迹和答案维度来解决现有奖励模型的局限性,并引入DeepSearch RM-Bench进行基准测试。
查看缓存全文
缓存时间: 2026/09/18 09:02
# F2DR:面向深度搜索工作流的细粒度全流程奖励框架 来源:https://arxiv.org/html/2609.19827 熊博健¹* 丁文滔¹* Affiliation: 百度公司,北京,中国 Email: [[email protected]](mailto:) 卢宇靖¹ Affiliation: 百度公司,北京,中国 张少威² Affiliation: 天津大学计算机科学与技术学院自然语言处理实验室,天津,中国 施凌² Affiliation: 天津大学计算机科学与技术学院自然语言处理实验室,天津,中国 廖晶¹ Affiliation: 百度公司,北京,中国 王燕¹ Affiliation: 百度公司,北京,中国 张悦阳¹ Affiliation: 百度公司,北京,中国 夏龙¹ Affiliation: 百度公司,北京,中国 孙志远¹ Affiliation: 百度公司,北京,中国 时戴婷¹ Affiliation: 百度公司,北京,中国 何景周¹ Affiliation: 百度公司,北京,中国 任宇琪² Affiliation: 天津大学计算机科学与技术学院自然语言处理实验室,天津,中国 熊德意² Affiliation: 天津大学计算机科学与技术学院自然语言处理实验室,天津,中国 ###### 摘要 随着大语言模型(LLMs)在工业界的广泛部署,深度搜索已成为解决复杂用户查询的主流范式。它通常通过包含规划反思、信息检索和答案生成的迭代闭环工作流来运作。然而,现有的奖励模型(RMs)和评估基准主要针对静态单轮任务设计,未能捕捉深度搜索工作流的全流程复杂性。为解决这一局限,我们提出了**F2DR**,一个细粒度的全流程深度搜索奖励框架。F2DR从内容、轨迹和答案三个维度评估深度搜索工作流,实现了全面的过程级评估。我们进一步构建了**DeepSearch RM-Bench**,一个专门用于评估深度搜索场景中奖励模型的基准。大量实验表明,F2DR比基于自评的基线方法取得了显著更高的评估一致性,而DeepSearch RM-Bench对现有开源奖励模型表现出强大的区分能力。我们即将公开发布完整的DeepSearch RM-Bench数据集。 ¹ *这些作者对本工作贡献均等。 ² *通讯作者。 ## 1 引言 随着大语言模型(LLMs)的工业级部署,用户对信息获取的需求已从事实检索转向复杂的知识密集型服务。在此背景下,深度搜索(DeepSearch)通过规划-反思、信息检索和答案生成的迭代循环,已成为自主信息探索的主导范式。与单轮问答系统不同,深度搜索作为涉及长期推理、工具调用和多源证据整合的多阶段工作流运作,从而对评估带来了根本性挑战。准确评估此类工作流需要能够捕捉系统行为多维度的评估方法。 在工业实践中,生成质量通常通过奖励模型(RMs)提供的自动反馈进行评估。然而,现有的奖励模型主要为静态或单步场景设计,无法满足深度搜索场景对过程级评估的要求。现有奖励模型主要分为两种范式,两者均不足以应对深度搜索。判别式奖励模型仅提供标量分数而无明确推理过程,无法解释复杂的多步规划。生成式奖励模型尽管具有可解释性,但容易产生幻觉且适应性差,无法满足严格的事实准确性要求。 除了奖励模型的局限性,现有的奖励模型基准也与深度搜索工作流严重脱节。它们主要关注范围明确的静态场景,如通用问答和基础数学推理,这与真实深度搜索应用中模糊、多维度的用户意图存在差异。 为解决这些局限,我们提出了**F2DR**,一个用于评估深度搜索工作流的细粒度全流程奖励框架。F2DR从三个维度进行综合评估:**内容维度**评估检索信息相对于核心知识点的语义覆盖和事实依据,利用细粒度检查清单验证事实和数据一致性;**轨迹维度**通过六个严格的子维度评估多轮推理和任务分解,包括意图理解、搜索原子性、规划一致性、间隙解决、规划全面性和迭代创新性,同时惩罚冗余推理并确保规划与执行对齐;**答案维度**结合主观标准(如意图匹配、逻辑连贯性和简洁性)和客观指标(衡量核心信息覆盖),从而确保最终响应在事实完整性和逻辑严谨性上兼备。 通过这三个维度,F2DR为深度搜索工作流提供了整体性和过程级的评估。基于F2DR,我们进一步构建了**DeepSearch RM-Bench**,一个专门用于全流程深度搜索场景中奖励模型评估的基准。具体而言,在数据构建过程中,我们采用“规划-反思 – 信息获取 – 答案生成”的工作流。在规划-反思阶段,系统使用有向无环图(DAG)将查询分解为原子子任务,并通过元认知反思证据充分性动态调整搜索策略。在信息获取阶段,通过整合搜索引擎和模型上下文协议(MCP)工具执行DAG以收集多源数据,确保检索的广度和深度。最后,在答案生成阶段,聚合并验证跨轮次的证据以进行事实核查和冲突解决,优化推理链以产生高质量的结构化响应。 为保持适当的评估难度水平,我们过滤掉了分数方差过高或过低的偏好对,并进行二次人工验证,以确保对于相同查询,规划轨迹和最终响应都具有足够的区分度。大量实验表明,F2DR比基于自评的基线方法提供了显著更一致、更可靠的评估。此外,主流开源奖励模型在DeepSearch RM-Bench上表现出显著的性能瓶颈,表明我们基准的巨大难度和区分能力。 总之,我们的贡献如下: - • 我们提出了F2DR,一个专为复杂真实世界深度搜索工作流设计的过程级奖励框架,涵盖内容、轨迹和答案三个互补维度。 - • 我们开发了DeepSearch RM-Bench,一个专门用于评估全流程深度搜索场景中奖励模型的高质量基准。 - • 通过大量实验,我们证明了F2DR实现了显著更高的评估一致性,而当前最先进的奖励模型在DeepSearch RM-Bench上仍表现出相当大的局限性。 参考标题图1:基于F2DR的DeepSearch RM-Bench全流程概览,包含三个阶段:(1)数据收集:由配备搜索工具的LLMs生成全流程深度搜索轨迹;(2)DeepSearch RM-Bench构建:通过F2DR框架进行细粒度全流程评估,随后进行筛选和人工验证以构建DeepSearch RM-Bench;(3)评估:对奖励模型性能进行基准测试并验证F2DR的优越性。 ## 2 相关工作 **深度搜索**。深度搜索集成了LLMs的推理能力与搜索引擎和工具调用,构建了一个包含“规划-反思、信息检索和答案生成”的迭代工作流,以解决现实世界中的复杂任务。当前的优化策略主要基于工作流的提示工程、监督微调以及端到端强化学习的自主智能体。然而,现有研究缺乏专门针对深度搜索的评估工作流;当前的评估主要依赖通用的LLM-as-a-judge方法,这些方法通常不适合对深度搜索场景中的复杂问题进行细粒度评估。 **奖励模型与奖励模型基准**。现有奖励模型可分为两种范式。判别式奖励模型通常基于Bradley-Terry(BT)框架构建,通过为响应对输出标量分数来表示相对偏好。然而,这种方法提供的可解释性有限且缺乏明确的推理过程。生成式奖励模型尽管可以制定评分原则,但它们往往在特定上下文的适应性方面表现不佳,并且容易产生事实幻觉。在基准测试方面,现有的奖励模型基准关注静态场景,如数学和通用问答。它们未能充分涵盖真实世界深度搜索工作流中固有的复杂决策轨迹和动态交互。 ## 3 方法论 我们首先筛选并构建高质量的深度搜索查询数据集。然后,我们提出了F2DR,一个用于评估深度搜索的细粒度全流程框架。基于真实的工业搜索数据,我们进一步通过F2DR对工作流的每个阶段进行标注,构建了DeepSearch RM-Bench。图1展示了使用F2DR构建DeepSearch RM-Bench的过程。 ### 3.1 深度搜索数据收集 我们的深度搜索查询源自一个大规模的企业搜索平台。为了从海量用户日志中选择高质量的查询,我们采用了双阶段筛选机制。首先,我们提取明确调用“深度思考”的原始用户查询,然后利用DeepSeek-V3过滤掉琐碎或单跳查询,仅保留需要复杂、多跳推理的查询。对于这些保留的复杂查询,我们复制完整的工业深度搜索执行流程,以生成多样化的推理轨迹和最终响应。 深度搜索通过规划-反思、信息检索和答案生成的迭代闭环工作流来处理此类知识密集型任务。为了有效处理这些查询,我们采用了基于有向无环图(DAG)的规划-反思范式,这与先前工作(如Search-R1)中使用的基于线性链的方法不同。与依赖严格顺序迭代的线性范式不同,DAG结构将推理建模为图:每个节点代表一个涉及搜索API或MCP工具调用的原子子目标,有向边明确编码子任务之间的依赖关系。已完成子目标的检索结果直接为后续规划步骤提供信息,从而实现持续的重新规划和实时DAG更新。这种全局协调的任务分解和动态依赖跟踪使我们的工作流能够为多跳问题构建严格的执行轨迹,有效地识别并弥合所有规划阶段的信息差距。 在最终响应阶段,我们将跨多轮检索到的信息综合成具有逻辑连贯性和事实完整性的响应。为构建高质量的偏好数据,我们在深度搜索工作流中采用DeepSeek-V3和Qwen-Next-80B-A3B作为LLMs。它们不同的推理轨迹和检索行为为相同查询产生了多样化的输出,形成了用于奖励模型评估的可靠偏好对。工作流的详细案例研究见附录A。 ### 3.2 F2DR 为了便于对深度搜索工作流进行自动化评估和缺陷识别,我们设计了一个细粒度的全流程奖励框架,包含内容、轨迹和答案维度。这些维度能够对整个深度搜索工作流进行全面评估,包括规划-反思、信息检索和答案生成。详细的提示词见附录B。 #### 内容 该维度评估检索信息相对于知识点的语义覆盖和事实依据。具体而言,我们聚合在联网搜索环境下运行的前沿模型(如Gemini、Doubao和Qwen)的响应,以获取高置信度、多源的参考答案。然后,利用DeepSeek-R1对这些结果进行总结和分解,形成定义为(实体,属性/状态)对的原子知识点。这些单元进一步分为核心和辅助知识点,形成用于细粒度验证的检查清单。随后,通过衡量检索到的证据相对于此知识库的语义覆盖和事实一致性来进行评估。 #### 轨迹 该维度对规划-反思阶段的动态推理过程进行分层逻辑审计,确保整个推理管道在任务和轨迹层面的严谨性。我们对执行日志进行深入分析,并识别常见的缺陷。
相似文章
扩散奖励模型
DRM 引入了一种扩散奖励模型,将奖励建模视为条件密度估计,该方法在捕捉多模态奖励结构方面优于基线,并增强了 RLHF 训练效果。
多模态长对话中的细粒度片段检索
本文提出了细粒度片段检索(FFR)这一新任务,旨在长对话中定位语义连贯的多模态片段(文本与图像)。作者提出了基于生成的检索模型 F2RVLM(通过强化学习训练)和两阶段检索系统 FFRS,并构建了新的评测数据集 MLDR。
为搜索加入记忆而非在奖励最大化任务中盲目采样 [R]
一篇预印本提出了 FLEET 算法,它通过将外部奖励归因到具体 token,使 Best-of-N 采样具备奖励感知能力:把隐藏状态连同奖励元数据存入向量库,并在后续迭代中使用改造后的 MCTS 重新调整 logits。在 GSM8K 和 LiveCodeBench 上使用 Llama 3.2 3B 的实验表明,该方法以远少于采样基线的迭代次数达到了相当甚至更优的性能。此外,它产出的元数据存储库可复用为其他任务的先验,或用于增强 SFT/RL。
LexReward:面向法律语言模型的分类法驱动奖励框架
LexReward 提出了一种面向法律语言模型的分类法驱动奖励框架,从风格、要素和推理链三个维度评估回答质量,用于构建 DPO 偏好数据以及奖励模型(LexRM),从而提升法律推理性能。
通过预测性导航进行深度研究预训练
介绍了深度研究预训练(DRP),一种离线框架,从引文和超链接证据结构中生成搜索-打开-撰写轨迹。在1B token上预训练的Qwen3-14B模型在深度研究基准测试中优于匹配的无DRP基线,即使使用较少的监督微调数据也是如此。