UNIBROWSE：面向多模态浏览竞赛的数据到智能体框架

# UniBrowse：面向多模态浏览理解的数据到智能体框架
来源：https://arxiv.org/html/2607.10557
奚羽薇¹,², 宗庆伟¹,³††感谢：同等贡献。, 喻卓成¹,³††感谢：同等贡献。, 李素建¹,³††感谢：通讯作者。¹教育部计算语言学重点实验室，北京大学 ²软件与微电子学院，北京大学 ³计算机学院，北京大学 \{wxylemon, shiinasama\}@stu\.pku\.edu\.cn lisujian@pku\.edu\.cn

###### 摘要

多模态 BrowseComp 任务要求智能体结合感知、工具使用以及对动态网页内容的长程推理，这对它们在组合结构、开放世界不确定性以及跨长程交互的多模态整合方面的处理能力提出了挑战。关键的是，真实世界的多模态浏览涉及三种不同的信息流模式：纯文本、图像到文本和文本到图像。然而，现有的数据构建方法仅覆盖了纯文本和图像到文本模式，文本到图像模式在很大程度上未被涉及，限制了智能体的通用性和鲁棒性。我们提出了 UniBrowse，一个统一的数据流水线，它首次同时生成了覆盖所有三种模式的训练数据，通过实时网络检索增强精选知识图谱以提高保真度，并引入了一种新颖的“探索度”指标来过滤低信号样本，以实现高效的强化学习。通过这一流水线，我们生成了高质量的冷启动工具使用轨迹和富含探索的问答对，并通过监督微调和探索感知的强化学习训练了一个 35B 规模的智能体。由此得到的 UniBrowse 智能体在多模态 BrowseComp 基准测试中取得了最先进的性能，在五个不同基准上的平均准确率达到 54.4——相比其基础模型 Qwen3\.5\-35B\-A3B 提升了 10\.5 个百分点——并超越了多个闭源智能体工作流，如 GPT\-5 \(42\.9\)、Gemini\-2\.5 Pro \(44\.8\) 和 Gemini\-2\.5 Flash \(41\.3\)。

UniBrowse：面向多模态浏览理解的数据到智能体框架

奚羽薇¹,²††感谢：同等贡献。, 宗庆伟¹,³††感谢：同等贡献。, 喻卓成¹,³††感谢：同等贡献。, 李素建¹,³††感谢：通讯作者。¹教育部计算语言学重点实验室，北京大学 ²软件与微电子学院，北京大学 ³计算机学院，北京大学 \{wxylemon, shiinasama\}@stu\.pku\.edu\.cn lisujian@pku\.edu\.cn

参考图注图 1：UniBrowse 智能体在五个基准测试上与其它模型相比的整体性能。

## 1 引言

浏览理解风格的任务用于评估网络浏览智能体能否解答那些答案难以定位且必须由多条网络证据组合而成的问题 (Weiet al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib68))。与标准的事实查找任务 (Nakanoet al\.,2021 (https://arxiv.org/html/2607.10557#bib.bib63)) 不同，这些问题无法通过一次查询或提取单个网页片段来解决。相反，智能体必须制定搜索计划、跟踪部分线索、评估证据可靠性，并跨来源整合信息才能得出唯一确定的答案。真实世界的浏览进一步将这一挑战扩展到文本之外：用户经常提供图像线索，要求智能体识别基于视觉的实体，或者需要在文本搜索缩小目标范围后进行视觉验证。这就产生了更具挑战性的*多模态浏览理解*设定，要求智能体联合执行文本检索、视觉定位、工具使用以及对开放网络证据的长程推理。这一新兴设定因此引起了研究社区的日益关注 (Jianget al\.,2024 (https://arxiv.org/html/2607.10557#bib.bib81); Liet al\.,2025b (https://arxiv.org/html/2607.10557#bib.bib79))。

尽管兴趣日益增长，为多模态浏览理解构建有效的训练数据仍然困难。向数据生成过程中注入视觉信息的早期尝试包括 WebWatcher (Genget al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib69))，它依赖精心筛选的知识图谱来获取结构化关系，以及 Vision‐DeepResearch (Zenget al\.,2026 (https://arxiv.org/html/2607.10557#bib.bib70)) 和 Skywork R1V4 (Zhanget al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib77))，它们采用网络随机游走来模拟真实的浏览环境。尽管这些开创性方法成功生成了大规模多模态训练样本，但它们的进一步应用因任务多样性不足和训练效率不够而受到阻碍，主要体现在三个方面。首先，现有数据集仅覆盖了*图像到文本*模式（即初始图像线索被解析为文本证据），但遗漏了同样重要的*文本到图像*模式（即文本浏览先于视觉检索）。这使得智能体在面对需要“文本推理后视觉验证”的场景时训练不足。其次，现有方法完全依赖单一的构建范式，迫使进行“全有或全无”的取舍：基于图的方法受限于有限的网络多样性，而随机游走方法则使数据生成暴露于大量噪声和虚假证据之中。第三，先前的工作直接在生成的数据上应用学习，而没有针对浏览理解推理的长程、多步特性定制的过滤机制。因此，低质量的轨迹未经筛选就被送入训练，浪费计算资源并拖慢模型训练速度。

为了解决这些局限，我们提出了 UniBrowse，这是一个包含数据构建流水线和从其输出训练出的最先进多模态浏览智能体的统一框架，如图 2 (https://arxiv.org/html/2607.10557#S1.F2) 所示。UniBrowse 超越了先前占主导地位的图像到文本设定，生成了覆盖三种互补信息流模式（也称作模式）的多模态浏览理解数据：*纯文本*模式（通过组合文本证据获取答案）；*图像到文本*模式（需先解析图像线索，然后通过文本浏览识别或组合答案）；以及*文本到图像*模式（先通过文本证据确定应搜索或视觉验证的内容）。除了改进模式覆盖，UniBrowse 还弥合了先前两种独立的数据构建范式。它从结构化知识图谱骨架出发，以保持可控的推理路径，同时通过实时网络检索对其进行增强，引入基于真实互联网的证据，缩小合成构建与真实浏览之间的差距。为了进一步提升训练效率，UniBrowse 将探索感知的数据选择纳入流水线。具体来说，我们提出了*探索度*指标，用于衡量成功推理轨迹的多样性，并过滤掉学习信号有限的低探索样本，使强化学习能够聚焦于更能锻炼长程、多步浏览行为的问题。

通过这一流水线，我们生成了 8K 冷启动工具使用轨迹和 10K 问答对，并通过监督微调和探索感知的强化学习训练了一个 35B 规模的 UniBrowse 智能体。由此得到的智能体在多模态浏览理解基准测试中取得了最先进的性能，如图 1 (https://arxiv.org/html/2607.10557#S0.F1) 所示，验证了我们的数据到智能体框架能够有效地将模式覆盖、网络增强定位和探索驱动选择转化为强大的浏览能力。

参考图注图 2：UniBrowse 框架概览。\(a\) 数据构建流水线从文本知识图谱骨架开始，通过实时网络证据进行增强，扩展为纯文本、图像到文本和文本到图像模式，并对强化学习问答对进行探索感知选择。\(b\) UniBrowse 多模态浏览轨迹展示了智能体如何解析图像线索、跟踪文本网络证据，并通过图像搜索验证最终视觉属性。

我们的贡献总结如下：

- •我们提出了 UniBrowse，一个统一的数据构建流水线，首次同时生成了覆盖纯文本、图像到文本和文本到图像信息流模式的多模态浏览理解数据，并通过实时网络检索增强知识图谱定位，提高了真实世界保真度。
- •我们引入了一个探索度指标和一种专门针对浏览理解任务长程特性定制的探索感知数据过滤策略，该策略能移除低探索样本，显著提升强化学习效率。
- •我们利用流水线产出的 8K 冷启动工具使用轨迹和 10K 问答对训练了一个 35B 规模的 UniBrowse 智能体。该智能体在多模态浏览理解基准测试中取得了最先进的性能，超越了先前的开源基线模型。

## 2 相关工作

### 2\.1 网络文本浏览智能体

网络浏览智能体已从浏览器辅助问答 (Nakanoet al\.,2021 (https://arxiv.org/html/2607.10557#bib.bib63)) 和交互式任务完成 (Yaoet al\.,2022a (https://arxiv.org/html/2607.10557#bib.bib64); Denget al\.,2023 (https://arxiv.org/html/2607.10557#bib.bib65); Zhouet al\.,2023 (https://arxiv.org/html/2607.10557#bib.bib66)) 演变为在开放网络上进行复杂信息查找。BrowseComp (Weiet al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib68)) 进一步提升了难度：答案必须从多个、非显而易见的网络来源组合而成，要求智能体在线索之间导航并整合部分证据。为了使智能体具备这种组合推理能力，近期的纯文本浏览理解流水线——Tongyi Deepresearch (Teamet al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib86))、WebSailor (Liet al\.,2025a (https://arxiv.org/html/2607.10557#bib.bib83))、WebShaper (Taoet al\.,2025b (https://arxiv.org/html/2607.10557#bib.bib84)) 和 OpenSeeker (Duet al\.,2026 (https://arxiv.org/html/2607.10557#bib.bib85))——已证明大规模合成数据能显著提升多步检索能力。尽管取得了这些进展，这些流水线仍局限于文本证据，而真实世界的浏览经常混合视觉和文本线索；因此，构建多模态浏览理解训练数据仍然是一个开放挑战。

### 2\.2 多模态浏览智能体

尽管纯文本浏览理解流水线已较为成熟，将其扩展到多模态场景需要智能体能够以不同顺序对图像和文本进行联合推理。近期的基准测试如 MMSearch (Jianget al\.,2024 (https://arxiv.org/html/2607.10557#bib.bib81))、MMSearch\+ (Taoet al\.,2025a (https://arxiv.org/html/2607.10557#bib.bib80)) 和 FVQA (Wuet al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib82)) 评估了多模态搜索和基于事实的视觉问答，同时也有若干训练流水线被提出：WebWatcher (Genget al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib69)) 从知识图谱构建图像到文本数据并引入 BrowseComp‐VL；Vision‐DeepResearch (Zenget al\.,2026 (https://arxiv.org/html/2607.10557#bib.bib70)) 和 Skywork‐R1V4 (Zhanget al\.,2025 (https://arxiv.org/html/2607.10557#bib.bib77)) 使用网络随机游走生成多模态轨迹。

然而，这些工作的数据流水线仅覆盖了图像到文本模式，缺少文本到图像模式——在该模式中，文本推理确定目标，视觉检索提供最终证据。这一遗漏损害了在覆盖所有三种模式的基准测试（即 MM\-BrowseComp (Liet al\.,2025b (https://arxiv.org/html/2607.10557#bib.bib79))¹¹MM\-BrowseComp 是唯一一个覆盖所有三种模式的人工策划数据集，即使领先的专有工作流也无法在其上达到 50% 的分数）上的性能。此外，尽管强化学习 (RL) 能够改进长程、多轮交互，但先前的工作直接将 RL 应用于未经过滤的合成数据，在低信号 rollout 上浪费计算资源，限制了每步训练的性能提升。这些空白共同表明，需要覆盖所有信息流模式的训练数据，以及能最大化 RL 效率的选择策略。

## 3 数据构建流水线

如图 2 (https://arxiv.org/html/2607.10557#S1.F2) (a) 所示，我们描述 UniBrowse 的数据构建流水线。给定一个文本知识图谱和实时网络访问，该流水线生成多模态浏览理解任务，这些任务具备对于训练有能力的智能体至关重要的三个特性：(i) 完全覆盖纯文本、图像到文本和文本到图像信息流模式，(ii) 网络增强的证据定位，弥合结构化图谱知识与开放网络多样性之间的差距，以及 (iii) 探索感知的样本选择，优先选择富含学习信号的问题用于强化学习。

### 3\.1 文本知识图谱与网络扩展

流水线从一个文本知识图谱 \(G_{\mathrm{KG}}\) 开始，它提供了实体与属性之间的结构化关系。为了生成一个问题，对于每个种子实体 \(s\)，我们通过选择一组相关的锚点并通过多跳图遍历扩展局部邻域，构建一个连通的文本证据子图 \(G_T(s)\)。该子图包含一个相互关联的实体、约束和事实边的网络，并定义了后续将支撑问题的完整体验上下文。

子图 \(G_T(s)\) 按层次组织，反映证据节点之间的逻辑依赖关系。初始层 \(\mathcal{L}_0\) 由种子线索（问题开始时已知的实体或约束）组成。每个后续层 \(\mathcal{L}_k\)（\(k\geq 1\)）由可通过聚合前序层 \(\mathcal{L}_0, \dots, \mathcal{L}_{k-1}\) 的信息来确定的证据节点组成。最终层 \(\mathcal{L}_L\) 仅包含目标答案 \(a\)。这种分层结构确保到达答案需要从可用上下文中逐步解析中间证据。中间层的总数控制推理深度，而图的关系保证所有必要的证据链接都存在于 \(G_T(s)\) 中。

#### 网络增强的属性扩展。

纯图定位的骨架可能缺乏真实浏览理解任务所需的描述丰富性。因此，我们通过从实时网络检索中提取的属性来丰富每个实体节点 \(v \in G_T(s)\)。对于每个 \(v\)，我们发起一次网络搜索，收集原始文本片段，并使用大型语言模型提取候选属性陈述，仅保留那些在多个搜索结果中独立验证的属性。这产生一个经过验证的属性集 \(\mathcal{A}(v)\)，将其附加到 \(v\) 上，以使该节点同时携带其原始图关系和可靠的、源自网络的描述符。进一步的实现细节，包括提取提示、规范化过程和支持阈值，见附录 C (https://arxiv.org/html/2607.10557#A3)。

\(s\) 的组合证据上下文即为

\[
\mathcal{C}_T(s) = \bigl( G_T(s), \{\mathcal{A}(v)\}_{v \in G_T(s)} \bigr),
\](1)

它将问题定位在精选的图关系和经过验证的网络属性之上。

### 3\.2 统一的多模态模式扩展

纯文本骨架产生的问题仅依赖于文本证据的组合。然而，真实世界的多模态浏览还需要另外两种模式：图像到文本（即视觉线索启动搜索）和文本到图像（即文本推理确定目标，随后进行视觉验证）。UniBrowse 显式地扩展纯文本骨架以生成覆盖所有三种模式的训练实例。