MosaicLeaks：深度研究代理在公开查询中的隐私风险

# MosaicLeaks：面向深度研究代理的“公开查询”隐私风险

来源：https://arxiv.org/html/2605.30727

¹ServiceNow AI Research  
²爱丁堡大学  
³Mila – 魁北克人工智能研究所  
⁴麦吉尔大学  
⁵不列颠哥伦比亚大学  

\contribution\[\*\]同等贡献  
\contribution\[†\]在 ServiceNow AI Research 完成工作  

###### 摘要

深度研究代理日益将私有本地文档与网页检索等外部工具相结合，这带来了隐私风险：代理的外部查询可能泄露其本地上下文中的敏感信息。这种风险因**马赛克效应**而放大——单个查询看似无害，但累积起来却会暴露信息。我们提出**MosaicLeaks**，一个包含 1001 个多跳深度研究任务的基准测试，这些任务将私有企业文档与公开网页语料串联起来，迫使代理发出依赖本地信息的外部查询。我们用一个 adversarial LLM 评估泄露情况，该 LLM 仅观察代理的外部查询，并尝试在三个层面推断私有信息：代理的研究意图、对特定私有问题的答案，以及对私有企业文档的可验证声明。我们发现，不同系列和大小的模型在这三个层面上都频繁发生泄露；零样本隐私提示虽然有所缓解但无法完全消除泄露；而仅针对任务性能的强化学习会加剧泄露。为了解决这个问题，我们提出**隐私感知深度研究 (PA-DR)**，一种将任务成功的情境奖励与学习到的隐私分类器相结合的强化学习框架，为每个查询层面和马赛克层面的泄露提供密集的信用分配。使用 PA-DR 训练 Qwen3-4B-Instruct 将准确率从 48.7% 提升至 58.7%，并将答案泄露和完整信息泄露从 34.0% 降至 9.9%。

## 1 引言

请参考图 1 的说明。

**图 1：**“马赛克效应”如何促成 MosaicLeaks 对研究代理网页查询隐私泄露的测量示例。我们在三个维度上评估泄露：**意图泄露**（预测研究问题）、**答案泄露**（回答针对企业文档提出的问题）和**完整信息泄露**（预测关于企业文档的可验证真实声明）。在此示例中，代理首先两次搜索与 Lee's Market 2020 年流量增长相关的信息，泄露了其研究意图。第三次查询转而尝试基于前一个答案来回答一个新问题。尽管这些查询单独看起来无害，但若同时出现，adversary 可以推断出组合后的信息。通过推断出 15% 是代理在前两次查询中寻找的答案，adversary 可以声称 Lee's 的在线流量在 2020 年增长了 15%。

| 数据集 / 任务 | 多跳 | 本地 + 网络 | 隐私 | 马赛克 |
|--------------|------|------------|------|--------|
| PrivacyLens (shao2024privacylens) | ✗ | ✗ | ✓ | ✗ |
| AgentDAM (zharmagambetov2025agentdam) | ✗ | ✗ | ✓ | ✗ |
| SPILLage (roh2026spillage) | ✗ | ✗ | ✓ | ✗ |
| TOP-Bench (qiao2025topr) | ✗ | ✗ | ✓ | ✓ |
| DRBench (abaskohi2025drbench) | ✓ | ✓ | ✗ | ✗ |
| HERB (choubey2025herb) | ✓ | ✓ | ✗ | ✗ |
| Chroma Context-1 (bashir2026context1) | ✓ | ✗ | ✗ | ✗ |
| WebExplorer (liu2025webexplorer) | ✓ | ✗ | ✗ | ✗ |
| ASearcher (gao2025asearcher) | ✓ | ✗ | ✗ | ✗ |
| **MosaicLeaks (我们的)** | ✓ | ✓ | ✓ | ✓ |

**表 1：** MosaicLeaks 与以往工作的比较，按隐私感知工作、深度研究任务和多跳数据集分组。  
**多跳：** 问题需要通过顺序链接多个检索或推理步骤才能回答。  
**本地 + 网络：** 数据集中单个任务混合了本地和外部文档。  
**隐私：** 数据集评估隐私泄露。  
**马赛克：** adversary 模型考虑跨多个动作/回合的泄露。

语言模型代理正越来越多地部署于处理敏感企业数据，同时依赖网页搜索和云 API 等外部工具来收集信息或完成复杂任务 (abaskohi2025drbench; choubey2025herb; prabhakar2025enterprise)。这些代理的价值主要在于它们能够综合并迭代来自外部和内部文档源的信息。然而，这种价值伴随着风险，因为外部服务可能被监控，且代理可能通过其工具调用泄露私有信息。这种风险因**马赛克效应**（一个长期被认知的现象，即聚合少量信息比单独每个信息泄露更多）而加剧 (pozen2005mosaic)。最近的工作已经展示了在社交场景中协调多种工具的 LLM 代理中存在马赛克泄露 (qiao2025topr)。在本工作中，我们聚焦于深度研究任务背景下的马赛克效应，将网页查询视为潜在的泄露来源。尽管单个工具调用看似无害，但观察这些查询的 adversary 随时间累积可以聚合它们并重构敏感属性。尽管存在风险，现有的代理研究框架大多优化任务性能，而未考虑这种潜在的泄露。为填补这一空白，我们提出 **MosaicLeaks**，一个包含 1001 个多跳研究问题的基准测试，这些问题**需要**交替进行本地（企业）和外部（网页）搜索才能回答。我们假设一个 adversary 可以访问代理在回答每个问题时产生的所有网页查询，并仅根据这些查询来推断私有企业信息。代理的目标是准确回答问题，同时最小化 adversary 的成功率。受 InfoSeeker (hw2024infoseeker) 和 WebShaper (tao2025webshaper) 的启发，我们通过基于图的方法构建 MosaicLeaks：每个任务由多个子问题组成。每个子问题的答案作为下一个子问题的实体，连接两个文档。通过在每次跳转时交替文档源（例如，本地 → 网页），我们创建了交织企业信息与公共信息的链条，从 DRBench (abaskohi2025drbench) 提取本地文档，从 BrowseComp-Plus (chen2025browsecompplus) 提取网页内容。我们在六个开源 LLM 上的初步实验表明，深度研究代理经常通过网页查询泄露企业信息，并且单纯训练任务性能会加剧这种行为。此外，先前的工作探索了基于提示的方法以减少相邻代理设置中的隐私泄露 (shao2024privacylens; zharmagambetov2025agentdam; roh2026spillage; patil2025sum; qiao2025topr)，我们发现提示无法在我们的任务中消除泄露。然而，我们表明强化学习 (RL) 可用于训练深度研究代理内化隐私约束，同时提高研究任务的表现。由于隐私泄露的测量成本高昂，在训练过程中，我们使用一个 adversary 模型（该模型仅观察外部调用并尝试推断私有信息）的惩罚来增强我们的任务性能奖励。我们的方法称为 **Privacy Aware-Deep Research (PA-DR)**，它为那些仅加重隐私泄露的调用提供密集信用分配，同时考虑马赛克效应。我们的贡献如下：(1) 一个新的 MosaicLeaks 任务，评估研究代理在具有明确本地-外部信息依赖关系的多跳问题上的表现，(2) 对闭源和开源模型上隐私-效用权衡的实证分析，以及 (3) 一个将隐私感知代理训练形式化为联合隐私与性能目标的规范性框架。

## 2 相关工作

#### 深度研究基准测试。

深度研究已成为一项重要的智能体任务，多个基准测试在开放网页上对其进行评估，包括 BrowseComp-Plus (chen2025browsecompplus)、Deep Research Bench (bosse2025deepresearchbench)、DeepResearch-9k (wu2026deepresearch) 和 DeepResearchGym (coelho2025deepresearchgym)；我们采用 BrowseComp-Plus 的固定语料作为我们设置中的公共网页端。最近，一些基准测试包含了跨越本地和外部来源的研究问题。HERB (choubey2025herb) 同样评估了跨异构企业来源（包括文档、会议记录、Slack 和 GitHub）的多跳深度搜索。prabhakar2025enterprise 提出了一个多代理系统，将企业数据源与网页查询相结合，用于分析师式报告生成。与我们工作最相关的是 DRBench (abaskohi2025drbench)，它引入了跨公司领域的企业深度研究报告式任务，要求代理将开放网页查询与散布在常见企业文件源中的私有公司数据相结合。我们将 DRBench 的本地文档语料作为本地文档源，这为我们提供了各种格式的（合成的）任务和公司特定文档。这些基准测试表明了代理能够回答跨企业和外部信息的问题的需求。然而，公司有强烈的义务保护其内部数据。一个发出许多查询到外部服务的深度研究代理可能会零散地泄露这些数据，即使每个单独的查询看起来无害。

#### 隐私感知 LLM 代理

早期关于 LLM 代理隐私的工作主要集中在个人属性或购物等网络代理任务上。PrivacyLens (shao2024privacylens) 将评估植根于工具中介通信任务（起草电子邮件、社交帖子）的上下文完整性中；AgentDAM (zharmagambetov2025agentdam) 测量单任务网页导航中的数据最小化；SPILLage (roh2026spillage) 针对活跃电子商务网站上的外部观察者，沿着内容与行为轴将过度分享形式化；patil2025sum 提出了心智理论和协作共识防御方法以减少多代理设置中的隐私泄露。qiao2025topr 与我们工作最为相似，它将经典的马赛克效应 (pozen2005mosaic) 形式化，适用于在社交场景中协调多种工具的代理，展示了六个前沿 LLM 中普遍存在的跨源泄露。在 TOP-Bench 中，代理类似地从工具输出中聚合非敏感片段进行敏感推断，但并未采用我们在深度研究设置中使用的交织网页和企业信息的任务结构。与我们工作同时，liu2026auditingagentharnesssafety 引入了 HarnessAudit 来调查 LLM 驱动的代理框架中的安全故障，包括未授权资源访问和跨代理信息泄露。然而，他们没有研究马赛克隐私泄露、对外部服务的泄露或深度研究设置。所有这些工作中的缓解尝试都依赖于推理时的提示，这可能不符合用户实际使用代理的方式，泛化性不佳，并需要特定任务的调整。

#### 生成的多跳数据集。

最近的工作探索了多种多跳数据集合成的途径：WebSailor (li2025websailor) 通过从稀有种子实体开始迭代搜索和访问网页来构建知识图谱，然后通过随机游走采样连接子图，并将其实体链接成带有模糊线索（模糊日期、掩码名称）的多跳问题；WebExplorer (liu2025webexplorer) 跳过显式图，而是让一个 LLM 代理从种子实体出发探索网页生成初始问答对，然后迭代重写以增加难度；ASearcher (gao2025asearcher) 类似地使用 LLM 代理通过事实注入（添加从网页检索到的新约束）和实体模糊化（用模糊描述替换具体术语）来迭代重写种子问题。我们遵循该领域的先前工作，但交织本地和外部来源，每个问题使用前一个答案作为关键实体。更多细节见第 4 节 (https://arxiv.org/html/2605.30727#S4)。

#### 用于深度研究代理的强化学习。

强化学习也已应用于深度研究代理：DR Tulu (shao2025drtulu) 引入了长期研究问题的演化评分标准；Search-R1 (jin2025searchr1) 使用简单的基于结果的奖励端到端训练 LLM，使其在多轮生成中与搜索引擎交互；DeepResearcher (zheng2025deepresearcher) 将 RL 扩展到真实世界的网页查询而非静态语料。与我们设置最接近的是 HierSearch (tan2026hiersearch)，它训练了一个分层 RL 框架，分别有本地和网页代理在规划器下运行，但不包括顺序依赖的本地+网页跳转，也不评估隐私。我们的设置使用一个可验证的基于结果的奖励来评估答案正确性，再加上一个学习到的奖励模型用于隐私，因为基于提示的隐私缓解和测量在我们的设置中表现不佳。

## 3 定义隐私泄露

先前工作中对“隐私”有各种定义，但通常侧重于分享个人身份信息或属性如性别 (shao2024privacylens)。我们转而关注**企业**对隐私的理解，即文档包含不应与外部世界共享的商业信息。为此，我们创建了一个**私有问答集**：一系列问答对，每个都代表公司不希望泄露的一条私有信息。该集合是根据 100 个 DRBench 任务中每个任务的内部公司文档生成的，为每个任务提供一组独特的私有信息。我们使用 StepFun-3.5-Flash 生成此私有问答集。示例见表 2 (https://arxiv.org/html/2605.30727#S4.T2)，提示见附录 D (https://arxiv.org/html/2605.30727#A4)。如图 1 (https://arxiv.org/html/2605.30727#S1.F1) 所示，我们将 adversary 定位为仅有权访问代理累积的网页查询。我们关注三种隐私泄露，按关注程度递增：

- **意图泄露**——adversary 能否预测代理正在研究的问题？这是最弱的泄露形式，但对于商业关键问题，保持私密可能很重要。
- **答案泄露**——adversary 在被提示问题时能否回答关于私有企业文档的问题？这意味着私有信息已被泄露，但稍微高估了泄露，因为问题引导 adversary 做出它可能不会独立识别的相关连接。
- **完整信息泄露**——adversary 能否在没有被提示问题的情况下产生关于私有企业文档的真实事实性声明？这是最强的泄露形式，因为 adversary 必须独立识别暴露了哪些私有信息，并将其表述为具体断言。

每种情况的示例见图 1 (https://arxiv.org/html/2605.30727#S1.F1)。在评估过程中，我们使用 StepFun-3.5-Flash 模型作为 adversary 和评判者来衡量每一类别的隐私泄露。对于意图泄露，adversary 看到网页查询并预测一组研究问题，评判者看到真实的多跳问题和预测的问题列表并给出分数。允许 adversary 预测 2 × 跳数 个问题。对于答案泄露，adversary 看到网页查询和从检索文档中每个私有问答集中的问题，并尝试预测每个问题的答案。评判者看到问题和预测的答案，并判断答案的准确性。对于完整信息泄露，adversary 看到网页查询并预测关于公司和内部文档的陈述性语句。允许 adversary 预测 2 × 跳数 个声明。评判者看到这些语句和私有问答集，并标记是否存在任何基于私有信息可验证正确的语句。使用问答集可避免对通用非私有信息的泄露进行计数。评估提示见附录 D (https://arxiv.org/html/2605.30727#A4)。

## 4 MosaicLeaks

**表 2：** 我们私有 Q