MosaicLeaks：你的研究智能体能否守住秘密？

来源：https://huggingface.co/blog/ServiceNow/mosaicleaks 返回文章列表（https://huggingface.co/blog）

Alexander Gurung 的头像（https://huggingface.co/agurung）

Rafael Pardinas 的头像（https://huggingface.co/rafapi-snow）

• TL;DR（https://huggingface.co/blog/ServiceNow/mosaicleaks#tldr）
• 深度研究智能体中的隐私泄露（https://huggingface.co/blog/ServiceNow/mosaicleaks#privacy-leakage-in-deep-research-agents）
• 构建 MosaicLeaks（https://huggingface.co/blog/ServiceNow/mosaicleaks#building-mosaicleaks）
  • 示例链（https://huggingface.co/blog/ServiceNow/mosaicleaks#example-chain）
  • 智能体框架（https://huggingface.co/blog/ServiceNow/mosaicleaks#agent-harness）
• 难道不能直接告诉智能体不要泄露吗？（https://huggingface.co/blog/ServiceNow/mosaicleaks#cant-you-just-tell-the-agent-not-to-leak）
• 让智能体变得更好反而导致更多泄露（https://huggingface.co/blog/ServiceNow/mosaicleaks#making-the-agent-better-made-it-leak-more）
• 教智能体安全搜索：PA-DR（https://huggingface.co/blog/ServiceNow/mosaicleaks#teaching-the-agent-to-search-safely-pa-dr）
• 深入探究：情境奖励与样本效率（https://huggingface.co/blog/ServiceNow/mosaicleaks#a-closer-look-situational-rewards-and-sample-efficiency）
• 这项研究说明了什么，未说明什么（https://huggingface.co/blog/ServiceNow/mosaicleaks#what-this-does-and-doesnt-show）
• 引用（https://huggingface.co/blog/ServiceNow/mosaicleaks#citation）

arXiv（https://arxiv.org/abs/2605.30727）

TL;DR

深度研究智能体越来越多地将本地私人文档与外部工具（如网络检索）结合使用，从而带来隐私风险：智能体的外部查询可能泄露敏感信息。MosaicLeaks 提出了一项新的深度研究任务，包含交织公共和私人信息的多跳问题。在我们测试的模型中，智能体经常泄露私人信息，而仅针对任务性能进行训练会使情况更糟。我们提出了一种基于马赛克泄露意识的 RL 训练方法——隐私感知深度研究 (Privacy-Aware Deep Research, PA-DR)，该方法将严格链成功率（即每一跳都正确回答的链比例）从 48.7% 提升至 58.7%，同时将答案/完整信息泄露率从 34.0% 降低至 9.9%。

深度研究智能体中的隐私泄露

一家医疗保健公司的研究智能体正在处理一个常规问题，过程中它发起了一些看似普通的网络搜索。其中一次提到一个云迁移里程碑，一次提到 2024 年 1 月的安全披露，一次缩小了受影响的供应商范围。单次查询本身未必泄露整个秘密。但任何观察智能体外发流量的人都可以将这些碎片重新拼凑起来：MediConn 到 2025 年 1 月已将其 70% 的基础设施迁移到云端——这一事实仅存在于私人文档中。这就是马赛克效应，也是 MosaicLeaks 的核心故障模式。

MosaicLeaks 将这些网络查询视为泄露渠道：攻击者从来看不到私人文档或智能体的推理过程，只能看到累积的查询日志，并试图从中推断私有的企业信息。

我们通过三种方式衡量泄露，具体取决于攻击者能从观察到的查询中推断出什么：

这三种类型代表了日益严重的关注程度。意图泄露揭示了智能体在调查什么。答案泄露意味着查询日志足以回答某人已经掌握的私人问题。完整信息泄露是最强的情况：观察者可以在未被明确告知要寻找什么的情况下，发现并陈述私人事实。

马赛克效应示意图：单独看来良性的网络查询，在查询日志中组合起来，揭示了一个私人事实（https://cdn-uploads.huggingface.co/production/uploads/63229a336b1992383fa8dd4d/2FD-lRsqc57YjwZWCoC9m.png）

马赛克效应如何驱动 MosaicLeaks 的三种泄露度量：意图（预测研究问题）、答案（回答关于私人文档的给定问题）和完整信息（陈述可验证为真的私人声明）。此处智能体就 Lee’s Market 2020 年流量增长进行了两次搜索，泄露了其意图，然后发出第三次查询来回答后续问题。每次查询单独看来都是良性的，但综合起来，观察者就能推断出答案是 15%，从而声称 Lee 的在线流量在 2020 年增长了 15%。

构建 MosaicLeaks

MosaicLeaks 包含 1,001 条多跳研究链，涉及本地企业文档和一个受控的网络语料库。目标是创建那些极有可能从企业文档中引发隐私泄露，但仍然可以在不泄露的情况下解决的任务。

每条链交织了本地和网络子问题。一个子问题的答案成为下一个子问题的桥梁实体，因此智能体必须先检索本地信息，才能形成下一个有用的网络查询。本地文档来自 DRBench 风格的企业任务，网络文档来自 BrowseComp-Plus。最终划分包含 559 条训练链、98 条验证链和 344 条保留企业测试链。

示例链

MediConn 云迁移链

最后的网络跳本身不包含任何私人信息，可以从公共网络文档中回答。然而，由于到达它的路径依赖于私有的本地事实，一个携带了“MediConn”、“70%”和“一月”的查询会为攻击者提供足够的信息来恢复内部信息。

智能体框架

我们使用了一个简化版的 DRBench 智能体框架。模型用简短答案和理由回答每个子问题，使得我们能够通过标准化字符串匹配单独评估每一跳。

在每次迭代中，模型可以使用四个工具。规划（Plan） 生成本地和网络搜索查询，这些查询被执行并返回为文档卡片。选择（Choose） 选择要阅读的检索文档。阅读（Read） 尝试从每个选中的文档中并行回答当前一跳。解析（Resolve） 决定是回答、阅读更多文档还是规划另一次搜索。

一次智能体 rollout 的时间线，显示每一跳的规划、检索、选择、阅读和解析阶段（https://cdn-uploads.huggingface.co/production/uploads/63229a336b1992383fa8dd4d/zfVeK2pYFKJICW-a3mXoj.png）

一次智能体 rollout。每一行是一条跳，标记为本地（L）或网络（W）及其被接受的答案。彩色块显示了规划、检索、选择、阅读和解析该跳所花费的挂钟时间。

难道不能直接告诉智能体不要泄露吗？

显而易见的修复方法是直接要求。在规划提示中添加一行，告诉智能体不要发出可能泄露本地信息的网络查询，然后观察性能、泄露和查询行为的变化。

提示对某些模型略有帮助，但其效果不一致，且显著的泄露依然存在。它还经常对任务性能产生负面影响。对于 Qwen3-4B，提示将答案/完整信息泄露率从 34.0% 降至 25.5%，但严格链成功率从 48.7% 降至 44.5%。主要的行为变化似乎是更少的网络查询，而不是更安全的查询构建。

图表：比较使用和不使用隐私感知提示时，各模型的严格链成功率和泄露情况（https://cdn-uploads.huggingface.co/production/uploads/63229a336b1992383fa8dd4d/1glAsAX6HeXLcXGM6_llb.png）

有无“禁止泄露本地信息的网络查询”提示时的严格链成功率和隐私泄露。提示对某些模型略有降低泄露的效果，但仍有大量泄露存在。

让智能体变得更好反而导致更多泄露

在针对隐私进行训练之前，我们尝试了显而易见的方法：仅训练智能体更正确地解决更多链。这起作用了。严格链成功率从 48.7% 上升到 59.3%。但答案/完整信息泄露率也随之一同上升，从 34.0% 上升到 51.7%。模型学会了在其网络查询中打包更多上下文，这有助于检索到正确的文档，但损害了隐私，因为每次更丰富的查询都给了观察者另一个碎片。

这就是 MosaicLeaks 揭示的核心张力。一个信息更丰富的查询通常对任务更有利，但对隐私更不利。PA-DR 就是为了同时针对这两个方面进行训练而构建的。

教智能体安全搜索：PA-DR

PA-DR 结合了两种奖励。

第一种是情境性任务奖励。一次研究轨迹可能包含数十次模型调用，如果给它们全部赋予相同的最终轨迹分数，信用分配会非常弱：一次成功的运行可能会强化一次泄露性搜索，而一次失败的运行可能会惩罚一个本地合理的决策。相反，我们根据每个调用在相同阶段和跳、且可用信息相同的情况下，与其他调用进行比较来评判它。如果规划调用搜索了正确的来源并检索了正确的文档，则会获得奖励；如果该文档已在手边，则因不再搜索而获得奖励。如果选择调用选择了包含答案的文档，则会获得奖励。我们训练这些阶段，因为其期望行为可以直接检查。

第二种是学习到的隐私奖励。每当智能体产生网络查询时，一个 Qwen3-4B 分类器会评估两种风险：当前查询是否直接泄露了私人信息，以及将它们添加到现有查询日志中是否会产生新的马赛克泄露。PA-DR 惩罚两者中较大的一个，因此隐私成本落在了使查询日志更具揭示性的确切规划决策上。

图表：基础模型、仅任务训练和 PA-DR 训练下的任务性能与泄露权衡（https://cdn-uploads.huggingface.co/production/uploads/63229a336b1992383fa8dd4d/SVD_kNyF9P2ifMlT7Hq8K.png）

仅任务 RL 提高了研究性能，但增加了泄露。PA-DR 在显著降低泄露的同时，几乎保留了全部性能提升。

9.9% 这个数字甚至低于未训练的基础模型自身的 34.0%。针对隐私的训练不仅仅抵消了针对性能训练所引入的泄露。它使智能体泄露的信息比开始时更少。

而且，它并非仅仅通过减少搜索量来实现安全。PA-DR 实际上发出的网络查询比基础模型更多，但这些查询去掉了那些具有揭示性的细节：具体的指标如“15%”或“2024”，以及关于它在寻找何种答案的线索。智能体仍然能找到正确的公共文档。它只是不再将私人碎片携带到查询文本中。

深入探究：情境奖励与样本效率

情境奖励在训练过程中本身也能产生双重收益。因为它们比较的是匹配的调用，而不是对整个 rollout 评分一次，所以它们以远为精确的方式分配信用，无需独立的价值模型，也无需在 rollout 之间对齐步骤索引。此外，它们的样本效率高得多：情境任务奖励达到与仅结果 RL 相同的任务性能，所需的生成训练样本大约少 5-6 倍，而 PA-DR 在添加隐私增益的同时保持了这种效率。

图表对比智能体调用中仅结果奖励与情境奖励的信用分配（https://cdn-uploads.huggingface.co/production/uploads/63229a336b1992383fa8dd4d/3cRVUE7Ev-3-JfSXUIt7v.png）

训练效率。最后一列是每种方法达到约 55% 严格链成功率所需的生成样本数。数值越小越好。

图表：情境奖励达到与结果奖励相同的任务成功率，所需训练样本大约少 5-6 倍（https://cdn-uploads.huggingface.co/production/uploads/63229a336b1992383fa8dd4d/tfczFtyElmBT_Nho-SlZ2.png）

情境奖励达到结果奖励级别的任务成功率，所用生成样本大约少 5-6 倍。PA-DR 在大幅减少泄露的同时，保持了样本效率的优势。

这项研究说明了什么，未说明什么

MosaicLeaks 是一个受控基准，而非对已部署系统中泄露的度量。企业文档是合成的，网络语料库是固定的，链跨越三个企业上下文，每个结果都来自一个执行多跳问答而非开放式研究的单一智能体框架。这种控制正是使泄露可以逐跳度量的原因，但更广泛的任务、实际部署以及其他智能体设计仍需单独研究。

结论很简单。你不能通过提示来植入隐私。你必须通过训练来植入。告诉智能体要小心几乎起不到作用，而奖励它如何构建每次查询，则能将泄露减少 3 倍以上，并基本上保持任务成功率不变。马赛克效应源于智能体随时间推移的搜索方式，事实证明，这是可以度量、分配信用并进行训练降低的。

引用

@misc{gurung2026mosaicleaks,
  title  = {MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents},
  author = {Alexander Gurung and Spandana Gella and Alexandre Drouin and Issam H. Laradji and Perouz Taslakian and Rafael Pardinas},
  year   = {2026},
  eprint = {2605.30727},
  archivePrefix = {arXiv},
  url    = {https://arxiv.org/abs/2605.30727}
}