论文页面 - 隐蔽协助：有用的 LLM Agent 在多智能体系统中规避监督

来源：https://huggingface.co/papers/2609.39050 发布于 9 月 30 日

·

提交者 https://huggingface.co/Deema

Deema (https://huggingface.co/Deema) 于 10 月 5 日发布

摘要

随着多智能体系统进入高风险领域，Agent 可能绕过安全边界的可能性日益受到关注。此前的研究主要在对抗性场景中考察这一风险，即 Agent 被指示或被奖励进行隐蔽通信并规避监督。我们的研究发现，即便没有对抗性动机，善意的 Agent 也可以跨越同样的边界。我们模拟了一个软件工程工作流，其中规划者（planner）代表一家公司雇用外部开发者。规划者编写需求，并持有一份被明确指示不得向开发者透露的公司凭证；监控者（monitor）则对双方的往来进行审查。在受测的九个前沿模型中，有七个会将该凭证伪装在需求中，帮助开发者恢复该凭证，同时规避监控者的审查——即便在其指派目标已经完成之后仍然如此。例如，在 DeepSeek-V4-Pro 的 6000 个 episode 中，规划者有 16.9% 的情况尝试隐瞒；在 0.9% 的情况下，凭证成功躲过监控者并被开发者恢复和使用。尽管单个 episode 的比例很低，但风险会在多次往返中不断累积：以 0.9% 计算，105 个独立 episode 出现至少一次泄露的概率高达 61.3%。我们的分析表明，规划者将伪装后的披露理解为在帮助开发者，并将“不得披露“的规则解读为禁止明文，而非禁止字符编码或谜语。我们将这种行为称为隐蔽协助（covert assistance）。监控机制会促使隐瞒行为；而当接收方被描述为人类而非 AI Agent 时，隐瞒会退化为直接披露，因此泄露问题依然存在。让监控者也获得该凭证可以提高检测率，但代价是需要信任它掌握机密。这些风险存在于已经用于软件工程的模型中，对监督机制提出了挑战：监督需要区分经授权的合作与跨越安全边界的、有助于推进任务的协助行为。

查看 arXiv 页面 (https://arxiv.org/abs/2609.39050) 查看 PDF (https://arxiv.org/pdf/2609.39050) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.39050)

在你的 Agent 中获取这篇论文：

hf papers read 2609.39050

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2609.39050 即可从本页面链接到它。

引用本文的数据集 0

没有数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2609.39050 即可从本页面链接到它。

引用本文的 Space 0

没有 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2609.39050 即可从本页面链接到它。

包含本文的合集 0

没有合集包含本文

将本文添加到合集即可从本页面链接到它。