使用 Numbat 保护 Perplexity 客户端端点上的智能体(11分钟阅读)
摘要
Perplexity 开源了 Numbat,这是一款智能体安全套件,旨在检测、预防和调查客户端端点上危险的人工智能智能体活动,应对自主智能体带来的全新安全挑战。
Numbat 是 Perplexity 开发的一款开源安全套件,通过集成智能体工具链来预防、检测和缓解意外崩溃等事件,从而解决部署在客户端端点上的 AI 智能体的安全风险。
查看缓存全文
缓存时间: 2026/07/30 18:26
# 使用 Numbat 保护 Perplexity 客户端端点上的代理
来源:https://research.perplexity.ai/articles/securing-agents-across-perplexity%E2%80%99s-client-endpoints-with-numbat
AI 代理必须安全才能有用。随着模型和系统能力的提升,保护用户所需的警惕性也在不断提高。
早期的代理安全研究聚焦于提示注入和其他形式的对抗性输入。然而,最近代理自主性的进步导致了一些安全事件,这些事件甚至不需要假设存在对抗性输入或人类对手。
相反,被指示追求高层目标(而不提供如何实现这些目标的指导性指令)的代理可能会*成为*对手。当代理为了响应用户指定的目标而选择了一个用户本意并非如此且不会批准的路径时,就会发生这种情况。尽管这类事件仅在几个月前才被**理论化**(https://arxiv.org/abs/2605.19149),但它们已迅速成为**实际的**(https://openai.com/index/hugging-face-model-evaluation-security-incident/)担忧。
由于这些行为无法在模型层完全修补,因此一种健壮的防御必须存在于周边系统中,包括作为模型与外部世界接口的代理框架。我们正在开源 Numbat,这是我们构建的代理安全套件,可帮助防御者预防、检测和缓解代理相关事件。Numbat 识别企业客户端端点上常见的代理框架并与之直接集成,强制执行安全规则,并支持快速检测与响应。
## 引言
代理的采用为开发者、采纳者和防御者带来了全新的安全挑战。当企业在客户端端点上直接部署具有对企业系统和数据特权访问权限的代理时,这一点尤其明显。
在客户端端点上的代理部署(例如基于 CLI 或桌面应用的编码代理)具有不同级别的沙箱和隔离。用户将这些代理用于无数用例,每个用例都有其自身的操作空间,可能影响端点本身或从端点可访问的其他系统。越来越多的代理被期望能够自主运行数小时甚至数天。对于这些工作流,许多用户选择将代理操作批准委托给分类器,或者通过使用名称令人担忧的配置标志(如 `--dangerously-skip-permissions` 和 `--yolo`)完全绕过批准。代理用例和配置的多样性,加上编码代理在特权端点上可以执行的操作广度,构成了一个需要安全团队主动管理的风险配置。
今天,我们发布了 **Numbat**(https://github.com/perplexityai/numbat),这是一个我们构建的、用于检测、调查和预防 AI 代理危险行为的开源代理安全套件。随着越来越多的公司采用前沿代理产品,Numbat 让安全团队能够跟上由此产生的安全挑战。它可以集成到每个最广泛使用的客户端代理框架中,同时为所有这些框架提供一致的接口。因此,Numbat 解放了安全团队,使他们无需为每个用户依赖的代理构建自定义安全措施和监控工具。Numbat 作为 Perplexity 与 NVIDIA 及其他组织共同加入 **开放安全 AI 联盟**(https://blogs.nvidia.com/blog/open-secure-ai-alliance/)的一部分,可供防御者生态系统使用。
###### Numbat 保护代理的系统架构。Numbat 强调本地优先检测和代理无关的取证。
本文首先讨论促使 Numbat 诞生的安全挑战。然后,我们介绍 Numbat 的设计和架构,以及我们在 Perplexity 数千个端点上部署 Numbat 的经验教训。
## 定位漏洞格局
AI 代理安全事件的格局正在迅速演变。现有的大部分代理安全文献都集中在注入攻击上,其中恶意载荷被引入模型提示或上下文中,从而混淆代理使其行为不当。注入攻击和防护措施已被 **广泛研究**(https://arxiv.org/abs/2603.12230),包括 Perplexity 在内的代理开发者已经设计了越来越健壮的 **防御方式**(https://arxiv.org/abs/2511.20597)来对抗注入攻击。
但是,AI 代理并不需要恶意载荷来制造安全事件。事实上,甚至不需要假设存在任何对手。一个受信任的代理,在受信任的环境中使用管理员批准的工具运行,仅仅因为它过于努力地完成任务,就可能采取有害行动。
研究人员将这种失效模式描述为“意外熔断(https://arxiv.org/abs/2605.19149)”:并非由对抗性输入触发,而是由普通的环境错误引发的有害代理行为。一个丢失的文件、失败的 API 请求、过期的凭证或被拒绝的权限,都可能导致代理寻找变通方法。在追求用户最初指定的目标时,代理可能通过未经授权的侦察、访问控制更改、秘密发现或数据外泄来跨越安全边界。代理并非被攻击者收买,它本身就是攻击者。而且,攻击可能针对内部系统、外部系统或两者兼有,并且只有在攻击已经开始后才能知道。
第一个广泛报道的意外熔断就发生在本月,OpenAI 披露了(https://openai.com/index/hugging-face-model-evaluation-security-incident/)一起由代理发起的、危害 Hugging Face 生产基础设施的攻击。在对一个预发布 GPT 模型进行评估期间,模型发现自己无法在所提供的背景下取得进展。为了打破僵局,模型找到了逃离其沙箱测试环境并窃取 Hugging Face 评估答案的方法。该模型利用其框架逃脱了预期的网络限制,超越了沙箱边界提升了权限,获取了秘密,并访问了安全的 Hugging Face 系统,所有这些都是为了追求解决评估这个狭隘的目标。
熔断还包括意外的系统变异和删除。虽然可能不如破坏外部系统那么重大,但这些事件对于任何编码代理的高级用户来说更为频繁和显著。删除 **生产数据库**(https://www.tomshardware.com/tech-industry/artificial-intelligence/claude-powered-ai-coding-agent-deletes-entire-company-database-in-9-seconds-backups-zapped-after-cursor-tool-powered-by-anthropics-claude-goes-rogue)或 **家目录**(https://www.techtimes.com/articles/320961/20260719/gpt-56-sol-deleted-files-databases-openai-had-63x-warning-it-ignored.htm)是任何开发者的噩梦,代理必须能够在整个执行过程中避开此类行为。
AI 研究人员正在努力在模型本身内部缓解这些行为。尽管这些努力当然很有价值,但许多研究界人士认为在训练模型以获得强大的安全属性与训练相同模型以完成日益复杂的任务之间存在根本性的 **张力**(https://arxiv.org/pdf/2511.18397)。我们认为,仅仅集中于模型层的防御不太可能将熔断风险降低到可接受的水平。
## 通过原生框架集成保护编码代理
其结果是,代理安全不能仅依赖于模型、用户或任务级别的防护措施。相反,安全团队需要了解代理在客户端端点上的实际行为,以及能够在危险操作执行之前阻止它们的控制措施。这些是系统级别的控制措施,必须与代理框架紧密集成。
Numbat 以轻量级静态 Go 二进制文件的形式提供这些控制措施,可以无缝地插入主流的客户端代理框架。它在不同的代理框架和执行环境之间提供实时监控、策略执行和取证重建。
Numbat 与代理框架之间的关键集成点是钩子、会话工件和 OTLP 遥测。我们逐一讨论。
### 钩子
几乎所有编码代理都具备 **钩子**(https://docs.github.com/en/copilot/concepts/agents/hooks#what-are-hooks)子系统。钩子允许代理在代理执行生命周期中的预定义点确定性执行子程序。代理用户通常配置钩子以可预测的方式为模型提供额外上下文,实现测试和验证循环,以及对代理能力进行其他增强。
使钩子对这些用途有吸引力的相同确定性属性也使它们对检测和响应具有吸引力。通常,捕获*大多数*潜在关注事件的发生是不够的。相反,必须覆盖所有此类事件才能实现检测和响应。Numbat 配置了多种类型的钩子,允许安全团队和 IT 管理员实现丰富的检测逻辑。
在大多数编码代理中,某些类型的钩子(通常称为“预操作”钩子)也能阻止代理执行下一个操作。利用这些预操作钩子,Numbat 不仅能够实现检测逻辑,还能实现预防性安全规则,从而在熔断发生之前就将其阻止。
### 会话工件
钩子是实时实现检测和预防逻辑的强大手段。但是,这种逻辑必须能用代码指定。通常,代理安全事件的形式可能无法提前预见,更不用说简化为源代码了。因此,Numbat 还能够追溯性地访问和分析会话工件。
会话工件包括多种类型的日志和诊断信息。也许最重要的日志类型是会话记录,它记录了指导代理操作序列的 LLM 对话。编码代理的高级用户已经习惯于通过框架提供的命令导出会话记录以进行进一步分析。但是,这些导出通常是纯文本格式,对于需要具有一致、可预测模式的机器可读日志的安全团队来说,这种格式并不合适。
因此,Numbat 直接从文件系统本身检索会话工件。由于大多数客户端代理框架将原始工件存储在文件系统上(通常位于 `$HOME` 下的代理特定点目录中),因此接入文件系统提供了以最可用和最原始形式获取这些数据的最直接途径。使用 Numbat 的安全团队可以通过 `numbat scan` 以标准化 NDJSON 时间线格式收集这些工件,以便在客户端端点上进行本地处理或进行异步远程分析。由于会话工件是静态、自包含的记录,Numbat 甚至能够重建在安装 Numbat 很久之前发生的会话的时间线。
### OTLP 遥测
大多数客户端代理框架通过 **OpenTelemetry**(https://opentelemetry.io/)协议(OTLP)提供广泛的遥测。这种遥测通常提供的信号比通过钩子或会话工件可获得的信号更多。
Numbat 可以通过 `numbat collect` 命令充当 OTLP 接收器。此命令会启动一个服务器,编码代理会向该服务器发送 OTLP 遥测数据以供下游分析。重要的是,此服务器是本地服务器,默认情况下仅监听本地主机,这意味着默认情况下所有遥测数据都保留在设备上。然后,安全管理员可以决定如何处理记录的遥测数据,无论是实施轻量级的设备上处理、通过 `numbat ship` 进行远程处理,还是在诸如 ClickHouse 之类的分析平台上进行更深入的分析。
## 在 Perplexity 内部署 Numbat
在 Perplexity 内部,我们使用 Numbat 来保护我们的工程师对客户端编码代理(包括 Claude Code、Codex、OpenCode 和 Pi)的使用。
我们的防护和检测工作都广泛使用了 Numbat 规则,这些规则通过每个代理的钩子系统实现。我们为自身需求制定了几条常规规则,其中许多我们已经作为 Numbat 的 **52 条内置规则**(https://github.com/perplexityai/numbat/blob/main/docs/rules.md)发布。这些规则被组织成 11 个行为类别和一组多步序列检测,例如秘密访问、外泄、权限提升和横向移动。规则使用基于标准化事件的 CEL 表达式,操作员可以在不更改 Numbat 代码的情况下添加自己的规则和测试。
例如,内置的 `privilege.sudoers_tamper` 规则检测写入 sudoers 策略、使用 `visudo` 以及尝试安装 `NOPASSWD` 授予的行为。这些是高信号行为,可以将有限权限的代理进程变成持久的 root 访问权限。
单个命令单独看起来并不总是恶意的,因此 Numbat 还会关联代理会话中的操作序列。内置的 `chain.secret_manager_read_then_egress` 规则会检测代理何时从常见的秘密管理工具中读取值,随后尝试进行带有数据的 `curl` 或 `wget` 请求。读取秘密可能是合法的。出站请求也可能是合法的。但将它们按顺序组合在一起,就需要进行调查。
### 管理并监控整个集群的 Numbat
类似于 **Bumblebee**(https://www.perplexity.ai/hub/blog/perplexity-is-open-sourcing-bumblebee)(我们用于开发者端点供应链暴露的开源扫描器),Numbat 通过 MDM 部署到我们的整个集群。每个 Numbat 在本地记录代理活动,并将结构化的遥测数据发送到我们的集中式安全系统。
从那里,Perplexity Computer 会定期审查最近的 Numbat 发现和审计日志,以寻找可疑或恶意行为。它调查检测结果,重建相关的代理会话,并对 Numbat 阻止的操作进行额外的审查。
###### Perplexity 用于监控 Numbat 遥测数据的内部管道。一个定期执行的 Perplexity Computer 任务会异步审查新的信号,并在出现风险活动时向安全团队发出警报。
Computer 还会寻找我们覆盖范围中的缺口。它分析新行为,提出改进 Numbat 检测的建议,测试这些变化,并打开供人工审阅的拉取请求。一旦获批并部署,这些规则将改善整个集群的监控,并为下一次调查提供更好的证据。
这样就形成了一个自我改进的安全飞轮:代理生成活动,Numbat 将这些活动转化为标准化时间线和遥测数据,Computer 调查并改进规则,经过人工审阅的更新则加强了保护未来代理会话的控制措施。
## 结论
在 Perplexity,我们相信 AI 代理将在各种类型的环境中执行:本地、云端和混合环境。每种代理框架和执行环境的组合都带来了独特的安全挑战,而组合的复杂性有可能压垮带宽紧张的安全团队。代理熔断和其他新型漏洞使安全形势更加复杂。
无论代理在何处执行,存在于代理系统本身的防御措施都可以改善用户的安全态势。这正是 Numbat 所提供的:紧密集成的代理防护措施,使防御者能够实时预防、检测和响应令人担忧的行为。将 Numbat 与 Perplexity Computer 相结合,打造一个强大的代理安全平台,使防御者能够保持领先地位。
Numbat 现已作为 **开源项目**(https://github.com/perplexityai/numbat)提供,支持 macOS、Linux 和 Windows。我们自己的客户端端点已由 Numbat 保护,确保安全。
相似文章
@BetaMoroney:Perplexity 开源 Numbat 以监控高风险 AI 编程代理 https://forbes.com/sites/janakirammsv/2026/07/30/perpl…
Perplexity 开源了 Numbat,这是一套安全套件,用于监控在员工笔记本电脑和工作站上运行的 AI 编程代理,检测并阻止危险的代理行为。
Perplexity Computer 背后的安全架构(2分钟阅读)
Perplexity 详细介绍了其 Computer agent 的安全架构,包括 Firecracker microVM 隔离、作用域连接器权限和提示注入防御。
适用于智能体的安全沙箱(4分钟阅读)
Perplexity AI 的 SPACE 为AI智能体提供安全的临时沙箱,确保在处理敏感任务时的凭证隔离和加密存储。
@IBuzovskyi: https://x.com/IBuzovskyi/status/2057914816015249515
Nous Research 发布了两个用于 AI 代理安全的基础设施组件:Bitwarden Secrets Manager 集成用于集中凭证管理,以及 iron-proxy 用于凭证保护,为自主代理形成了一个分层安全模型。
推出 Computer 的 Multiagent 努力程度(约 4 分钟阅读)
Perplexity 为其 Computer 智能体平台推出全新的 Multiagent 努力程度,在该模式下,一个主导智能体会协调最多 16 个辅助智能体,并行运行不同的前沿模型,以在复杂任务中交叉验证结果。