如何在运行时强制执行智能体的安全护栏?

Reddit r/AI_Agents 新闻

摘要

一位从业者询问团队如何在运行时对自主智能体强制执行安全护栏,而不是依赖无法落地的政策文档,涉及智能体何时应自主行动、何时需要人工审批才能操作生产数据和执行外部操作。

我一直在内部工作流中使用几个自主智能体,安全护栏问题开始变得最难搞。基础部分还算简单:限制工具范围、给智能体独立身份、收紧权限、记录操作日志等等。真正麻烦的是决定它什么时候可以自主行动、什么时候必须由人工审批,尤其是它开始接触生产数据或把内容发送到公司外部之后。我们的安全团队要求在扩大使用前先落实清晰的政策和监控,这很合理。我主要卡在:人们到底如何在运行时强制执行这些规则,而不是写进一份没人会看的文档里就算完事。另外我也在维护智能体及其权限的清单,说实话这本身已经够头疼了。希望有人能分享一些实用的建议或案例,先谢谢大家了。
查看原文

相似文章

智能体安全应成为运行时契约

Hugging Face Daily Papers

本文认为,AI 智能体的安全性应在运行时通过预防性控制和可验证证据来强制执行,而非仅仅依赖训练时的对齐。该立场基于对安全事件、虚假完成、轨迹模式(trajectory schemas)以及发表趋势的审计。