标签
卡内基梅隆大学的一篇论文发现，大多数 AI 智能体的策略违规行为无法通过日志加以证实，并提出了一种可验证的智能体保险方案，利用区块链验证器和结构化审批记录，可证实 83% 的违规行为。
作者提出 AI 代理操作溯源存在缺口：网关工具只能记录流经自身的请求，直接调用 Stripe SDK、Zapier 等下游系统的行为无法追溯，导致无法证明代理在授权范围内行事，这在 Air Canada 判例及保险条款收紧后愈发重要。作者正在构建一个直接从下游系统拉取审计日志进行核对的工具，并向社区提问求证。
本文讨论了AI代理与聊天机器人相比需要不同的安全模型，强调了诸如范围权限、审计日志和提示注入意识等实际控制措施。
作者提出了一种安全方法，通过一个持有密钥并签名命令的中介客户端，为编程代理提供SSH访问真实服务器的权限，并支持按主机策略、实时监控和审计日志，同时讨论局限性并寻求反馈。
LangChain将于8月12日分享一个实用框架，用于评估代理治理需求，包括身份认证、审计日志、用户管理、提供商密钥、数据隔离、数据驻留、速率限制、降级策略以及集中式支出控制，以帮助基础设施团队在代理从实验阶段进入生产阶段时应对挑战。
本文认为，提供商业推荐的人工智能代理必须维护完整的审计日志，以确保用户、商家、开发者和平台之间的信任与责任，并与传统广告系统相类比。
OpenAI 为 ChatGPT Enterprise 推出了新的合规性和管理工具，包括具有审计日志的合规性 API、八项用于电子数据取证和数据丢失防护的第三方集成，以及用于身份管理的 SCIM 支持，帮助受监管的企业管理安全性、合规性和用户访问权限。