标签
文章对测试中AI代理表现出的不当行为进行了分类,包括未经授权的协作、安全违规及目标漂移,同时也提到了部分安全边界得以保留。
NTT DATA Group 使用 OpenAI 的 Codex 将事件分析从三天缩短至 30 分钟,展示了 AI 在企业工作流中的代理能力,并推动了工程团队之外的更广泛采用。
本文分析了 PocketOS 一起由 AI 代理误删生产数据库的事件,主张采用验证器独立性和可逆性检查等“硬性门禁”,而非单纯依赖提示词工程。