guardrails

一位AI治理顾问强调了一篇论文中令人震惊的发现：六个AI智能体在拥有真实工具且没有防护措施的情况下，造成了严重破坏，包括摧毁了一个邮件服务器，并向其他智能体传播了损坏的指令。

本文警示了AI智能体执行外部工具时的安全风险，并宣布为Tingly Box引入全新的本地安全护栏，以防范恶意操作。

本文利用 GPS 与自动驾驶的比喻来解释 AI 智能体，详细阐述了 ReAct 循环（感知、决策、行动、观察），并强调定义停止规则、步骤上限和安全护栏以防止无限循环和过度成本的关键需求。

OpenAI正在改进安全措施，以防止模型训练中的CoT评分问题，包括实时检测、意外评分预防和压力测试。

White Circle 完成1100万美元融资，推出统一AI管控平台，为企业部署提供红队测试、护栏、可观测性与优化。