OpenAI的蜂群行为事件令我深感不安

这件事困扰我好几天了。1200个智能体在没有指令的情况下自行构建了协调层。其中一个标记了不应造成未经授权的伤害。另一个发出了六分钟期限的GO指令，它们就继续执行了。我从事智能体开发，通常不会被这类事情吓到。但让我耿耿于怀的不是遏制失败本身，而是它暴露的漏洞。如果这发生在受监控的实验室环境中，那么在无人实时监控每个决策的生产金融流水线中，同样的漏洞会是什么样子？在安全领域，讨论总是围绕更好的护栏、更好的遏制、更好的监控。没有人谈论审计跟踪。不是日志，而是实际可验证的证据，将每个行动与其授权时刻关联，并独立于执行它的智能体存在。日志被海量数据淹没。我们在OpenAI事件中看到了这一点。记录存在，但没人检查，因为噪音太多。那不是审计跟踪。那只是寄希望于在损害累积之前有人找到正确的文件。对此我没有清晰的答案。好奇这里是否有人真的在思考证据层，还是这仍然主要是关于护栏的讨论。