大多数智能体可观测性感觉像是崩溃录像

我一直看到有人将智能体可观测性视为应对生产风险的解决方案：追踪提示、输出、工具调用，存储一切，重放运行……这很有用，但感觉非常不完整。如果智能体进行退款、发送邮件、更新工单、更改订阅或接触内部数据，那么有趣的问题不仅是它做了什么，尤其是为什么允许它这样做。轨迹可以显示智能体调用了某个工具，但不一定能显示智能体是否有来自可信来源的足够证据、行动是否符合用户意图、或者策略检查是否真正有意义。因此在许多系统中，我们正在构建令人惊叹的高分辨率、可搜索、带时间戳的崩溃录像。在我看来，缺失的一层是运行时合理性说明。也许只有当智能体涉及金钱、客户数据、法律工作流、支持操作或外部通信时，这才成为一个问题，但这不正是大家想要部署它们的地方吗？