@ds3638: 评估已死。更准确地说：传统的评估驱动开发无法扩展。静态评估在…时是有用的

评估已死。更准确地说：传统的评估驱动开发无法扩展。静态评估在代理生命周期短、范围受限时曾有用，但一旦代理运行数小时、执行数千次动作并自主操作时，仅靠评估就不够了。此时，通过/失败过于粗糙。模拟无法覆盖生产环境中发生的许多情况，模型能力的迭代速度也超过了评估基础设施的跟进速度。我们转而采用：可观测性驱动开发。 - 部署时带严格的防护栏 - 收集生产轨迹 - 对行为进行聚类以发现模式+故障模式 - 将工作器专门化用于更窄的任务 - 调整阈值直到行为可靠地处于边界内 你能看到你的代理正在做什么吗？你能在漂移造成损害之前检测到它吗？这是我们构建AI系统的一个重要转变。评估仍然重要，但可观测性正在成为生产就绪代理的基础。感谢 Sunny Bakhda (@honeyhiveai 创始工程师) 在 @aicouncilconf 上的精彩演讲。