这是我们的 Agent Run Dashboard

我们在项目中大量使用智能体，并构建了我们所认为的软件工厂：标准化工作流，让智能体承担可重复的开发任务，同时我们的团队保持对方向、审查和质量的把控。截图（在第一条评论中）展示了该设置的一部分：我们的 Agent Run Dashboard。实际的运行摘要因包含客户工作而被隐藏，但仪表盘让我们可以跨项目和技术进行高层级查看： • 每天智能体运行次数 • 人工质量评分 • 基于 LLM 的质量评分 • 最常用的智能体工作流 • 工作流性能随时间变化的趋势 这为我们提供了我认为正变得越来越重要的东西：对人与智能体实际协作方式的可见性。我们可以看到哪些工作流创造了价值，哪些环节质量出色，哪些地方需要改进，以及智能体使用情况如何在我们的组织中演变。有趣的是，这个概念并不局限于软件开发。同样的方法可以应用于许多业务流程：标准化智能体工作流、可衡量的结果、人工反馈，以及一个展示整个组织动态的仪表盘。在我们看来，这就是成为一个智能体驱动型组织的样子。以结构化和可衡量的方式设计可重复的工作流，让人类和智能体协同工作。你们怎么看？