@Vtrivedy10: 我最喜欢的观点：越早将你的 agent 视为一个可衡量和可改进的系统，你就越能……

我对此最赞同的一点是：越早将你的 agent 视为一个可衡量和可改进的系统，你就能越快将稳健的 agent 投入生产。这不仅仅是一个技术问题，更关乎人与团队。在此方面取得成功团队会提出类似这样的问题： - “我需要 agent 做什么才能让我们的客户满意？” - “agent 在真实环境中会遇到哪些场景，我们该如何在测试中重现这些场景？” 评估（Evals）是决定你的 agent 在生产环境中行为的基础。它们实际上是 agent 的训练数据，因为我们字面意义上是通过爬山算法和人工编辑来调整 agent，使其能够通过这些评估并解决失败模式。 一旦你的 agent 交付到用户手中，评估生成的循环就会产生复利效应。生产数据会暴露更多问题，这些问题会转化为新的评估，而 agent 则会针对这些无法通过非真实用户数据捕获的案例进行适配和优化。 在早期阶段，团队内部使用产品（dogfooding）的行为成为反馈信号。策划评估并在不同的 agent 变体上运行实验，是每个团队都需要培养的能力。我们的目标是打造工具，让每个团队都能基于这一基础，为他们特定的任务创建最优质的 agent。