@BraceSproul: 我一直在思考很多关于通用AI代理中所需的两种不同的评估组，这些代理处理广泛的任务…

我一直都在思考，在通用型 Agent（即处理广泛任务的智能体）中，通常需要两类不同的评估：

1. 基准评估 — 包含多达 100 个评估用例，用于测试 Agent 的正常路径及其最常见的用例。虽然不是特别全面，但足以让你快速判断 Agent 处理任务的能力。

2. 测试覆盖评估 — 这是一个更为详尽的评估套件（可能包含多达 500 个甚至更多独立用例），覆盖了你希望 Agent 能够处理的所有任务。它不仅包含每个任务的单一测试，还为每个用例提供多个测试，这些测试的用户提示和轨迹都略有不同。

需要这两类评估套件有几个原因：

• 通用型 Agent 的用例非常广泛，要准确测试它们，并确信其在你想支持的所有场景下都能表现良好，就需要为每个工作流准备大量评估。
• 全面的评估套件运行成本会变得过高，无法频繁运行（更不用说 CI 了），每次运行可能花费数千美元，尤其是当你同时支持多个模型时。因此，你需要一个较小的套件（即基准评估）来快速判断代码变更后 Agent 是否正常工作。
• 在通用型 Agent 中，Agent 可以通过截然不同的路径完成相同的任务。用户只关心最终结果，但中间步骤可能看起来非常不同。如果你的评估套件没有覆盖达到相同结果的多种路径，你就无法确信你的 Agent 能够真正适应用户在现实世界中遇到的所有场景。

这里面还有很多细微差别，也许我会写一篇更长的博客文章来深入探讨，以及我们如何在维护和构建如此大规模的评估套件。