基准分数及Parsewave在分数之外关注的要素

每当一个AI模型获得高基准分数时，网上就会发布一张图表，大家都认为它是个天才，但这个分数实际上并没有告诉我们真正发生了什么。一个智能体可能生成正确的最终文件，但其路径可能完全混乱，伴随着重复的重试或不必要的工具调用。它甚至可能破坏了其他东西，但测试仍然通过，因为测试只检查最终输出。尽管结果满足了基准的最终状态检查，但这些隐性成本可能使系统变慢、消耗更多资源，并在实际使用中带来更多风险。这时，像Parsewave这样的AI数据集公司就派上用场了。他们的工作是确保评估过程超越通过或失败的二元判断，即检查执行跟踪、错误、重试、捷径以及智能体是否真正正确地执行了任务。基准分数仍然有用。它们提供了一种快速比较模型的方式，但更像是标题而非完整故事。对于从事模型评估的人来说，除了最终基准分数，你们还关注什么？失败模式、工具使用、重试，还是其他？