我们是否遗漏了代理运行时的基准，而不仅仅是模型？

Reddit r/LocalLLaMA 新闻
agent-benchmarks ai-evaluation runtime-comparison model-harness tech-discussion

摘要

本文讨论了需要建立一个基准来独立评估AI代理运行时而非仅仅模型，建议衡量任务成功率、成本等指标，并提出通过对照实验来比较不同平台。

我们有SWE-bench、Terminal-Bench、OSWorld、BrowseComp等基准。但我还没看到一个能公平比较OpenAI Agents、Anthropic的代理技术栈、AWS AgentCore、Google的代理平台，以及像LangGraph这样的本地替代方案的好基准。我想衡量的指标包括： - 任务成功率 - 单次成功任务的成本 - 挂钟时间 - 工具调用/重试次数 - 长时间运行任务的可靠性 - （可选）所需的人工干预 真正有趣的实验应该控制双方变量： - 相同模型，不同框架 → 运行时的影响有多大？ - 相同框架，不同模型 → 模型本身的影响有多大？ 感觉我们越来越倾向于评估“模型+框架”系统，但我们的基准仍然主要把模型作为比较单位。这样的东西是否已经存在了？
查看原文

相似文章

新评测标准的时机

Reddit r/singularity

本文讨论了在AI领域引入新评测标准的必要性，以更好地评估模型性能并解决现有标准的局限性。