标签
重点介绍了使用稳健环境评估AI智能体的五个关键空间（输出、行动、推理、潜在、记忆），并推荐使用@benchflow_ai进行实施。
关于评估基于 LLM 的 Agent 系统的全面指南，涵盖基本概念、评估框架以及来自近期基准测试的案例研究。
一份关于评估AI智能体的详细指南，涵盖基础知识、常见评估模式以及Tau-Bench和Terminal-Bench等主流基准的案例研究。
SaaS-Bench是一个新的基准测试，基于23个可部署的SaaS系统，覆盖六个专业领域，包含106个长周期任务，用于评估计算机使用代理。实验表明，即使是最强的模型，端到端完成任务的比例也不足4%，凸显了当前代理能力的显著限制。
用户推荐一篇深入讲解agent循环、记忆机制、harness工程和agent测评的文章，强调其含金量，适合深入研究agent的读者。
一位开发者分享了一个个人开源基准测试运行器，用于在真实、混乱的工作流程中测试 OpenClaw 代理。该工具允许用户定义私有评估案例，在实际工作空间中运行代理，并生成报告，旨在提供比公共基准测试更相关的信号。
FutureSim按时间顺序回放世界事件，以基准测试AI智能体的长期预测能力，结果发现即使是最优秀的智能体，准确率也仅为25%。
本文介绍了 EvalAgent，这是一个通过编码领域专业知识来自动化 AI 智能体评估的系统，旨在解决标准编程助手在此任务中的局限性。此外，本文还提出了用于测试评估流程的基准 AgentEvalBench，并展示了在评估可靠性方面的显著提升。
作者质疑为何工程师不对 Agent 的运行轨迹进行自动化的模式分析，认为当前的可观测性工具（如 LangSmith 和 Langfuse）缺乏从 Agent 行为中“连接”并累积知识的关键步骤，这与个人知识管理系统形成鲜明对比。
作者质疑当前的 LLM 评估工具是否过于关注孤立的提示词，而忽视了完整的工作流程和智能体交互，并指出逐步的准确性可能会掩盖生产环境中整体行为的偏差。
WildClawBench 使用真实的命令行界面环境和实际工具，评估语言和视觉-语言模型在现实长周期任务上的表现。该基准测试显示，即使最佳模型也仅达到62.2%的准确率，表明长周期智能体评估仍具有挑战性。
这篇来自苹果的研究论文介绍了“强化智能体”（Reinforced Agent）方法，通过使用专门的审稿智能体在实时执行过程中修正工具调用错误，将评估纳入执行循环。它在 BFCL 和 τ²-Bench 等基准测试上展示了显著的准确性提升，而无需重新训练基础智能体。
文章认为，高效的AI智能体需要克制和明确的“停止条件”，而非无限的自主性，并指出Ling-2.6-1T是一个适合保守规划角色的模型。
ProgramBench 是一项全新的基准测试，用于评估 AI 智能体在无法获取源代码或反编译工具的情况下，仅凭编译后的二进制文件和文档重建完整软件项目的能力。
奇妙智能体竞赛（AAR）推出了一个新的基准测试，包含1,400个有向无环图（DAG）谜题实例，用于评估LLM智能体在分叉-合并工具链和维基百科导航中的表现。评估结果显示，智能体在工具使用方面表现出色（错误率<17%），但在导航方面苦苦挣扎（27-52%的失败率），暴露了现有线性基准测试无法发现的关键差距。
一篇预印本论文，分析为何计算机使用智能体首次成功却在重复执行时失败，将不可靠性归因于执行随机性、任务模糊性和行为变异性，并倡导重复评估与稳定策略。
GTA-2 引入了一个分层基准，用于评估通用工具Agent在原子工具使用和开放式工作流中的表现，揭示了显著的能力鸿沟：前沿模型在复杂任务上仅取得14.39%的成功率，尽管在原子任务上表现尚可。
本文介绍了WebStep，一个基于语义状态追踪的网页代理过程级评估基准和框架。它揭示了超越最终成功指标的详细性能差异和错误定位。