标签
本文介绍如何使用Jev（一个结构化决策模型）作为高效的评判器来评估AI智能体的响应，与传统的LLM评判器相比，可降低延迟和成本。
本文评估了来自 TypeSafe AI 的 System One 模型 Jev 作为一个新的代理评估器，显示它在一致性、速度和成本方面优于 LLM 裁判。
本文讨论了一种关键的自动化失败模式，即操作成功但响应超时，导致重复执行，并提倡使用稳定的操作ID和状态检查来增强代理评估的鲁棒性。
本文介绍了CHASE，一种用于AI智能体评估中测试框架演进的反事实引导方法，该方法通过约束生成和有效性检查缓解基准测试捷径，增强可靠性。
在一项多步骤客户服务代理任务上的对比测试中，MiniCPM5-2B 准确且高效地完成了任务，而 Spark-X2.5-4B 表现不佳，突出了代理在任务执行中的作用。
这篇文章解释了AI代理的评估方法，涵盖了简单、困难和高级模式，并提供了使用Harbor和LangSmith等工具进行安全测试和自我改进的实用建议。
Clay依赖LangSmith的在线评估器来扩展人工审核，以处理每月数百万次的智能体运行，并正在测试其洞察产品以更好地理解智能体行为。
DAREBench 是一个专为部署感知和可靠评估 AI 模型作为代理而设计的基准测试，评估多模态任务和执行形式，结果显示在商业模型和开源权重模型之间存在准确性和成本的权衡。
Sierra AI 开源了 Hyper-τ-bench，这是一个新的基准测试，用于评估AI模型构建客户服务代理的能力，揭示了自主构建的局限性以及在人类协助下的改进。
KC-Bench 是一个动态交互式基准，用于评估LLM智能体如何检测和解决用户指令、参数知识与环境观察之间的知识冲突，评估显示没有模型能可靠地处理所有冲突类型。
本文介绍A-CEGIS，一个使用反例反馈来评估和改进自然语言到正则表达式合成中多轮代理自我纠正的框架，实现了高成功率。
本文介绍了ClaimReceipt，一种与声明相关的收据规范和验证器，用于验证代理评估中的证据充分性和覆盖范围，并通过历史记录和前瞻性审计的实验进行验证。
FM-Bench是一个用于评估长期AI代理的基准，揭示短期表现并不能保证在模拟20年管理任务中的长期成功。
EarlyEval引入了一个轻量级框架，通过中间行为预测LLM智能体的结果，以高准确率提前终止运行来降低评估成本。在SWE-bench Verified、TerminalBench和Toolathlon等基准测试中，它可以消除13%-26%的智能体步骤和最高44%的输入令牌。
CommerceAgentBench是一个新的基准测试，包含107个真实电子商务任务，旨在检验AI代理能否实际完成工作，超越传统的基于答案的AI基准测试。
介绍HarnessOpt-Bench以测量AI中的递归自我改进，评估了5个前沿模型在4项任务上的表现，发现模型选择比编程工具选择的影响更大。
UrbanGround评估了多模态语言模型代理是否能在逼真的3D城市复制品中保持可靠的导航和空间推理能力，发现局部感知技能无法组合成扩展的目标导向行为。
MerchantBench 是一个基准测试，它通过让人工智能代理管理一个模拟在线商店一年来评估这些代理，揭示了在持续性能和连续行动方面的挑战。
ClawProBench引入了一个跟踪感知的基准测试，用于评估AI代理，强调运行时执行和安全性，以揭示最终答案排名的局限性。
StartupBench 引入了一个基准，用于评估通用AI代理在真实世界创业工作流程中的表现，揭示顶级模型仅能完成约30%的任务，原因在于复杂指令遵循和领域特定专业知识方面的不足。