agent-evaluation

介绍了行为一致性度量（BCM），用于量化语言模型智能体跨任务的行为一致性，证明其与成功率不同，并可通过执行轨迹进行测量。

RubricForge从带标签的轨迹中诱导评估标准，以减少语言模型智能体评估中的过度信任，增强保真度，而无需环境访问。

一位开发者构建了 Battle Agents，一个用于在可控失败场景中测试 AI 智能体的平台，以检查其决策、工具调用和恢复能力，并正在寻求社区反馈。

Researchers show agent leaderboards rank task specialization rather than capability, with agent main effects accounting for under 3% of variance across three benchmarks, and propose a Deployment Decision Reliability framework.

This paper applies Generalizability Theory to agent benchmarks, showing leaderboards rank specialization rather than capability, and proposes a framework (DDR) for sizing reliable deployment evaluations.

微软研究院的新研究通过比较动作轨迹而非最终答案，来衡量使用工具的智能体的跨语言策略保留率。在去除五个混淆因素后，四个前沿模型在跨语言条件下保留了71%–73%的动作策略，并发布了代码和238万次rollout数据。

介绍了 A2E，一个面向智能体框架（harness）的端到端评估引擎，利用标准化任务协议和执行轨迹来评估效率、工具使用、规划以及错误恢复等能力。

Factorio Learning Environment v0.3.0 是一个开源平台，用于在 Factorio 中评估 AI 智能体，增加了无头扩展、OpenAI Gym 兼容性以及用于实时演示的 Claude Code 集成。

作者评论 FutureX 预测评测框架，指出其只对最终答案评分，无法区分概率校准质量，并探讨 Brier score 与 log loss 等更细粒度的评估方式。

GDPevo是一个在真实业务任务上评估智能体自我进化的基准，涵盖CRM、ERP、金融、医疗、法律以及以数据为中心的工作流。作者发布了自动化流水线，并发现自我进化能将留出集准确率提升最多16.44个百分点，但智能体仍远低于全知的oracle上限。

一份六步指南，教你构建评估门控，让AI代理自主合并变更，涵盖评判偏差、运行时评估、轨迹评分等内容。

Google announces GA of Agent and Model Evaluations in Gemini Enterprise Agent Platform, enabling consistent measurement and monitoring of AI agents in dev and production with pre-built metrics, adaptive rubrics, simulators, and online monitors.

本文介绍了 Similarweb 如何使用 LangSmith 评估长篇代理研究报告，结合工具调用的确定性检查和 LLM 作为评委的质量评分，重点关注使回归可检查并实现 A/B 比较。

EvoCode-Bench 是一个多轮编码基准，包含 5 个领域的 26 个任务，旨在评估 AI 代理在持续演变规格和累积测试下的表现，揭示单轮得分会严重高估可靠性。

SAAG提出了一种级联诊断框架，用于评估LLM智能体函数调用，通过将评估分解为注册一致性、结构完整性和参数基础验证三个阶段，实现可解释的诊断和迭代自我修复。在sub-4B模型上的实验表明，与单次评估相比，参数精度得到提升，值幻觉减少。

本文介绍了一个基准测试，用于评估当可靠工具在会话中悄然发生变化时，LLM智能体如何调整其工具选择，借鉴了认知心理学中的集合切换概念。该测试对开放权重LLM进行了评估，并根据工具集合的框架识别出不同的失败模式。

Sayash Kapoor宣布即将举行的博士答辩，主题为“AI评估中缺失的科学”，讨论基于AI的科学、代理评估和开放模型风险，将进行直播，对所有人开放。

Google Data Cloud 的前沿AI团队讨论了一种利用信息理论评估AI代理的新方法，创建了一个名为 Discovery Bench 的元基准，该基准衡量一个查询在代理失败之前可以有多模糊，从而提供比简单的通过/失败考试更细致的代理能力图谱。

卡内基梅隆大学提出的PACE方法，通过从廉价非agentic基准测试中选择原子能力子集来预测模型在昂贵agentic基准上的表现，预测误差低于4%，成本降低至1%以下。

字节Seed团队发布了EdgeBench基准测试，允许AI模型连续工作12-72小时来评估长程任务中的学习能力，发现模型从环境学习的时间和性能之间遵循log-sigmoid曲线，存在新的Scaling Law。