agent-evaluation

Kiln 的开发者发布了开源框架 Seahaven，用于构建强化学习和评测用的 AI agent 环境，提供隔离实例、冻结 fixture、状态 diff 和可复现运行，并附带一个可兼容官方 Stripe SDK 的模拟 Stripe 世界。

Centific Research 推出了智能体评估的信任层（Trust Layer for Agent Evaluation），这是一个事后验证框架，通过四项确定性检查来验证基准分数：评分依据是否成立、计算过程是否可追溯、完成声明是否诚实，以及多次运行结果是否稳定。在针对 108 项 Agents' Last Exam 任务的五种智能体配置的评估中，仅 22.6% 的记录通过率能通过全部检查，揭示了普遍存在的计算造假、虚假成功声明和分数不稳定问题。

提出 AgenticBBO-Bench 跨领域基准，在统一有限预算评估协议下评估 LLM 智能体的黑盒优化能力；实验表明 agentic BBO 在五个领域均优于基于直接 LLM 的方法，并在其中四个领域超越最佳数值优化器，GPT-6 Astra 与 DeepSeek-V4.1-Flash 位于性能-成本 Pareto 前沿。

Omar Santos 提供了一份指南，介绍如何将 TypeSafe AI 的决策模型 Jev 用作 LLM judge 来评估智能体。他展示了相比只看最终回复，读取完整轨迹（工具调用、结果、错误）如何提升生产级评估与监控系统的可靠性和一致性。

SWE-Race 是一个新的基准，收录了约 100 个 Python 项目中合并 PR 里的 188 个真实并发 bug（竞态条件、死锁、取消问题），在无网络容器中剥离 git 历史后，用项目自身的测试进行评分。结果显示 GLM-5.3 Flash（单次尝试 85%，带重试 82%）大致与 GPT-5.6 Luna（81%）持平，而模型之间的差异主要集中在难度较高的那一半任务上。

Era by Eon 是一款免费工具，可在 Salesforce、Slack、Jira、Zendesk、Gong 和 Deel 等平台上生成完整的企业模拟环境，让你无需使用真实公司数据，就能安全、可重复地测试 AI agent。

Eon 的 Era 会生成一整套完整的模拟企业，并拥有精确的基准答案，通过 MCP 和 REST 接口将数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong，从而在无需人工或大模型裁判的情况下，对企业智能体进行确定性评估。

VisAudit 是一个用于评测多模态智能体自主诊断、修复并验证有缺陷的数据可视化的全新基准，涵盖 21 种图表类型、10 类缺陷共 1,900 张有缺陷的图表。实验结果表明，在自主修复场景下，最强的多模态模型仅能完全修复其中 47.4% 的有缺陷图表，凸显出其与人类可视化审查能力之间的巨大差距。

# AI Evals 工程师必做的 15 个实战项目 一位从业者梳理了 15 个 AI Evals 工程师必建的项目，涵盖以下方向： 1. 轨迹评分（trajectory grading） 2. 影子路由（shadow routing） 3. 带校准的 LLM-as-a-Judge 4. CI/CD 回归门禁 5. 对抗性 RAG 测试 6. DPO 微调飞轮 7. 统计显著性 8. Agent 红队测试 9. 漂移监控 10. 成本-质量看板 11. 反事实回放调试（counterfactual replay debugging） 12. 合成边缘用例生成 13. 上下文窗口淘汰测试（context-window eviction tests） 14. 数据集污染检查 15. 公开评测方法论拆解（public eval methodology teardowns）

斯坦福大学的研究人员开发了一种基于广义性理论（Generalizability theory）的贝叶斯方差分解框架，用于诊断 agent 基准测试的可靠性。研究发现，增加更多任务并不能消除由脚手架（scaffold）覆盖度不足所引起的不确定性，而整合多样化的基准测试才是获得可靠排名的更低成本途径。

Adobe 论文提出了一种评估方法：让代码在每次运行时从实时数据中重新计算正确答案，再以此作为评判依据。在 53 个测试用例上，AI 评分器的表现比基于文字描述的评分方式高出 29%，且 token 用量减少 16%。

一篇研讨会论文提出了一个单实例案例研究：让AI智能体从数值数据中重新发现四次Blaschke曲线的一个隐藏不变量。智能体成功导出了一个齐次三次式，能够以机器精度的残差预测未见过的构型；论文也诚实地指出其局限，例如一个确定性的多项式拟合基线也能得到与智能体相同的结果。

本文研究如何将大语言模型专门化，用于生成可执行的算法交易代码，表明以框架为导向的继续预训练，加上基于已验证「需求—代码」配对的监督微调，可大幅提升模型在 QuantCode-Bench 基准测试及智能体策略生成任务上的成功率，同时也揭示出一种能力保持失效现象：领域专门化会削弱结构化工具调用能力。

OSWorld-Science 面向基于视觉语言模型（VLM）的计算机操作智能体，提出了一套针对科学软件的基准与评测环境，涵盖 146 个由专家设计的任务，涉及分子绘制、病理影像、统计分析、物理仿真等多个领域，采用基于产物的评估器，并配备专用的智能体运行框架。

该论文提出了 LibraryDesignBench——一个两阶段基准：先让一个 AI 智能体根据不完整的需求编写软件库，再通过其他智能体实现者利用这些库解决编程问题时所写的代码的简洁程度来评估每个库。评估指标将通过率的平方与相对生产级库参考实现的解决方案简洁度相结合。

文章强调，由于系统复杂性，模型基准测试无法准确评估生产环境中的智能体，并介绍了Apodex的TRACES以进行更全面的评估，引用了一篇研究论文。

ControlScope 是一种让大型语言模型代理修订工作流的方法，通过比较文件系统任务、ALFWorld 和 AppWorld 中的修复策略来增强可靠性。

作者比较了两个用于本地代理席位的9B模型，发现其中一个模型会静默失败，将工具调用写成普通文本并犯其他绕过检测的错误，强调了测试不同故障模式的必要性。

本文推导了在硬预算下重复评估中诚实不确定性的精确理论界限，并将其应用于语言模型和智能体基准测试，展示了区间宽度和均方误差(MSE)的实际改进。

本文测量了AI代理如何污染其写入的存储，识别了错误传播的阈值，并使用合成和真实世界的Wikidata数据验证了发现。