日志分析对于可信的 AI 智能体评估至关重要

# 日志分析对于可信的 AI Agent 评估是必要的

来源: https://arxiv.org/html/2605.08545
Peter Kirgis¹, Sayash Kapoor¹, Stephan Rabanser¹, Nitya Nadgir², Cozmin Ududec³, Magda Dubois³, JJ Allaire³,⁴, Conrad Stosz⁵, Marius Hobbhahn⁶, Jacob Steinhardt⁵,⁷, Arvind Narayanan¹

¹普林斯顿大学 ²独立研究者 ³英国人工智能安全研究所 (UK AISI) ⁴Meridian Labs ⁵Transluce ⁶Apollo Research ⁷加州大学伯克利分校

###### 摘要

Agent 基准测试通常只报告最终结果：通过或失败。这在三个方面威胁了评估的可信度。首先，分数可能因捷径和基准测试伪影而被夸大或低估，从而错误地代表能力。其次，由于脚手架的局限性和反复出现的故障模式，基准测试的表现可能无法预测现实世界的效用。最后，能力分数可能掩盖了 Agent 所采取的危险或灾难性行动。我们认为，日志分析——即对 AI Agent 的输入、执行和输出进行系统跟踪和分析——对于克服这些有效性威胁并促进可信的 Agent 评估是必要的。在本文中，我们（1）提出了一种通过日志分析记录的可信评估威胁分类法，并（2）制定了一套日志分析的指导原则。我们以 τ-Bench Airline 为例说明了这些原则，揭示了 pass@5 性能被低估了近 50%，并暴露了结果指标看不见的部署故障模式。最后，我们提出了务实的建议，以增加日志分析的采用率，这些建议针对包括基准测试创建者、模型开发者、独立评估者和部署者在内的各类利益相关者。

## 1 引言

AI Agent 已经从研究原型发展为部署产品。能够浏览网页、编写和执行代码以及操作计算机的系统现在已经向数百万用户提供服务（Anthropic, 2024; OpenAI, 2025b; Anthropic, 2025a; OpenAI, 2021）。这些 Agent 采取具有现实世界后果的行动：修改代码库、管理客户以及起草法律文件。公司和个人正竞相大规模部署 Agent，承诺取代完整的任务和流程。在此过程中，他们对 AI Agent 的能力、可靠性和安全性寄予了高度的信任。

如今，基准测试分数是该领域用来证明这种信任合理性的依据，尽管已知基准测试在衡量范围上存在局限性，但这些分数仍然影响着关于发布、资金和部署的决策。目前大多数 Agent 基准测试依赖于仅基于结果的评估：检查最终输出是否符合预期结果并报告总体通过率。这简单、可扩展且看起来客观，但这使得基准测试不可靠。将复杂的行为简化为一个成功/失败的二进制位，丢弃了产生每个结果的行动、工具调用和推理过程。一个成功修复 bug 的 Agent 可能反映了理解能力，也可能只是从 git 历史记录中复制补丁（Kahn 等, 2025）；低分可能反映了能力差距，也可能是脚手架瓶颈（Brand 和 Denain, 2025）；通过的安全检查可能表明对齐，也可能是欺骗性推理（Schone 等, 2025）。随着 Agent 的时间跨度和自由度增加，过程与结果之间的差距也在扩大。

在本文中，我们认为日志分析——即对 AI Agent 的输入、执行和输出进行系统跟踪和分析——对于可信的评估是必要的。基准测试告诉我们 Agent *达到了什么*；只有日志能揭示其 *如何* 以及 *为何* 达到。

**基准测试结果**
**能力**
**现实世界效用**
**安全且可靠的部署**
**内部有效性**
**外部有效性**
**安全评估**

**图 1：** 基准测试结果只有在追踪能力（内部有效性）、该能力能否转移到部署环境（外部有效性），以及评估是否暴露了与安全相关的风险（安全评估）时才有用。日志分析验证了每一个环节。

这之所以重要，是因为基准测试 informs 部署决策，而这些决策依赖于二进制结果无法验证的一系列推断（图 1）：从分数到能力，从能力到现实世界效用，从能力到安全可靠的部署。每个环节都可能断裂：分数可能因捷径或环境伪影而误述能力（内部有效性）；准确的能力估计可能因上下文、时间跨度或可用辅助的差异而无法预测部署情况（外部有效性）；评估可能遗漏诸如代价高昂的错误、危险推理或被正确结果掩盖的危害行动等与安全相关的行为（安全评估）。只有通过对日志检查 Agent 行为，评估者才能测试这些推断是否可靠地成立。

有人可能会反驳说，更好的基准测试设计就足够了，结果才是最终重要的，或者日志分析引入了新的评估问题。我们认为，尽管存在这些顾虑，日志分析仍然是必要的。首先，基准测试的改进无法预见所有漏洞。Agent 已经修改了评估代码并以设计者未预见的方式利用评分错误，更强大的 Agent 可能会发现更具创意的捷径（METR, 2025b; Hamin 和 Edelman, 2025）。其次，结果是不充分的，因为某些威胁在构建上就是不可见的；例如，一个在诚实回答之前推理如何欺骗评估者的 Agent，与一个从未考虑欺骗的 Agent 产生的结果完全相同，但其安全含义截然不同。第三，虽然日志分析使用不完美的方法，但它提取了结果在结构上无法提供的信号——其成本远低于运行额外的评估。

我们并不声称日志分析足以实现可信的评估。但不考察 Agent 的行为，就无法验证基准测试表现是否转化为现实世界的效用以及安全可靠的部署。幸运的是，日志分析的基础设施正在出现。开源框架现在支持标准化的日志格式，分析平台帮助研究人员大规模搜索和总结转录记录（AI Security Institute, 2024; Men 等, 2025; Apollo Research, 2026），而日志分析的研究方法也开始形成（Dubois 等, 2026）。像 SWE-Bench、SWE-Bench Pro 和 Terminal-Bench 这样著名的 Agent 评估排行榜也开始随结果一起发布日志（Jimenez 等, 2024; Deng 等, 2025; Team, 2025）。日志分析成为 Agent 评估支柱的势头已经形成，但仍有很多工作要做。

**贡献。** 本文旨在加速日志分析在评估方面的进展。我们提供了：
- • **可信评估威胁的分类法**，对应三种不同类型：内部有效性、外部有效性和安全评估，并附有来自 Apollo、METR、UK AISI、CAISI、HAL 和其他机构的记录示例（第 2 节）。
- • **日志分析的四项原则**，在 τ-Bench Airline 的案例研究中进行演示：我们展示了如何检测模拟用户错误、衡量超越准确性的交互质量，并捕捉关键的故障模式（第 3-4 节）。我们的研究表明，由于任务错误和歧义，前沿 Agent 通过 pass@5 测量的能力被低估了 50%，且 pass@5 性能掩盖了特定故障模式，这些模式可能导致 Agent 在部署中灾难性失败。
- • **提高日志分析质量和采用率的务实建议**：降低实施成本的基础设施，以及提高跳过日志分析成本的社区规范（第 6 节）。

## 2 基于结果的 Agent 评估的局限性

**表 1：** 通过日志分析识别的评估可信度威胁及示例。示例取自 METR、Apollo、UK AISI、CAISI、HAL 和其他机构发表的研究报告。

语言模型评估的历史中心在于评估输出：模型生成响应，然后判断其正确性、有用性或安全性。Agent 评估继承了这一范式，但任务与结果之间的关系不再直接。一个 Agent 可能会访问网站、提出假设、编写测试、编辑代码，并在数千次行动和数百万标记的推理中迭代。在此过程中，它可能会采取恰好产生正确答案的捷径，尽管最终失败却展示了危险的能力，或者以正确最终结果所掩盖的方式造成伤害。将其坍缩为一个通过/失败的二进制位会丢弃这些信息。

这形式化了我们在第 1 节中的立场：仅凭结果不足以支持通常从基准测试分数中得出的广泛推断。为了超越评估失败的轶事例子并建立系统的分类法，我们对公开可用的 Agent 日志进行了定性分析，并辅以更广泛文献的回顾。我们的过程始于对来自著名 Agent 基准测试和排行榜的数百个 Agent 日志的仔细阅读（Kapoor 等, 2025; Jimenez 等, 2024）。然后，我们用前沿 AI 安全组织发布的评估报告验证了我们自己的发现，包括 Apollo、METR、UK AISI 和 CAISI，将这些报告视为检查我们发现的模式是否与独立记录的故障模式相匹配。

通过对这些故障模式的主题分析，我们将观察到的异常聚类到不同的类别中。然后，我们将这些经验聚类映射到既定的理论范式上。两个聚类直接映射到经典测量理论（Campbell 和 Stanley, 1963）：审计任何定量指标都需要评估分数是否准确反映目标能力（*内部有效性*），以及该能力是否泛化到预期的部署设置（*外部有效性*）。第三个聚类完全不同于能力测量，代表了能力执行掩盖了不可接受风险的实例（*安全评估*）。

> ¹ 内部有效性和外部有效性之间的边界取决于框架评估的假设。例如，如果基准测试旨在测量 Agent 进行网络攻击的通用能力，那么过早停止 Agent 的限制性 token 预算会威胁内部有效性。然而，如果基准测试明确测量特定的模型-脚手架-预算配置，那么同样的 token 限制就构成了外部有效性问题。在本文中，我们按字面意义评估基准测试和 Agent，承认这种区分偶尔是流动的。

共同地，这三个维度捕捉了仅凭结果无法回答的关键问题：测量是否有效，能力是否可转移，以及执行路径是否可接受？虽然个别威胁在 prior work 中已有详细记录，但我们的贡献在于这种方法的整合：将分散的异常统一到一个严谨的框架中，确切地说明了为什么以及为什么需要轨迹级别的日志分析。

**表 1** 总结了这一综合结果，全面讨论见附录 C。

**内部有效性的威胁。** 在审查的评估中，我们发现了许多对内部有效性的威胁——确保基准测试分数准确反映其旨在测量的基础能力的属性。有效的能力评估需要明确指定的目标、成功的必要充分条件以及稳定的测试环境。最终，如果高分 Agent 确实具备能力，而低分 Agent 确实不具备能力，则基准测试具有高内部有效性。我们发现，基于结果的评估容易受到破坏这种对应关系的行为的影响。当 Agent 通过绕过预期任务的过程实现正确输出时——例如直接访问基准答案、利用评分代码或找到满足评分者的捷径——分数会*高估*能力。相反，当模型、脚手架和环境之间的摩擦（例如，缺少工具、提示冲突、僵化的评分启发式方法或不合理的拒绝）阻止原本有能力的 Agent 展示其熟练程度时，分数会*低估*能力。

**外部有效性的威胁。** 我们的分析还揭示了破坏外部有效性的模式，外部有效性决定了基准测试中展示的能力是否可靠地转化为现实世界部署设置。即使基准测试表现出高内部有效性，Agent 用于实现结果的特定过程通常包含预测未来泛化的关键信号。我们重点介绍在语料库中观察到的外部有效性的四个主要威胁。首先，评估的脆弱性：由于提示、脚手架或 token 预算中的微小优化可以带来显著的改善，基准测试设置中的琐碎变化很容易翻转报告的结果。其次，部署瓶颈：特定的、局部的故障模式可能会严重限制现实世界的效用，即使总体基准测试分数上升。第三，隐藏的进展：特别是在复杂任务中，Agent 可能会执行高度能力的行动，但这并未立即反映为最终分数的显著性能提升。第四，未测量的质量维度：基准测试经常未能捕获下游先决条件，如代码可读性、风格遵从性或长期可维护性。

**安全评估的威胁。** 最后，语料库表明，当 Agent 在基准测试中得分较高时，部署者自然会假设它已准备好进行现实世界部署。然而，在基于结果的评估框架下，Agent 可能会在表现出有害、昂贵或危险的轨迹级别行为的情况下获得高能力分数，而这些行为完全未被检测到。两个执行轨迹可以产生相同的最终输出，但在关键方面存在差异。即使得出正确结果，Agent 也可能依赖危险推理模式或执行不安全的中间步骤。此外，Agent 可能会违反其模拟的现实世界环境的关键约束，例如绕过安全策略或忽略用户确认要求。最后，由复杂准确率指标认为高度能力的 Agent 仍可能灾难性失败。因轻微语法错误而失败的编码 Agent 与因删除整个 Git 分支而失败的 Agent 构成了完全不同的风险，然而，这种关键区别被仅追踪最终任务成功的评估完全掩盖。

## 3 日志分析的伪影与原则

日志分析可以诊断、增强和改进 Agent 评估，解决第 2 节中提出的有效性问题。