AgentCompass: 统一智能体能力评估基础设施

# AgentCompass：面向智能体能力的统一评估基础设施
来源：https://arxiv.org/html/2607.13705
###### 摘要

随着大型语言模型（LLM）演变为自主智能体，统一评估基础设施的需求变得至关重要。然而，当前的评估流程仍然高度碎片化且紧密耦合，阻碍了可复现性并导致大量重复性工程工作。为解决此问题，我们提出了AgentCompass，一个开源、轻量级且可扩展的评估基础设施，专门用于评估基于LLM的智能体。AgentCompass将评估过程围绕三个独立组件组织，即基准（Benchmark）、运行框架（Harness）和环境（Environment），从而能够灵活配置而无需重新实现复杂的执行逻辑。此外，它具备容错的异步运行时和全面的轨迹分析工具，可透明地诊断诸如奖励黑客（reward-hacking）等细微故障模式。AgentCompass原生支持跨越五个能力维度的20多个基准测试，为社区提供了一个可扩展且可复现的基础设施，以推动智能体研究。

†††\dagger 通讯作者：\{zhudongsheng, mazerun, zhangqi\}@pjlab.org.cn††∗\* 代码位于 https://github.com/open-compass/AgentCompass

## 1 引言

参考图注图1：代表性模型在五个核心评估维度上的能力概况。

大型语言模型（LLM）的范式正迅速从遵循指令的文本生成器转变为基于LLM的智能体的基础，这些智能体能够在动态环境中进行复杂推理、规划和工具交互[wu2024autogen, li2023camel]。随着基于LLM的智能体能力不断提升，相应的评估方法也必须协同发展，以确保对这些日益多方面的系统进行严格评估。

然而，当前的智能体评估格局高度碎片化，存在严重的基础设施缺失。尽管出现了许多评估特定能力的专门基准（例如工具调用[yao2024tau]和深度研究[mialon2023gaia]），但它们作为孤立的评估套件运行。这迫使研究人员反复配置异构的执行环境、数据格式和评分协议。这种重复性工程不仅妨碍效率，而且由于基线实现不一致，也损害了可复现性。此外，现有的通用基础设施要么缺乏对交互式智能体工作流程的原生支持[2023opencompass, duan2024vlmevalkit]，要么将范围局限于编码等狭窄领域[Harbor_Framework]。社区亟需一个统一、可扩展的基础设施来简化智能体评估。

为弥补这一差距，我们提出了AgentCompass，一个开源、轻量级、可扩展的评估基础设施，旨在支持基于LLM的智能体的系统性评估。其核心设计理念在于解耦三个通常纠缠在一起的组件：基准（Benchmark）、运行框架（Harness）和环境（Environment）。通过将运行框架抽象为独立层，AgentCompass将僵化的评估管道转换为灵活的基准×运行框架×环境（benchmark×harness×Environment）配置。这种架构允许研究人员在共享基准上评估不同的智能体、比较替代的交互协议，或集成新的数据集，而无需重新实现复杂的执行逻辑。如图1 (https://arxiv.org/html/2607.13705#S1.F1) 所示，这种统一方法能够轻松实现对代表性模型在多个核心能力维度上的全面概况分析。

基于这种模块化抽象，AgentCompass标准化了关键操作，如任务调度、环境交互和指标聚合。它配备了一个专为并行化长时间运行的智能体轨迹而优化的异步运行时。除了执行层面，基础设施还提供丰富的轨迹级分析和可视化，捕获中间动作、工具调用和环境反馈，帮助开发者透明地诊断故障模式。AgentCompass已成为Intern-S智能体系列的基础评估基础设施[zou2026interns1proscientificmultimodalfoundation]，为推进智能体研究提供了一个可扩展、可复现且高度易用的工具包。

## 2 相关工作

随着智能体能力不断扩展，评估必须超越LLM基准，由此产生了广泛但碎片化的智能体专用基准和基础设施。

#### 基准。

综合性基准通过多样化的交互环境[liuagentbench]、具有挑战性的现实世界问题[mialon2023gaia, wei2025browsecomp, zhou2025browsecomp, phan2025humanity, zhai2026hle, gupta2026deepsearchqa]以及游戏场景[iclr/WuTML24]来评估整体性能，并针对多智能体协作[zhu2025multiagentbench, hyun2025crew]提供了专门的变体。其他基准则提供对工具和函数调用[patil2025bfcl, yao2024tau, barres2025tau, shi2026tau]、科学推理和研究编码[wang2026frontierscience, xu2025probing, xu2026researchclawbench, tian2024scicode]、面向生产力的技能执行[li2026skillsbench, pinchbench2026skill, patwardhan2025gdpval]以及软件工程[jimenez2024swebench, deng2025swe, yang2025swesmith, huang2026deepswe]、实时编码[CodedotAI2023aider]和终端操作[tbench_2025, merrill2026terminal]中的智能体能力进行细粒度分析。

#### 基础设施。

为管理这些多样化的评估，支持性的基础设施已经出现。有些提供了分析仪表板[nips/MaZZYYJLKH24]、单元测试框架[ConfidentAI2023deepeval]或商业追踪工具[LangChain LangSmith]。最近，人们提出了统一框架来简化开发和评估。AgentGym[xi2024agentgym]提供了在多样化环境中演进智能体的基础设施。Harbor[Harbor_Framework]进一步瞄准了面向智能体的评估，特别侧重于编码和基于技能的场景。对于多智能体系统，MASLab提供了一个统一且全面的代码库[ye2025maslab]。除了智能体评估，通用框架也支持更广泛的模型评估：EvalScope[evalscope_2024]涵盖多种评估模式和后端；OpenCompass[2023opencompass]针对广泛的推理和安全评估；VLMEvalKit[duan2024vlmevalkit]专注于图像-文本多模态评估。

## 3 框架

AgentCompass将基准特定的评估脚本模块化为可组合的组件，这些组件通过稳定的协议连接。如图2 (https://arxiv.org/html/2607.13705#S3.F2) 所示，每次评估由基准、运行框架和环境组成，并可选配配方（recipes）和分析器（analyzers）。

### 3.1 设计概览

在AgentCompass中，一次评估运行通过声明式的RunRequest来指定。该请求将评估的实质性对象与用于执行的操作选择分离开来。具体来说，BenchmarkSpec定义了任务和评估指标，HarnessSpec定义了用于与每个任务交互的智能体程序，EnvironmentSpec标识了执行上下文，ModelSpec描述了模型端点、凭证、推理参数和支持的API协议。控制评估执行方式的运行时选项被放置在单独的ExecutionSpec中，而不改变评估本身的语义定义。

这种分离明确了评估中可配置的部分。例如，可以在同一基准上比较多个运行框架，跨不同基准复用运行框架，或者通过不同的交互协议评估同一模型，而无需重写基准代码。AgentCompass通过轻量级的、基于装饰器的注册表（用于基准、运行框架、环境、配方和分析器）来解析这些选择。因此，可以通过在本地注册其实现来引入新组件，而无需修改中心运行时或适配不相关的模块。由此产生的抽象将固定的基准特定管道替换为可组合的基准×运行框架×环境（benchmark×harness×environment）配置，同时在评估语义和执行机制之间保持清晰的界限。

参考图注图2：AgentCompass架构概览。该框架完全解耦了基准、运行框架和环境，以实现灵活可组合的智能体评估。

### 3.2 核心组件与协议

AgentCompass通过将评估分解为协议驱动的组件来改善模块化和可扩展性，用灵活的架构取代了紧密耦合、基准特定的脚本。

#### 基准。

基准组件封装了数据集特定的逻辑。它将原始数据加载到统一的TaskSpec中，准备任务材料，并通过evaluate函数计算最终分数。评分机制支持确定性匹配、基于执行的验证以及LLM作为评判者（LLM-as-judge）的评分。为了将智能体回滚与评估分离，基准定义了一种评分器执行模式：none用于内存内验证，reuse用于智能体现有的工作空间，或fresh用于干净、隔离的测试环境（例如，将智能体生成的补丁应用到原始仓库）。

#### 运行框架。

运行框架作为操作包装器，将LLM实例化为交互式智能体。它编排智能体的内部逻辑，包括提示格式化、交互状态管理、多轮工具调用以及特定提供商的API处理。作为中介，运行框架消耗标准化的任务材料，并与模型API和环境协调，完全屏蔽了基准中智能体特定的实现细节。该框架支持进程内运行框架（其中交互循环由AgentCompass本地管理）和环境内运行框架（在沙箱内作为子进程执行外部智能体框架）。这适应了广泛的系统范围，从简单的单轮推理脚本到复杂的自主编码智能体。

#### 环境。

环境提供智能体交互和代码验证所需的隔离执行上下文和系统原语。它暴露了一个统一的会话接口，用于执行命令、传输文件、操作文本和配置网络服务。至关重要的是，它是外部智能体执行的安全和隔离边界。通过抽象后端基础设施，AgentCompass允许相同的基准和运行框架配置在本地主机进程、本地Docker容器或分布式集群实例上一致地运行。这使得研究人员能够将评估从本地开发扩展到大型集群，而无需修改底层代码。

#### 协议抽象

组件间互操作性通过两个级别的严格协议抽象得到保证。首先，模型纯粹以声明式API规范（定义端点、参数和支持的格式）来表示，而不是紧密耦合到单一的客户端网关。其次，基准和运行框架之间的数据交换由标准化的材料协议管理。基准将每个TaskSpec编译成PreparedTask（捆绑提示、工具、媒体和预期输出），而运行框架处理此结构以产生统一的RunResult，其中包含最终预测、分数和完整的记录轨迹。这种明确的数据契约消除了在向AgentCompass引入新基准或智能体时进行交叉修改的需要。

### 3.3 异步执行运行时

AgentCompass运行时专门设计用于处理智能体-环境交互中典型的高I/O开销。用户通过CLI或Python SDK构建RunRequest来发起评估。运行时随后动态解析注册的组件，准备任务材料，并通过基于asyncio构建的异步调度器分发任务。通过配置并发限制，基础设施能够高效地管理多个并行的、长时间运行的智能体轨迹而不会阻塞。此外，运行时原生支持容错和状态持久化。部分结果和结构化进度事件会增量保存。如果评估被中断，基础设施可以无缝恢复：它跳过已完成的任务，仅重新执行遇到可重试失败的样本。这种增量执行机制对于自主智能体的成本效益评估至关重要。

### 3.4 轨迹追踪与行为分析

传统基准通常将智能体性能简化为单一的标量指标，而AgentCompass则为每个任务记录全面的、版本化的轨迹。轨迹捕获完整的交互序列，包括智能体的推理过程、发出的工具调用、环境反馈以及细粒度指标（例如，令牌消耗、推理延迟和停止原因）。这种统一模式跨异构模型和基准标准化了交互历史。

为促进深度诊断，AgentCompass提供了一个可插拔的分析器层。分析器自动处理轨迹以提取结构化见解，标记有问题的样本，并将错误分类为模型端、环境端或框架端故障。内置分析器可以系统地检测异常，如输出截断、延迟峰值和重复生成循环。这些源自轨迹的统计信息帮助研究人员透明地定位特定的故障模式，而不仅仅是观察整体性能下降。

表1：AgentCompass支持的20多个内置基准测试摘要，按关键能力维度分类。
### 3.5 可扩展性与可复现性

#### 可扩展性。

AgentCompass采用轻量级的、基于注册表的架构来最小化耦合。引入一个新基准只需要一个符合协议的子类和本地注册，并可选择评分函数和设置配方。由于组件是解耦的，现有的运行框架和环境保持不变。模型API协议同样在它们被消耗的地方处理，而不是通过一个单一的客户端。这种设计降低了在统一代码库中集成新功能的门槛。

#### 可复现性。

AgentCompass确保对评估来源进行严格追踪。每次运行都按基准和模型持久化，存储确切的配置、任务级日志和聚合摘要。AgentCompass区分改变智能体行为的语义参数和诸如并发性之类的执行参数，因此仅执行层面的更改不会使结果失效。通过将可重试失败与已完成任务隔离开，评估在大规模下保持可审计性和可重启性。

### 3.6 支持的基准与运行框架

截至2026年7月，AgentCompass原生集成了超过20个基准测试，涵盖五个核心能力维度：工具使用、网络与研究、科学推理、智能体编码和生产力（汇总于表1 (https://arxiv.org/html/2607.13705#S3.T1)）。集成的基准不仅限于静态问答，还包括高度交互和长时视野的环境，例如仓库级代码修改（如 SWE-bench 变体）和复杂的开放式网络导航（如 GAIA, HLE）。AgentCompass还支持专门的评估范式；其中，GDPVal-AC 是一个自定义基准...