Agent Seer：从规范理解合成场景

# Agent Seer：基于规范理解的场景合成
来源：https://arxiv.org/html/2608.26133

###### 摘要
评估使用外部工具的AI智能体需要能反映从业者如何组合工具并在对话轮次中迭代的真实测试场景。手工构建此类场景需要深厚的领域专业知识，无法在工具生态系统中扩展，且生成的静态基准无法跟踪不断演化的API。我们观察到，工具规范——函数名、自然语言描述和类型化参数模式——已编码了足够的语义信息，可在无需人工整理或实时工具执行的情况下合成真实评估场景。**Agent Seer**基于这一潜在信息构建：仅从单个模型上下文协议规范出发，无需示例、无需实时工具访问、也无需特定领域调优。该流水线丰富原始模式，生成带有合成工具输出的分级场景，并将其扩展为基于模拟数据的多轮对话，展现出强大的工具调用正确性和对话连贯性。评估质量通过在七个涵盖不同领域和工具套件规模的MCP规范上应用该流水线，并测量工具调用正确性和对话连贯性来衡量。该流水线在所有领域均实现高质量，并在中小型规范上实现完整的工具覆盖。分析中浮现两个发现：参数模式复杂度是质量变化最强的相关因素——工具套件规模发挥较小且正交的作用——而不完美场景中主要的失败模式是参数值准确性，这一子维度对粗粒度名称匹配指标不可见。

Agent Seer：基于规范理解的场景合成
Harish Karumuri Apple Mahesh Vemula Apple David Lopes Pegna Apple

## 1 引言
能够自主调用外部工具的大型语言模型智能体在企业软件环境中的部署日益常见。由日历API、项目管理系统、通信平台和内部数据库支持的智能体正被用于自动化以前需要人工干预的工作流程。尽管智能体能力发展迅速，但此类系统的评估仍然繁琐且脆弱。三个问题限制了智能体评估的现状：

#### 整理瓶颈。
真实的评估场景必须将用户意图与特定工具调用连接，用合理的值填充参数，并捕捉工具如何在多轮对话中链接。人工编写的基准测试（Froger等人，2026年；Liu等人，2023a年；Yao等人，2025年）能产生高保真场景，但其覆盖范围受限于整理工作量；跨工具路径组合空间扩展此类工作手工操作不切实际。

#### 静态基准问题。
随着工具API的演进，固定基准会脱离现实。在快照基准上得分高的智能体可能在与不再匹配生产环境的工具描述进行评估。

#### 多轮评估缺口。
对话智能体需要跨交互序列评估，而非仅针对单轮提示。在没有真实工具响应的情况下，生成后续轮次对特定工具输出作出反应（而非重复通用指令）的多轮场景尤为困难。

这共同定义了**冷启动评估问题**：为尚无数据的工具套件生成真实评估数据。对于新的、私有的或快速演化的API，这种短缺最为尖锐，并持续存在于包装或扩展公开描述系统的长尾企业工具套件中。我们通过观察工具规范——函数名、自然语言描述和类型化参数模式——已编码了合成评估数据所需的大量语义信息：足够让LLM推断合理工作流、用真实值填充参数、合成工具响应的样子，并构建基于该合成数据的多轮对话。瓶颈从人工整理转向结构化提取。

Agent Seer将其实现为一个四阶段流水线——语义解释、场景生成、模拟输出合成和多轮扩展——将原始MCP工具规范转换为自包含的评估工具。每个阶段消费前一个阶段验证的结构化输出，因此模式违规在边界处被捕获，而非向下游传播。生成的工具与任何执行后端解耦：任何兼容MCP的框架都可以消费它们来运行和评估智能体。

主要贡献包括：
1. **一个规范到工具的生成流水线**：仅从MCP工具规范生成完整的评估场景——预期的工具序列、校准的模拟工具输出和基于数据的多轮对话——无需实时工具执行或人工标注。
2. **结构化工具制品格式**（第3.5节）：包含保留的预言机和模拟输出，使任何兼容MCP的评估框架能够以自包含制品运行智能体并对生成的场景进行评估。
3. **生成质量和工具覆盖的经验表征**：在七个涵盖不同企业领域的MCP规范上，表明质量变化与参数模式复杂度的相关性更强，而非工具套件规模，并且完整覆盖在中小型规范上是可实现的。
4. **失败模式表征**：识别参数子维度级联作为主要生成失败机制——这一失败类别对粗粒度名称匹配指标不可见——并以特定领域特征描述流水线不足的处所及原因。

## 2 背景与相关工作
评估工具调用智能体需要评估数据——场景、预期工具序列和代表性工具输出。对于已建立的公开API，这可以人工整理或从使用日志中挖掘，但对于新的、私有的或快速演化的工具套件，不存在此类数据，且已有的数据可能未覆盖小众或具有挑战性的用例。即使整理可行，识别重要的用户目标并将其与反映从业者如何组合工具、处理部分结果和跨轮次迭代的工具序列连接，也需要深厚的领域专业知识。Agent Seer通过**基于结构化工具规范的免执行工具合成**来解决这一冷启动缺口。

### 2.1 智能体基准测试
智能体评估已从单函数预测（Qin等人，2024年；Patil等人，2024年）发展到跨整理的API语料库的多步骤工具使用（Qin等人，2024年；Lu等人，2025年；Chen等人，2024年），再到使用模拟用户的多轮、基于策略的评估（Yao等人，2025年；Barres等人，2025年；Wang等人，2024年）。通用基准如GAIA（Froger等人，2026年）、AgentBench（Liu等人，2023a年）和WorkArena（Drouin等人，2024年）提供丰富的评估环境，而最近以MCP为中心的套件——MCPVerse（Lei等人，2025年）、MCP-AgentBench（Guo等人，2026年）、Toolathlon（Li等人，2026年）——反映了MCP（Anthropic，2024年）作为标准工具集成层的日益普及。所有这些基准均通过人工整理构建或需要实时工具访问，且发布后保持静态，未解决冷启动问题。

### 2.2 合成数据生成
先前关于合成数据生成的工作分为三个类别，以它们对实时工具执行的依赖来区分。
#### 来自实时执行的训练轨迹。
最大的类别通过真实工具执行生成微调轨迹：APIGen（Liu等人，2024年；Prabhakar等人，2025年）使用基于执行的验证，TOUCAN（Xu等人，2025年）从实时MCP服务器扩展到150万条轨迹，GEM（Xu等人，2026年）从文本语料库中挖掘轨迹，Agent World Model（Wang等人，2026年）合成强化学习环境。大多数需要实时工具调用。
#### 模拟工具环境。
第二个类别用模拟环境替代实时工具——用于训练：Simia（Li等人，2025年）、Gecko（Zhang等人，2026年）、LOGIGEN（Zeng等人，2026年）；用于评估：τ-bench（Yao等人，2025年）、τ²-bench（Barres等人，2025年）和ToolSandbox（Lu等人，2025年）。
#### 仅规范生成。
一个新兴类别纯粹从规范生成合成数据。DiGiT-TC（Crouse等人，2026年）将工具调用序列反向翻译为用户请求以生成微调数据；FuncBenchGen（Maekawa等人，2026年）通过DAG建模的调用依赖定义无污染的任务基准。

### 2.3 评估方法论
LLM作为评判者的范式已确立（Liu等人，2023b年；Kim等人，2024年；Es等人，2024年）。对于工具使用评估，先前工作使用精确匹配（Qin等人，2024年）、执行成功率（Qin等人，2024年）和单次调用二进制AST匹配（Patil等人，2025a年）。Agent GPA（Jia等人，2026年）将跟踪分解为目标-计划-行动阶段，但在实时任务环境中进行评估。FuncBenchGen（Maekawa等人，2026年）发现模型在链式调用中尽管语法有效但系统性传播陈旧或错误的参数——一种粗粒度名称匹配指标完全忽略的多步骤失败模式——这激励了我们在此应用的每个参数子维度分解。我们借鉴此方法论，沿两个互补维度（工具调用正确性和对话连贯性）评估生成质量，在每轮应用带有结构化多维提示的LLM作为评判者评分。

### 2.4 定位
Agent Seer仅以工具规范作为输入（像仅规范系统），但使用LLM合成合理的工具响应，而非要求运行时环境（像用于评估的模拟环境）。贡献不在于提示驱动的生成机制——与APIGen、TOUCAN和其他系统共享——而在于施加于其的**结构**：一个在每一步边界具有验证结构化输出的四阶段流水线，生成与任何执行后端解耦的工具。附录C中的表17将这些贡献置于先前文献的语境中。

## 3 流水线阶段
流水线包含四个阶段（模式流见图2，附录F）。每个阶段消费前一个阶段验证的结构化输出；模式约束确保畸形制品在边界处被捕获，而非传播到下游。

### 3.1 工具解释
第一阶段将原始MCP工具规范转换为语义丰富的描述。对于每个工具，该模块向LLM发出结构化提示，请求四个语义字段：功能描述、带语义角色的必需参数、主要用例和组织上下文（提示模板见附录D；输出模式见附录F）。这将简洁的API文档连接到更丰富的场景。

### 3.2 场景生成
场景生成模块在两个复杂性层级生成真实的企业工作流场景。**简单场景**针对日常运营任务：单领域、短工具调用链。**复杂场景**针对新颖、多领域工作流，以复杂方式组合工具。两个层级均通过提示工程而非结构约束实现。每个生成的场景包括标题、面向用户的指令、带参数值的预期工具调用有序列表、新颖性解释和一个自然的后续问题。输出模式嵌入了**结构化推理跟踪**字段：每个工具调用带有`quick_explanation`（解释进行调用的原因），每个场景包含`novelty_reason`（解释其评估价值）。这些字段迫使LLM在生成过程中推理工具选择和工作流组合。

### 3.3 模拟输出生成
对于序列中的每个函数调用，该模块生成合成工具输出。流水线接受一个可选的示例输出字段，使其成为一个光谱：完全从规范无监督进行，但能够整合可用的跟踪以提高保真度。当提供示例时，生成器匹配其结构；当缺失时，生成仅依赖工具描述。每个模拟输出携带一个基准层级（高/中/低），记录参考材料的可用性。

### 3.4 多轮场景扩展
多轮扩展阶段接收一个场景及其模拟输出，并生成一个对话轮次列表（提示模板见附录D；输出模式见图2）；输出是一个列表，但提示未规定产生多少轮次。分割针对自然阶段边界，以使生成的轮次实践由BFCL v3形式化的两种多轮工具调用模式：**多步序列**，其中每次调用依赖前一次的输出；和**多跳模式**，其中独立的调用收集必须综合的信息。在阶段边界处分割（而非任意点）跨轮次保留这些依赖结构。当扩展仅产生单个轮次时，根据启发式将其丢弃，因为该场景缺乏足够的实质内容以供分割。当扩展成功时，后续提示引用合成输出中的具体值——实体名称、计数、状态代码——而非抽象任务描述，生成**基于数据的**多轮对话。

### 3.5 工具制品格式
四个阶段产生一个自包含的...