超越静态评估：构建用于可扩展智能体强化学习的仿真环境

# 超越静态评估：构建可扩展智能体强化学习的模拟环境
来源：https://arxiv.org/html/2607.05773
Akshay Arora, Ishan Nigam, Ashutosh Aggarwal, Shefali Bansal, Krishna Singh Sweta Kumari, Nikhil Mittal, Shariq Farhan, Siddarth Malreddy

\(2026\)

###### 摘要。

随着大型语言模型（LLM）演变为自主智能体，传统的静态评估已无法捕捉多步决策过程。我们提出了AgenticAI-Supervisor，一个由API和UI驱动的强化学习（RL）Gym环境，它将环境创建与可扩展的执行解耦。通过转向可验证的执行结果，该平台生成高保真轨迹，并应用多维奖励塑形。关键的是，我们的框架通过严格的内部状态验证和测试来缓解奖励操纵问题。本文通过一个客户支持智能体案例研究，首次展示了我们平台的核心能力，该案例展示了用于模型优化的一致闭环反馈。未来的工作将聚焦于高级特性，如计算机使用、工具使用、自动“刁难”提示生成以及边缘案例生成。

††copyright:acmlicensed††journalyear:2026††conference:RL用于评估研讨会；2026；美国圣何塞

## 1. 引言

大型语言模型（LLM）正从对话式界面转变为能够跨外部工具和复杂GUI应用进行推理的自主智能体（Shah, 2026 (https://arxiv.org/html/2607.05773#bib.bib9); Anonymous, 2026 (https://arxiv.org/html/2607.05773#bib.bib10); Zhu 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib2)）。与传统聊天机器人不同，这些智能体在动态环境中运行，成功与否取决于长程规划和错误恢复能力（Mohammadi 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib1)）。然而，随着智能体工作流的扩展，静态的单轮基准测试无法捕捉这些智能体所需的多步决策和环境反馈（Anonymous, 2026 (https://arxiv.org/html/2607.05773#bib.bib10)）。因此，企业级模型表现出严重的可靠性差距，由于复合执行错误，大约76%的复杂专业任务失败（Xu 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib4); Shah, 2026 (https://arxiv.org/html/2607.05773#bib.bib9)）。在供应链审计或采购等高危操作中，企业无法依赖容易在长周期内失去逻辑一致性或违反隐性约束的系统（Sierra Research, 2026 (https://arxiv.org/html/2607.05773#bib.bib11)）。

参见图注图1. AgenticAI Supervisor 通过结合模拟环境、执行轨迹和多维奖励，实现了可扩展、可验证的强化学习。屏幕阅读器的文字描述。这是ACM模板的要求。为了建立对自主系统的信任，评估范式必须从对文本响应的评分转向在大规模强化学习（RL）生命周期中验证程序化动作（Zheng 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib14)）。虽然执行轨迹能够深入分析推理失败模式（Lee 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib13)），但手动编写多步测试用例、“刁难”提示和边缘场景仍然是一个容易出错的瓶颈（Gao 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib12)）。这造成了扩展缺陷，需要能够自动化高保真环境生成并弥合主观启发式与可验证状态验证之间差距的基础设施。

为了解决这些挑战，我们引入了AgenticAI-Supervisor，一个为持续智能体评估和优化而设计的基础API和UI驱动的模拟环境（Muller 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib16)）。作为高保真真实标注引擎，该平台在安全沙箱中支持数千条并行、隔离的轨迹，智能体可以在其中与模拟工具和基于Web的UI交互（Zhang 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib15); Muller 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib16)）。通过将模拟直接集成到创作流程中，我们建立了一个可扩展的“运行-验证”循环，确保100%的数据完整性，并生成深度强化学习所需的可验证奖励（Zhang 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib15)）。我们的框架通过严格的内部状态变异测试来缓解奖励操纵问题，确保智能体轨迹与业务逻辑对齐，而不是利用启发式漏洞。我们的核心贡献包括：

- • 一个双阶段框架，将合成环境构建与高并发轨迹展开执行解耦。
- • 一个确定性奖励塑形引擎，超越启发式评估，转向严格的状态验证，惩罚幻觉并强制执行轨迹效率。
- • 一个自主客户支持智能体的案例研究，展示了我们在为多步约束推理和规划生成高保真轨迹方面的有效性。

## 2. 相关工作

本节回顾了最近关于评估和优化自主智能体的文献。我们重点关注向交互式模拟环境的转变（第2.1节 (https://arxiv.org/html/2607.05773#S2.SS1)）、强化学习（RL）在多步工作流中的应用（第2.2节 (https://arxiv.org/html/2607.05773#S2.SS2)），以及通过确定性和基于LLM的验证器进行自动奖励塑形（第4.3节 (https://arxiv.org/html/2607.05773#S4.SS3)）。

### 2.1. 从静态基准到交互式环境

历史上，LLM通过静态的单轮基准（例如，MMLU或GSM8K）进行评估，这些基准衡量孤立的文本预测或推理能力，而没有环境反馈。然而，随着LLM越来越多地被部署为自主智能体，这些静态指标无法捕捉现实世界任务所需的多步决策、规划和工具使用（Zhu 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib2); Mohammadi 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib1)）。为了弥合这一差距，引入了交互式评估框架和基准，如ALFWorld、WebShop和WebArena。这些平台模拟部分可观察的环境，智能体必须随着时间推移导航状态变化并适应动态反馈（Wang 等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib3); Xu 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib4)）。AgenticAI-Supervisor通过专注于高保真、特定企业的API仿真（而非通用的网页浏览或基于游戏的任务）扩展了这些范式，提供了一个可验证的“运行-验证”沙箱。

### 2.2. 智能体工作流的强化学习

虽然监督微调（SFT）对于教授模型基本的工具调用语法和聊天模板很有效，但对于训练能够错误恢复和长程规划的鲁棒智能体来说是不够的（Fireworks AI, 2025 (https://arxiv.org/html/2607.05773#bib.bib6); Unsloth AI, 2026 (https://arxiv.org/html/2607.05773#bib.bib5)）。强化学习（RL）已成为优化整个轨迹中智能体行为的标准方法。现代RL技术，如近端策略优化（PPO）和组相对策略优化（GRPO），不是强迫模型模仿静态的“黄金路径”，而是允许智能体探索推理路径，并根据可验证的结果接收反馈（Unsloth AI, 2026 (https://arxiv.org/html/2607.05773#bib.bib5)）。多轮RL中的一个关键挑战是环境稳定性和状态管理；我们的平台通过执行与确定性模拟数据库交互的无状态容器任务中的隔离轨迹展开来解决这一问题。

### 2.3. 自动评估与奖励塑形

为智能体系统扩展RL的主要瓶颈之一是可靠奖励函数的设计。在闭环系统中，确定性验证器（检查数据库变更、验证最终成本是否符合预算约束或通过单元测试）提供了最可靠的奖励信号，能够抵抗奖励游戏（Fireworks AI, 2025 (https://arxiv.org/html/2607.05773#bib.bib6)）。然而，对于开放性或定性交互，最近的框架越来越依赖“LLM作为评判者”机制。这些模型在每轮或每集级别评估轨迹，以提供标量奖励或检测重大偏差（Tan等人, 2026 (https://arxiv.org/html/2607.05773#bib.bib7); Chen 等人, 2025 (https://arxiv.org/html/2607.05773#bib.bib8)）。我们的架构同时包含了两者：严格的程序化验证器用于环境状态验证和轨迹效率，结合LLM评判者来惩罚幻觉并强制执行软约束。

## 3. 模拟与执行框架

生成高保真强化学习（RL）数据需要能够从静态合成过渡到功能性现实世界表示的环境。为了防止模拟与生产之间的性能差异，我们的架构将环境实例化与大规模执行解耦。这种系统性分离确保了智能体评估仍然代表实际的运行约束。

### 3.1. 高保真环境构建

企业工作流涉及复杂依赖和非确定性错误路径，这些在静态模拟中难以复制。为了捕捉这种功能保真度，我们的框架利用三个核心组件：

- • 智能体工作流：领域驱动的执行路径，包含标准操作以及故意设置的失败状态、缺失数据和模糊的工具响应，以测试智能体的韧性。
- • 基础工具模拟器：用于有状态工具的可重用基础设施，涵盖通过模型上下文协议（MCP）（Soria Parra 和 Spahr-Summers, 2024 (https://arxiv.org/html/2607.05773#bib.bib17)）规范进行工具接口标准化的后端API和交互式基于Web的UI。
- • 数据集连接器：一个状态管理层，将测试用例绑定到特定环境上下文，确保每次轨迹展开的一致初始化和基础。

参见图注图2. 使用AgenticAI-Supervisor构建的自主客户支持。客户请求由LLM智能体在模拟支持环境中处理，该环境具有用于账户、计费、策略和通信查询的只读工具，以及用于解决工作流的可操作工具。每次交互在沙箱内执行，记录为执行轨迹，并由奖励引擎根据结果验证、轨迹效率、幻觉惩罚和策略合规性进行评分。这些信号驱动迭代强化学习，以随着时间的推移提高解决方案质量和可靠性。屏幕阅读器的宽图文字描述。
### 3.2. 可扩展执行引擎与轨迹展开编排

测试运行引擎在隔离、无状态的沙箱中实现并行轨迹展开，以确保统计显著性。轨迹展开处理器配置容器化实例，具有离散的生命周期，防止迭代之间的状态泄漏。在环境中，智能体运行时编排交互循环，包括LLM提示、用于工具调用和GUI交互的动作解析以及观察检索。为了可观测性，离散事件（调用、执行、奖励分配）被记录为结构化跨度。这些跨度的聚合形成高保真执行轨迹，用于调试和奖励建模。

## 4. 用于强化学习的闭环奖励公式

奖励框架结合了终端验证标准与连续的轨迹效率信号，为策略优化提供了稀疏的任务完成反馈和密集的行为质量信号。

### 4.1. 执行轨迹仓库

所有轨迹展开数据（包括奖励分数、每个标准的子分数和中间跨度）在集完成时提交。每个跨度编码一个离散事件（LLM调用、工具调用、状态变更、奖励分配）。它们的聚合形成一个完整的执行轨迹，用于离线调试和批量采样。

### 4.2. 多维奖励塑形

奖励框架针对三个维度，每个维度针对在已部署的智能体系统中观察到的不同失败模式。终端标准（如结果奖励和约束遵守）提供了稀疏的二元信号，指示智能体是否达到有效的最终状态。同时，持续的轨迹效率奖励组件提供了密集的基于过程的反馈，涵盖工具正确性、调用冗余性、API错误率、必需工具覆盖率和步骤经济性。

结果奖励终端环境状态通过归一化动作键的多重集合相等性与精选的“标准答案”进行比较。此外，提交的状态必须满足可配置的预定资源预算。这个主要任务完成信号是二元的，并且忽略了智能体的自然语言输出和轨迹质量。

约束遵守智能体可能通过违反隐性行为约束的策略来满足结果标准。现实世界分析（详见第5节）发现，在仅基于结果奖励的情况下，大约40%的正面强化的集存在约束误表述，约3.8%的集存在捏造问题，这促使了显式约束验证。约束遵守强制执行：(i) 负面检查：记录不得假设被禁止的字段值；(ii) 副作用检测：集结束时的实体数量与设置时的基线进行比较，通过虚假记录创建捕捉奖励操纵；(iii) 输出保真度：智能体响应中捏造的事实声明与轨迹中工具API响应进行交叉验证。

轨迹效率奖励这是我们奖励公式中主要的基于过程的信号，通过直接使用结构化工具调用、GUI事件和结果记录来评估行为质量。它包含以下五个子组件：

- • *工具正确性*：独立于整体轨迹形状，对单个工具调用进行有效性评分。奖励线性组合了有效（无错误、未禁止）调用的比例与调用明确禁止操作的惩罚。
- • *冗余调用惩罚*：如果同一工具在先前成功调用已存在于轨迹中之后再次以相同参数被调用，则该工具调用被认为是冗余的，增加了轨迹长度而没有增加信息。
- • *验证错误惩罚*：返回错误响应的工具调用比例，惩罚格式错误的参数和无效的API使用。
- • *最小工具覆盖率分数*：确保根据任务规范调用所需工具，惩罚调用不足和过度使用。一个平滑的非线性函数混合了不足和过度惩罚，然后与冗余和错误惩罚通过sigmoid聚合，产生一个连续的单元归一化轨迹效率分数。
- • *步骤惩罚效率修正器*：通过用执行轨迹与真实标注轨迹之间的差异缩放奖励来惩罚不必要地长的轨迹展开。一个可配置的单位超参数控制衰减率，提供了可微的冗余惩罚。这激励智能体通过最少的推理步骤达到正确的终端状态。