面向智能体任务的以对象为中心的环境建模

# 面向智能体任务的以对象为中心的环境建模
来源：https://arxiv.org/html/2607.02846
Yiyang Li1, Tianyi Ma1, Zehong Wang1, Yijun Ma1, Yanfang Ye1† 1 圣母大学 † 通讯作者 \{yli62, yye7\}@nd\.edu 代码 (https://github.com/Yiyang-Ian-Li/OCM)

###### 摘要

大语言模型（LLM）智能体可以通过积累经验来提升性能，但随着交互的增加，自由形式的文本记忆变得难以维护、验证和复用。最近的符号化方法学习可执行的技能或程序化的世界模型，但通常存储局部过程或假设简化的动力学。我们提出**以对象为中心的环境建模**（OCM），将经验组织成一个可执行的、以对象为中心的环境模型。OCM维护两个相互连接的代码库：**对象知识**，将环境实体和机制定义为Python类；以及**过程知识**，记录可复用的交互模式，这些模式必须导入并使用对象模型。OCM在在线设置中工作：每个回合后，OCM反思轨迹，更新两个知识库，并验证所有过程在更新后的对象模型上能否成功执行。在未来的交互中，智能体使用渐进式知识披露，首先检查紧凑的代码签名，仅在需要时阅读源代码。实验表明，OCM在多个基准测试中取得了最佳平均排名，并减少了无效动作，证明智能体可以通过构建以对象为中心的环境模型获益。

面向智能体任务的以对象为中心的环境建模

Yiyang Li1, Tianyi Ma1, Zehong Wang1, Yijun Ma1, Yanfang Ye1† 1 圣母大学 † 通讯作者 \{yli62, yye7\}@nd\.edu 代码 (https://github.com/Yiyang-Ian-Li/OCM)

## 1 引言

参考图注图1：左上方：孤立的技能类似于零散的手册，它们假定的工具和部件可能不一致。右上方：整体的符号化世界模型类似于一个过于复杂的机器，试图对所有转换进行建模。底部：OCM首先标准化对象和机制，然后将过程知识建立在这个共享的对象模型之上，使经验更容易组织、验证和复用。随着大语言模型（LLM）智能体越来越多地部署在交互式环境中，它们从过去经验中学习的能力对于解决长周期和开放式任务变得至关重要。为了让智能体能够随时间改进，先前的工作引入了记忆机制，将之前的经验存储为文本记忆流、口头反思或可复用工作流。尽管有效，但随着智能体积累越来越多的交互，文本知识变得越来越难以管理。新写的知识可能与之前的冗余或不一致，而大量的文本知识难以验证或审计。这些限制可能使智能体行为更难控制且更不稳定，尤其是在复杂环境中，记忆中的错误可能传播到未来的决策中。

为了使积累的经验更容易检查和复用，越来越多的研究将智能体知识表示为符号化或可执行的形式。这些方法学习符号规则、基于代码的技能或程序化的世界模型，提高了可解释性并支持基于执行的验证。然而，现有方法通常只捕捉所需结构的一个方面。基于代码的技能学习存储了可复用的过程，但这些过程通常保持局部性，缺乏对使它们有效的对象、状态、可供性和前提条件的共享描述。程序化世界建模方法则旨在显式地建模环境动态，但通常在动作空间较小且状态定义明确的设置中进行研究。这留下了一个中间地带：智能体需要比孤立技能更具一致性的符号知识，但又比整体转换模型要求更低。图1总结了这种张力。关键挑战在于将经验围绕持久的环境实体和机制组织起来，以便过程知识能够在与共享对象级模型保持一致的同时被复用。

为了填补这一空白，我们提出**以对象为中心的环境建模**（OCM），一种使智能体能够通过交互构建和维护自身环境以对象为中心的模型的框架。OCM用两个相互连接的代码库表示智能体的知识。第一个**对象知识**定义了环境中对象的Python类；类属性和方法编码了对象属性和交互机制。第二个**过程知识**将交互经验存储为可执行的Python文件。每个过程文件描述了一段具体的知识或经验，并且必须导入并使用对象知识中定义的类。在每个交互回合之后，智能体更新两种形式的知识，并执行过程文件以检查积累的知识是否保持相互一致，将过去的经验转化为一个可审计、可执行、以对象为基础的环境模型。在未来的交互中，OCM智能体可以检查对象类和过程函数的签名，并有选择地阅读它们的源代码。OCM鼓励智能体围绕持久实体及其交互机制组织知识，从而实现更结构化的知识积累、自我一致性检查，以及在复杂环境中对先前经验更可控的复用。

我们在三个交互式基准测试上评估OCM：ScienceWorld、ALFWorld和PlanCraft。OCM在比较方法中取得了最佳平均排名，并减少了无效动作。这些结果表明，将过程经验建立在共享对象模型之上有助于智能体积累可复用的环境知识，并在复杂的交互任务中更可靠地行动。我们的主要贡献如下：

- 我们提出了**以对象为中心的环境建模**框架，将智能体经验表示为一个可执行的环境模型，由对象知识和基于对象的过程知识组成。
- 我们引入了一个持续学习循环，反思已完成轨迹、更新以对象为中心的代码库，并在提交新知识之前验证其可执行一致性。
- 我们在三个交互式基准测试上验证了OCM，并分析了其学习到的知识如何提升性能和行为可行性。

## 2 相关工作

### 2.1 记忆增强型智能体

记忆机制使LLM智能体能够在长周期交互中复用过去的经验。大多数现有方法主要将经验存储为自然语言记忆：Reflexion存储来自先前试验的口头反馈以改进后续尝试；ExpeL从成功和失败的轨迹中提取可复用的经验；Agent Workflow Memory将轨迹抽象为可复用的工作流。这些方法表明，经验复用可以显著改善智能体行为。但自由形式的文本记忆随着增长变得难以维护，学习到的记忆可能变得陈旧、冗余或相互不一致，并且大量的记忆集合难以验证或审计。OCM共享持续经验积累的目标，但将经验表示为可执行的、基于对象的代码，而非仅文本记忆。

### 2.2 符号化世界建模

符号化和可执行表示为智能体知识提供了更结构化的基础。面向对象建模的先前工作通过对象、属性、关系和转换机制来表示环境，支持抽象和迁移。最近的LLM智能体方法同样使用符号程序来存储可复用的知识。例如，Voyager、Wall-E和ASI以代码形式积累可执行技能；WorldCoder和PoE-World学习用于规划的Python世界模型。这些方法提高了可解释性并支持基于执行的验证，但它们通常关注结构化环境中的局部技能或世界建模。相比之下，OCM将过程经验与一个共享的以对象为中心的代码模型相结合，该模型定义了持久实体和机制。这鼓励了一个统一、可审计且自洽的环境模型，可以通过交互逐步更新。

参考图注图2：OCM概述。(a) 在一个回合中，智能体使用渐进式知识披露：首先观察已学习的对象和过程代码的签名，然后有选择地检查相关源代码，再选择环境动作。(b) 每个回合后，OCM将轨迹转换为以对象为中心的更新计划，生成新的候选对象和过程代码，并在验证后提交更新，所有过程文件必须针对更新后的对象代码成功执行。通过将过程知识建立在共享对象知识之上，OCM维护了一个可执行且可审计的环境模型，用于未来的交互。

## 3 以对象为中心的环境建模

### 3.1 预备知识

#### 问题形式化。

我们考虑一个部分可观察的交互式环境，观察空间为 O，动作空间为 A。智能体在 K 个任务回合 {τₖ}ₖ₌₁ᴷ 上持续与环境交互。在第 k 个回合的第 t 步，智能体观察到 oₜᵏ ∈ O 并选择动作 aₜᵏ ∈ A。第 k 个回合的轨迹记为 Hᵏ = (o₀ᵏ, a₁ᵏ, o₁ᵏ, ..., a_Tᵏ, o_Tᵏ)，其中 o₀ᵏ 包含初始任务描述。回合终止后，智能体收到最终奖励 Rᵏ ∈ [0, 1]。目标是通过持续交互和知识积累，最大化任务成功率和累积奖励 ∑ₖ₌₁ᴷ Rᵏ。

#### 知识表示。

OCM维护一个可执行的环境模型，由两个相互连接的代码库组成。第一个是**对象知识**，记为 Kₒ，实现为一个Python模块，定义对象类和辅助函数。这些类编码环境中的可复用实体，包括其可观察状态、可供性、约束、关系和转换机制。第二个是**过程知识**，记为 Kₚ，实现为一组Python文件。每个过程文件记录了一个专注的交互模式或经验规则，例如某个机制何时适用、某个动作为何成功或失败，或者如何解释反馈。OCM的一个核心约束是过程知识必须建立在对象知识之上。一个过程文件不允许作为孤立的轨迹摘要存在；它必须导入并使用 Kₒ 中的类或函数。因此，回合经验与持久的对象级抽象相关联，而不是作为脱节的文本记忆或动作脚本存储。 (Kₒ, Kₚ) 共同构成了智能体的以对象为中心的环境模型。

#### 概述。

在第 k 个回合中，如果已经积累了知识，智能体使用当前的环境模型进行行动。智能体被提供 Kₒᵏ 和 Kₚᵏ 的紧凑接口：对象类和方法函数的签名，以及过程文件及其公共函数的索引。这些摘要暴露了学习到的模型的结构，而无需将所有积累的源代码放入提示中。

一个回合结束后，OCM通过两个阶段更新其环境模型。首先，一个以对象为中心的反思阶段将轨迹转换为结构化的学习计划，识别哪些可重用的对象机制或过程模式可能需要创建或修改。其次，一个知识更新阶段为计划中的变化生成具体的Python代码，并验证产生的候选知识库。只有当候选代码在当前对象模型上可执行时，更新才会被提交。

如图2所示，这形成了一个封闭的学习循环：未来的决策基于当前的以对象为中心的模型；新的反馈被反映到以对象为基础的模型中；只有与先前知识保持一致且可执行的更新才会被纳入。

### 3.2 以对象为中心的知识反思

反思阶段将一个完成的回合转换为结构化的学习计划。OCM不是直接从原始轨迹重写知识库，而是首先决定应学习*什么*。这种分离防止了偶然的回合细节（如临时位置、重复的无效动作或特定任务的序列）被存储为长期知识。

给定轨迹 Hᵏ，任务结果 Rᵏ，对象签名 Sig(Kₒ