信念校准优化：一个明确的智能体优化世界模型

# 信念校准优化：面向智能体优化的显式世界模型  
来源：https://arxiv.org/html/2609.01861  
Zhihua Tian，Mahavir Dabas，Charith Peris，Rahul Gupta，Ming Jin，Feiyang Kang，Siyuan Zhang，Nan Wang，Ruoxi Jia  

###### 摘要  
大型语言模型（LLM）智能体的性能取决于冻结模型周围的“脚手架”。改进该脚手架的一种常见方式是使用“编码智能体”作为优化器：它读取当前的分数和追踪信息，并迭代地编辑源代码，每一轮产生一个新的候选方案。每次编辑都是根据对环境如何响应的信念选择的：问题出在哪里，以及哪种修改应该有所帮助。这种信念通常是隐式的。它存在于编码智能体当前调用的推理中，或者潜伏在其参数中，而不是以书面形式存在。因此，后续调用可以看到分数和追踪信息，但它们并未利用该信念。我们引入了信念校准优化（Belief-Calibrated Optimization, bco），该方法将此信念写为一个持久的上下文内文档，并随着新候选方案的评估而持续修订该文档。生成的文档是一个“世界模型”：关于环境如何响应编辑的当前描述。将其添加到一个原本标准的循环中，bco在五个涵盖记忆问答、工具使用问答、代码作为动作的应用智能体和终端智能体的基准测试上，达到了比一个仅缺少世界模型的匹配对照组更高的训练通过率。该差距在每一个保留集（用于选择候选方案）上仍然存在。在目标模型替换之后（即冻结模型被替换而脚手架未被替换），选定的bco脚手架在我们测试的任务上领先，除非上下文窗口溢出导致其未完成。随后进行的离线消融实验询问，这种差距是否源于世界模型所说明的内容。一个给定累积文档的新预测器，比给定无文档或内容被篡改的同形式副本的预测器，更准确地预测环境的响应。比较表明，文档携带的是可复用的信息存在于内容中，而不仅仅在于形式。  
1 弗吉尼亚理工大学，2 亚马逊，3 独立研究者  

## 1 引言  
LLM智能体的性能由其权重和周围的“脚手架”共同决定。强大的模型通常作为冻结的闭合端点提供服务，因此脚手架是从业者实际上可以改变的部分。最近的一系列工作使用编码智能体“提议者”作为优化器：它读取当前脚手架的分数和追踪信息，诊断问题所在，并编辑源代码以产生新的候选方案，其评估结果随后为下一轮提供信息（Hu 等人 2024 (https://arxiv.org/html/2609.01861#bib.bib5)；Zhang 等人 2024 (https://arxiv.org/html/2609.01861#bib.bib6)；Yang 等人 2023 (https://arxiv.org/html/2609.01861#bib.bib7)；Lee 等人 2026 (https://arxiv.org/html/2609.01861#bib.bib9)；Chen 等人 2026 (https://arxiv.org/html/2609.01861#bib.bib10)；Liu 等人 2026 (https://arxiv.org/html/2609.01861#bib.bib11)；Zhang 等人 2025 (https://arxiv.org/html/2609.01861#bib.bib15)）。在整个过程中，冻结的模型不会更新；只有周围的程序会演进。每次编辑都是根据对环境如何响应的信念选择的：瓶颈在哪里，以及哪种修改应该对哪些任务有帮助。这种信念通常停留在提议者的推理或参数中，因此后续轮次虽然能看到分数和追踪信息，却没有利用产生上次编辑的信念。参见图例 图1：BCO概述。vanilla（上）根据分数和追踪信息更新脚手架。bco维护一个持久的世界模型，并重复三个步骤：在评估前预测任务级别的效果（1），应用并评估机制级别的编辑（2），以及根据观察到的追踪信息修正信念（3）。我们引入了信念校准优化（Belief-Calibrated Optimization, bco），它将该信念写为一个持久的上下文内文档，并随着新候选方案的评估而持续修订该文档（图1 (https://arxiv.org/html/2609.01861#S1.F1)）。生成的文档是一个“世界模型”：关于环境如何响应编辑的当前描述。在运行过程中，目标模型、任务和评估保持不变，因此环境如何响应可以累积而非重新学习。这是贝叶斯自适应MDP的设定，我们从中继承了一个事实：需要保留的是关于该响应的信念（Duff 2002 (https://arxiv.org/html/2609.01861#bib.bib21)；Ghavamzadeh 等人 2015 (https://arxiv.org/html/2609.01861#bib.bib3)）。我们的贡献如下：  
1. **信念校准优化**。我们提出bco，它将世界模型维护为一个持久的上下文内文档（§3 (https://arxiv.org/html/2609.01861#S3)）。  
2. **在四个任务类别上的增益，以及其背后机制的证据**。与一个仅缺少世界模型的匹配对照组相比，bco在所有五个基准测试上都达到了更高的训练通过率，并且该差距在每一个保留集上仍然存在。在目标模型替换之后，选定的脚手架在我们测试的任务上领先，除非上下文窗口溢出导致其未完成。一项离线消融实验表明，给定累积文档的新预测器，比给定无文档或内容被篡改的同形式副本的预测器，能更准确地预测环境响应，因此可复用的信息存在于内容中，而不仅仅在于形式（§4 (https://arxiv.org/html/2609.01861#S4)）。  

## 2 迭代式智能体优化  
我们将“智能体优化”定义为一个迭代过程，其中一个基于LLM的智能体通过提出修改方案、评估其结果，并利用由此产生的证据来指导后续提案，从而改进一个人工制品。该人工制品可以是提示、程序、工作流或智能体脚手架。在迭代 t 时，提议者查看已经评估的人工制品，并选择一个作为要编辑的父本。对该父本的编辑 a_t 产生一个新的候选方案 x_t。环境在固定的“评分”任务集 Q（从任务分布 𝒬 中抽取一次）上评估 x_t，并返回一个结果 o_t：一个聚合分数、任务级结果、执行追踪和工具输出。经过 T 次迭代后，优化器返回其实际评估过的候选方案之一，通过它唯一能观察到的效用进行选择：  
\[
\hat{x} = \arg\max_{x \in \{x_1, \ldots, x_T\}} \widehat{U}_Q(x), \quad \widehat{U}_Q(x) = U(x) + \varepsilon_x,
\]  
(1)  
其中 U 表示在 𝒬 上的总体效用。在我们的实验中，它是在与 Q 不相交的保留任务集上估计的。噪声项 ε_x 收集了划分特定和评估噪声。在基于 \widehat{U}_Q 选择却在 U 上接受评判是优化者的“诅咒”设定（Smith 和 Winkler 2006 (https://arxiv.org/html/2609.01861#bib.bib20)）：在 Q 上得分最高的候选方案是 ε_x 最有利的那个，因此仅在 \widehat{U}_Q 上进行爬山可能在 𝒬 上损失效用。一个显式的环境模型旨在帮助提议者区分真实效果和有利的 ε_x。  

## 3 信念校准优化  

### 3.1 概述  
环境将如何响应编辑，在运行开始时是未知的。在运行过程中，冻结的目标模型、评分集 Q 和评估程序保持不变，因此每个结果仍然是关于相同响应的证据。bco 将关于该响应的信念作为一个持久的世界模型 W_t 进行携带。这种未知但固定的响应，在此循环中，是贝叶斯自适应 MDP 的设定，我们从中继承了携带信念的决定（Duff 2002 (https://arxiv.org/html/2609.01861#bib.bib21)；Ghavamzadeh 等人 2015 (https://arxiv.org/html/2609.01861#bib.bib3)）。  
图1 (https://arxiv.org/html/2609.01861#S1.F1) 说明了 bco 的整体工作流程。在迭代 t，优化器考虑先前的交互历史 h_t（迄今为止的人工制品、编辑、分数和追踪信息）和 W_t，从这些人中选择一个父本，并提出一个编辑：  
\[
a_t \sim \pi_{\text{opt}}(\cdot \mid h_t, W_t).
\]  
(2)  
该编辑产生一个新的候选方案。在评估之前，优化器为该候选方案记录一个预测，粒度由协议支持（通常是任务子集）。然后执行该候选方案以获得分数和追踪信息。在下一次迭代开始之前，bco 比较预测的和观察到的候选方案结果，并利用它们的差异来更新世界模型：  
\[
W_{t+1} = \operatorname{Update}\left(W_t, \widehat{\mathcal{O}}_t, \mathcal{O}_t\right),
\]  
(3)  
其中 \widehat{\mathcal{O}}_t 和 \mathcal{O}_t 分别表示预测的和观察到的结果。包含预测 \widehat{\mathcal{O}}_t 是因为它使更新变得局部化。它指定了哪些信念被押注于候选方案以及这些信念暗示了什么结果。因此，由此产生的差异可以识别观察到的结果所涉及的信念，而不仅仅是表明需要进行一些修订。校准后的 W_{t+1} 随后在提议下一个候选方案时提供给优化器。因此，bco 在保留标准的提议-评估优化循环的同时，使候选方案生成背后的信念变得明确，并根据实验证据持续修订它们。  
#### 实例化。  
W_t 是一个单独的 Markdown 文档 `world_model_calibration.md`，在迭代开始时复制到提议者的工作区，并在迭代结束时写回。提议者的指令是一个通过包含其他文件组装而成的 `SKILL.md` 文件。其中一个包含的文件，“校准模块”，告诉提议者如何维护该文档以及如何运行预测-观察-修正循环。移除此包含文件会得到 vanilla，它在我们的实验中一直用作比较方法。两种方法都接收相同的“证据面”：每个先前迭代的差异、评估输出、追踪信息和完整的源代码快照，以及跨迭代的任务-分数矩阵，所有内容都可以按需读取。vanilla 缺乏一个持久的地方来记录其结论，因此它的每次调用都必须从原始证据中重构其理解。  

### 3.2 信念构建  
文档 W_t 记录了从当前人工制品、任务级分数和追踪信息以及先前候选方案评估中形成的可复用信念。我们根据它们描述的环境响应部分，区分“执行信念”和“评估信念”。  
- **执行信念** 描述在特定条件下编辑预计如何影响智能体行为。它们将 *模型、当前脚手架、任务和外部环境* 的属性与执行轨迹的预期变化联系起来。例如，它们可能捕捉反复出现的模型局限性、当前脚手架的瓶颈、一类任务所需的能力或外部工具施加的约束。这些信念帮助优化器估计候选编辑可能如何影响智能体行为和任务性能。  
- **评估信念** 描述评估系统将执行轨迹映射到观察结果的可靠性。它们记录了先前评估所揭示的评估器的反复出现的局限性或错误，以及其反馈可能不可靠的条件。这些信念帮助优化器在比较预测和观察到的性能时考虑评估限制。  
我们将 W_t 表示为原子信念的集合：  
\[
\begin{split}
W_t &= \{\beta_{t,i}\}_{i=1}^{m_t}, \\
\beta_{t,i} &= \left( \phi_{t,i}, \mathcal{C}_{t,i}, c_{t,i}, s_{t,i}, E_{t,i}^+, E_{t,i}^-, \mu_{t,i} \right),
\end{split}
\]  
(4)  
其中 \phi_{t,i} 是关于执行或评估过程的一个可证伪的说法，\mathcal{C}_{t,i} 指定其适用的条件，c_{t,i} \in [0,1] 表示其置信度，s_{t,i} \in \{\text{hypothesis}, \text{confirmed}, \text{refuted}\} 表示其状态，E_{t,i}^+ 和 E_{t,i}^- 记录支持性和矛盾性证据，而 \mu_{t,i} 是信念的“质量”：它大致解释的观察到的失败次数。这个量有助于跨信念分配实验预算。m_t 是迭代 t 中的信念数量。分数和追踪事件为这些信念提供证据，而信念本身捕捉了解释和概括，可以为未来的候选方案生成提供信息。bco 在 W_t 中仅当特定任务的诊断支持这种可复用的说法时，才保留它。在文档中，这些原子是其“信念”部分，每个 \beta_{t,i} 一个条目，旁边是“实验”部分，记录哪些编辑已经探测了每个信念以及什么结论，这样没有信息或收益的编辑就不会被再次尝试。文档开始时是空的：它仅从运行自身的证据中填充，并且禁止预先播种猜测的故障模式，因为那样会将置信度放在没有任何观察支持的说法上。  

### 3.3 信念校准  
评估后，提议者将预测与观察到的结果进行比较，并一次更新一个信念。此结果未涉及的信念保持不变。更新是 W_t 上的一系列简短操作：  
\[
\begin{split}
\Delta W_t &= (\delta_1, \ldots, \delta_{k_t}), \\
\delta_j &\in \{\textsc{Add}, \textsc{Revise}, \textsc{Merge}, \textsc{Remove}\}, \\
W_{t+1} &= \operatorname{Apply}(W_t, \Delta W_t).
\end{split}
\]  
(5)  
`Add` 插入一个新信念。`Revise` 更改现有信念的说法、范围、置信度、状态或证据。`Merge` 合并重叠的信念。`Remove` 删除一个累积证据已证伪的信念。此更新在下一次迭代开始时，在选择新编辑之前运行。提议者首先根据原始结果（相对于父本的每任务结果和执行追踪，而不是脚手架智能体的最终消息）对先前的预测文件 `prediction.md` 进行评分。它将 \Delta W_t 应用于“信念”部分，并将一条记录追加到仅追加的“历史”部分，这样被证伪的信念仍然保留在记录中。然后它选择下一个编辑：对不确定信念的探测，或对有充分支持信念的行动。只有在那时，它才写下下一个 `prediction.md`，在进行任何源代码更改之前。该预测命名了涉及的信念、编辑的机制以及关于任务 *子集* 的一个说法。候选代码保持通用：预测可以命名任务 ID，但源代码不能根据它们进行分支。  
示例 3.3 (https://arxiv.org/html/2609.01861#S3.SS3) 在 GAIA 上实例化了此循环；清单 2 (https://arxiv.org/html/2609.01861#LST2) – 3 (https://arxiv.org/html/2609.01861#LST3) 逐字给出了相同的文件。  
**示例 1**（GAIA，迭代 15-16）  
**预测**。在迭代 15，世界模型识别出长交互历史中的隐藏证据。它预测，从压缩的证据摘要中回答将至少提高该长上下文子集 0.10。  
**观察**。该摘要恢复了五个任务，但导致了四个回归：它在每个情节后运行，并替换了主循环中已经正确的答案。  
**修正**。迭代 16 仅在主循环答案为空或占位符时运行摘要回合，并且仅接受具体输出。又通过了五个任务，没有回归，训练通过率从