修复放大器而非症状：面向Agent Rollouts的稳定世界模型纠正

# 修复放大器，而非症状：面向智能体展开的稳定世界模型校正  
来源：https://arxiv.org/html/2607.01767  

Xinyuan Song¹　Zekun Cai²,³  
¹埃默里大学，亚特兰大，佐治亚州，美国  
²东京大学，东京，日本  
³LocationMind，东京，日本  
[email protected], [email protected]  

###### 摘要  

随着智能体规划从短工具链向包含数千乃至数万步的持久工作流演进，失败将出现在大型规划图内部，而非孤立的预测中。在每个错误后重新规划整个图既不符合计算现实，也不可取：全图重放会消耗大量上下文预算，使LLM暴露于许多无关症状，并可能降低长上下文检索能力。本文研究此类系统中缺失的组件：一个能够就地修复失败规划图的世界模型校正器。我们比较了两类校正器。第一类是常见的工程方法：扫描节点和边，选择一个可疑的局部区域，然后让LLM修复它。我们实现了强大的工程LLM校正器，发现它们在获得非常大的上下文时会有帮助。第二类是我们的方法WM-SAR（世界模型子图放大修复）：它不扫描可见症状，而是从子图放大逆向工作，识别持续放大误差的节点和边，仅将该因果子图发送给LLM。在图形模拟和LLM修复实验中，WM-SAR在现实令牌预算下显著优于工程校正器，用一个紧凑区域实现接近全图的稳定，并为LLM提供了更干净的修复目标。我们的代码位于：https://github.com/Hik289/world-model-corrector.git  

# 修复放大器，而非症状：面向智能体展开的稳定世界模型校正  
Xinyuan Song¹　Zekun Cai²,³  
¹埃默里大学，亚特兰大，佐治亚州，美国  
²东京大学，东京，日本  
³LocationMind，东京，日本  
[email protected], [email protected]  

## 1 引言  

#### 世界模型正成为规划基础设施。  
世界模型最初被引入作为学习模拟器，让智能体在行动前想象未来状态（Ha and Schmidhuber, 2018 (https://arxiv.org/html/2607.01767#bib.bib1)；Sutton, 1991 (https://arxiv.org/html/2607.01767#bib.bib3)）。现代变体支持潜在展开、搜索、基于模型的控制和关系状态预测（Chua et al., 2018 (https://arxiv.org/html/2607.01767#bib.bib36)；Hafner et al., 2019 (https://arxiv.org/html/2607.01767#bib.bib25)；Schrittwieser et al., 2020 (https://arxiv.org/html/2607.01767#bib.bib4)；Hafner et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib2)；Zhang et al., 2021 (https://arxiv.org/html/2607.01767#bib.bib33)；Feng et al., 2025 (https://arxiv.org/html/2607.01767#bib.bib34)）。与此同时，LLM智能体正从单轮预测转向工具使用、网页导航、软件工程和持久探索（Yao et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib5)；Zhou et al., 2024b (https://arxiv.org/html/2607.01767#bib.bib46)；Jimenez et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib45)；Yang et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib47)；Liu et al., 2024b (https://arxiv.org/html/2607.01767#bib.bib16)；Shen et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib19)；Wang et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib40)）。这两个趋势指向同一个未来系统：智能体维护一个工作世界模型，通过它进行规划，用工具反馈更新它，并在多个决策中重复使用。  

#### 长规划自然演变为图。  
在短任务中，展开可以视为一系列步骤。但在长任务中，这种观点会失效。规划器产生工具调用；验证器门控后续动作；内存写入被遥远的后代重用；异常触发恢复分支；最终答案依赖于多个早期子轨迹。结果对象是一个规划图，而非平面转录本。随着智能体被部署到更长的工作流中，这个图可能包含数千甚至数万个节点。因此，在每个错误后重新规划整个图并非可行的维护策略。它消耗上下文预算，迫使LLM从大量无关节点中检索相关原因，并且特别危险，因为长上下文模型可能无法使用远离提示边界的信息（Liu et al., 2024a (https://arxiv.org/html/2607.01767#bib.bib39)）。  

#### 这产生了对世界模型校正器的需求。  
校正器是规划图的维护机器人。当出现失败时，校正器应决定图的哪一部分需要修改，将该区域传递给LLM或其他修复模块，并保持世界模型其余部分不变。这与普通的重新规划不同：校正器必须在一个更大的图中识别一个小的因果区域。如果它只选择可见的症状，下一次展开可能重新产生失败；如果它选择图的太多部分，该方法就变成了昂贵的全重放。  

#### 一个强大的默认方案是工程LLM校正器。  
最直接的实现是用工程规则扫描规划图。可以按误差对节点排序，取前K个可疑节点，检查高误差边，选择失败周围的时间窗口，展开k跳邻域，运行级联扫描，或将大区域序列化为LLM根因提示。这个系列很有吸引力，因为它简单、与模型无关，并且与反馈、自我改进和重新规划方法兼容（Yao et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib18)；Madaan et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib24)；Shinn et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib7)；Zhou et al., 2024a (https://arxiv.org/html/2607.01767#bib.bib8)；Cobbe et al., 2021 (https://arxiv.org/html/2607.01767#bib.bib37)；Lightman et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib38)）。我们仔细实现了这个工程系列，包括基于LLM的版本。结果是一个有意义的基线：工程校正器可以工作，并且在小型图上，全图LLM修复可能很强。它们的局限性正是驱动此问题的局限性。它们通过扫描可见证据来消耗预算，因此可能错过重新放大误差的小子图，并且它们的最佳变体依赖于随着规划图增长而变得昂贵和嘈杂的上下文。  

#### 我们的校正器从放大逆向工作。  
我们提出 WM-SAR（世界模型子图放大修复）。不同于扫描看起来最错误的节点，WM-SAR 询问哪个连通子图使残差世界模型保持不稳定。我们将失败的展开表示为一个类型化图，并定义一个残差节点-边误差算子。该算子的谱半径决定了剩余误差在下一次展开中是衰减还是放大；证明在附录中。WM-SAR 利用这个量从放大逆向工作：它对局部放大进行评分，估计节点-边耦合，通过边际谱松弛增长一个连通区域，然后将该区域仅发送给 LLM。图1 (https://arxiv.org/html/2607.01767#S1.F1) 显示了工程修复和放大修复为何导致不同结果。  

参见图注  

图 1：世界模型校正应针对放大器而非最明显的症状。贪婪修复修复了最高误差节点，但留下了因果路径活性。固定的局部邻域仍可能错过重现失败的节点-边耦合。WM-SAR 选择其移除能降低残差放大的紧凑连通路径，这平缓了在时间范围 H 上的经验 NodeMSE 曲线。  

#### 贡献。  
1. ∙ 问题形式化：我们将世界模型校正形式化为在有限修复预算下维护一个失败的规划图，而非重新规划整个图。  
2. ∙ 工程校正器：我们实现了一个强大的LLM和非LLM工程校正器系列，基于节点扫描、窗口、邻域、级联和全图提示。  
3. ∙ 放大校正器：我们引入 WM-SAR，它在调用 LLM 之前使用 GEAF、节点-边耦合和边际残差谱松弛来推断放大子图。  
4. ∙ 理论与证据：我们证明残差谱半径控制着展开误差和规划遗憾，并且实验表明 WM-SAR 在使用更小的修复上下文时胜过工程校正器。  

## 2 相关工作  

#### 用于规划的世界模型。  
世界模型规划可追溯到交错学习、规划和行动的架构（Sutton, 1991 (https://arxiv.org/html/2607.01767#bib.bib3)）；现代学习世界模型在潜在空间中模拟未来状态（Ha and Schmidhuber, 2018 (https://arxiv.org/html/2607.01767#bib.bib1)；Hafner et al., 2019 (https://arxiv.org/html/2607.01767#bib.bib25), 2023 (https://arxiv.org/html/2607.01767#bib.bib2)）并且可以与搜索结合（Schrittwieser et al., 2020 (https://arxiv.org/html/2607.01767#bib.bib4)）。概率动力学模型通过想象的展开传播不确定性（Chua et al., 2018 (https://arxiv.org/html/2607.01767#bib.bib36)），而基于模型的策略优化研究在累积模型偏差下，短的学习展开何时仍然可信（Janner et al., 2019 (https://arxiv.org/html/2607.01767#bib.bib41)）。Asadi et al. (2018 (https://arxiv.org/html/2607.01767#bib.bib35)) 建立了 Lipschitz 连续性作为有界展开误差的充分条件——我们的图算子视角将此标量准则提升到结构化智能体规划。图结构世界模型（Zhang et al., 2021 (https://arxiv.org/html/2607.01767#bib.bib33)；Feng et al., 2025 (https://arxiv.org/html/2607.01767#bib.bib34)；Battaglia et al., 2018 (https://arxiv.org/html/2607.01767#bib.bib26)；Hafner et al., 2019 (https://arxiv.org/html/2607.01767#bib.bib25)）将其扩展到关系状态空间，其中消息传递预测实体和依赖关系如何共同演化。Anokhin et al. (2025 (https://arxiv.org/html/2607.01767#bib.bib42)) 为智能体规划构建情景图记忆。最近的 LLM 智能体系统也使用世界知识或环境动态来指导规划（Qiao et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib44)；Chae et al., 2025 (https://arxiv.org/html/2607.01767#bib.bib43)）。我们的工作解决了之前未研究的问题：*如何修复* 一个失败的 GWM 展开——针对哪个子图以及为什么。  

#### LLM 智能体与失败修复。  
ReAct (Yao et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib5)) 交错推理和行动；Toolformer (Schick et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib6))、Gorilla (Patil et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib10))、RestGPT (Song et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib11)) 和 ToolLLM (Qin et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib9)) 教 LLM 调用工具或 API。Self-Refine (Madaan et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib24)) 应用迭代自我反馈来提高生成质量。Reflexion (Shinn et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib7)) 将语言反馈存储在记忆中，而 LATS (Zhou et al., 2024a (https://arxiv.org/html/2607.01767#bib.bib8)) 结合语言智能体规划与树搜索。基于验证器和过程监督的方法为多步推理提供更细粒度的反馈（Cobbe et al., 2021 (https://arxiv.org/html/2607.01767#bib.bib37)；Lightman et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib38)）。Retroformer (Yao et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib18)) 使用策略梯度追溯来纠正失败的 ALFWorld (Shridhar et al., 2021 (https://arxiv.org/html/2607.01767#bib.bib17)) 轨迹。AgentBench (Liu et al., 2024b (https://arxiv.org/html/2607.01767#bib.bib16)) 和 AgentBoard (Ma et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib20)) 在各种任务上对 LLM 智能体进行基准测试；TaskBench (Shen et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib19)) 评估工具链任务自动化。SWE-bench (Jimenez et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib45)) 和 SWE-agent (Yang et al., 2024 (https://arxiv.org/html/2607.01767#bib.bib47)) 对代码仓库修复进行基准测试；WebArena (Zhou et al., 2024b (https://arxiv.org/html/2607.01767#bib.bib46)) 对逼真的网页导航智能体进行基准测试。第7.7节 (https://arxiv.org/html/2607.01767#S7.SS7) 模拟了受基准测试启发的拓扑结构，以测试 WM-SAR 是否依赖于合成调用树形状。  
Zhang et al. (2025 (https://arxiv.org/html/2607.01767#bib.bib21)) 将任务失败归因于多智能体 LLM 系统中的特定智能体——这是与我们互补的问题（归因 vs 修复）。Lu et al. (2025 (https://arxiv.org/html/2607.01767#bib.bib22)) 可视化 LLM 智能体行为以进行交互分析。所有这些方法都依赖于线性追踪扫描或全轨迹重放；没有一种使用图谱分析来选择*最小因果子图*进行有针对性的 LLM 修复。  

#### 图论误差分析。  
谱图理论（Chung, 1997 (https://arxiv.org/html/2607.01767#bib.bib29)) 将图特征值与扩散和传播现象联系起来。Topping et al. (2022 (https://arxiv.org/html/2607.01767#bib.bib28)) 通过 Ricci 曲率研究 GNN 中的过度压缩，显示瓶颈边导致信息丢失——我们的 κv 耦合因子识别了类似的*放大瓶颈*。Gilmer et al. (2017 (https://arxiv.org/html/2607.01767#bib.bib27)) 建立了消息传递神经网络框架，该框架是大多数 GWM 架构的基础。图异常检测（Niu et al., 2023 (https://arxiv.org/html/2607.01767#bib.bib30)) 和故障定位（Lou et al., 2021 (https://arxiv.org/html/2607.01767#bib.bib31)) 同样旨在识别关键子图，但针对的是没有规划时间范围遗憾目标的静态图。我们的 GEAF（图误差放大场）是第一个从展开误差理论导出的每节点量，能够在调用 LLM 之前*前瞻性地*识别放大源。  

#### 子图选择与 PageRank。  
PageRank (Page et al., 1999 (https://arxiv.org/html/2607.01767#bib.bib32)) 通过全局影响力对节点评分；TopK 选择和 k 跳扩展是图分析中的标准启发式方法。Gleave and Irving (2022 (https://arxiv.org/html/2607.01767#bib.bib23)) 列举了基于 LLM 的奖励模型的失败模式，指出局部校正可能留下全局病理——这与我们发现节点级修复不能降低 ρ(B) 一致。WM-SAR 则通过 Δρ 松弛准则贪婪地增长一个*连通*区域，直接针对控制规划遗憾界限的谱量。  

## 3 展开误差理论  

我们现在说明为什么校正器应该优化放大而非可见误差。在一个大型规划图中，即时症状可能远在导致下一次展开重现失败的节点或边之下。因此，修复只有在降低传播节点状态和边状态误差的算子时才有用。证明推迟到附录。  

###### 定义 1（节点状态展开误差）。  
对于一个图世界模型，设真实节点状态为 X_k，预测节点状态为 \hat{X}_k（在展开步骤 k），定义 e^X_k = ||\hat{X}_k - X_k||_F。令 ε_X 表示单步模型逼近误差。  

###### 假设 1（固定边 Lipschitz 展开）。  
对于一个具有邻接矩阵 A 的固定图，消息传递更新在节点状态上是全局 Lipschitz 的。