世界模型塌缩作为一种相变

# 世界模型崩溃即相变
来源：https://arxiv.org/html/2606.31399
Xinyuan Song¹, Zekun Cai²,³
¹埃默里大学，亚特兰大，佐治亚州，美国
²东京大学，东京，日本
³LocationMind，东京，日本
xinyuan\.song@emory\.edu, caizekun@csis\.u\-tokyo\.ac\.jp

###### 摘要

水在加热时看似不变，但在临界点会沸腾。我们探究长视野语言代理在其隐式世界模型中是否表现出类似的相变。在某些参数设置下，状态负载的微小变化或单一步长增加几乎不改变行为；但在临界边界附近，同样的微小变化会导致突然的世界崩溃。我们在一组确定性的任务族中研究这种效应，该任务族具有精确的每步真实状态。通过大规模网格搜索状态基数、依赖密度、视野、分支、观察模式和变异率，我们发现了一个相图：一个求解高原、一个狭窄的过渡带和一个崩溃底限。每步轨迹揭示了其机制：世界状态保真度在行动有效性之前失效，因此代理不仅仅是选择了一个糟糕的行动，而是从一个被破坏的世界出发采取行动。更强的模型会平移临界边界，但不会消除这种定性转变。这些结果使世界模型崩溃成为长视野代理的一个可测量的瓶颈。代码可在 https://github.com/Hik289/world-model-collapse.git 获取。

# 世界模型崩溃即相变
Xinyuan Song¹, Zekun Cai²,³
¹埃默里大学，亚特兰大，佐治亚州，美国
²东京大学，东京，日本
³LocationMind，东京，日本
xinyuan\.song@emory\.edu, caizekun@csis\.u\-tokyo\.ac\.jp

## 1 引言

许多系统在控制参数越过临界值之前看似稳定。水可以从90°C加热到99°C而不改变相态，但接近100°C时，微小的升温就会导致沸腾。我们认为长视野语言代理可能以同样的定性方式失效。代理可能在一段时间内追踪任务、更新记忆并选择合理的行动；然而，状态负载、依赖密度或视野的微小增加可能将隐式世界模型推过临界点。结果并非逐渐退化，而是世界崩溃：代理继续流畅地推理，但其推理所依据的已表征世界已经出错。这种类比之所以有用，是因为相变不仅由戏剧性的结果定义，更由响应曲面的几何形状定义。统计物理学区分了控制参数、序参量、临界区域、有限尺寸交叉和崩溃前兆（Stanley and Ahlers, 1973（https://arxiv.org/html/2606.31399#bib.bib91）；Goldenfeld, 2018（https://arxiv.org/html/2606.31399#bib.bib92）；Sethna, 2021（https://arxiv.org/html/2606.31399#bib.bib93））。我们在不声称热力学极限的情况下使用相同的操作性语言。在我们的设定中，状态负载和依赖密度是控制参数，任务成功是序参量，而世界状态保真度是前兆。问题是，观察到的曲面看起来像是平滑漂移，还是像有限网格上的相变。

这种观点不同于通常的漂移故事。在ReAct风格和Reflexion风格的代理（Yao et al., 2023b（https://arxiv.org/html/2606.31399#bib.bib14）；Shinn et al., 2023（https://arxiv.org/html/2606.31399#bib.bib43））、搜索骨架如Tree-of-Thoughts和Graph-of-Thoughts（Yao et al., 2023a（https://arxiv.org/html/2606.31399#bib.bib15）；Besta et al., 2024（https://arxiv.org/html/2606.31399#bib.bib16））以及大规模代理基准（Shridhar et al., 2021（https://arxiv.org/html/2606.31399#bib.bib1）；Wang et al., 2022（https://arxiv.org/html/2606.31399#bib.bib2）；Yao et al., 2022（https://arxiv.org/html/2606.31399#bib.bib3）；Zhou et al., 2024（https://arxiv.org/html/2606.31399#bib.bib4）；Liu et al., 2023b（https://arxiv.org/html/2606.31399#bib.bib7）；Mialon et al., 2023（https://arxiv.org/html/2606.31399#bib.bib6）；Jimenez et al., 2023（https://arxiv.org/html/2606.31399#bib.bib5）；Xie et al., 2024a（https://arxiv.org/html/2606.31399#bib.bib9）；Yao et al., 2024（https://arxiv.org/html/2606.31399#bib.bib8）；Mazaheri and Mazaheri, 2026（https://arxiv.org/html/2606.31399#bib.bib57））中，失败常被解释为局部误差的平滑累积。如果仅此而已，那么更多的搜索、更多的自检或更长的视野通常会有所帮助。但如果代理跨越了表征相边界，那么除非这些工具能够保留世界状态本身，否则它们就为时已晚。最终的成功分数无法区分这些情况；代理可能直到其内部世界已经崩溃后才做出第一个无效动作。因此，我们直接强调世界模型。我们将状态基数（sc，即必须保持共同可寻址的实体数量）与依赖密度（dd，即绑定每个子目标与当前状态的前提条件数量）分开。然后，我们沿着这些轴以及次级控制变量（如视野、分支、观察模式和变异率）进行密集网格搜索。平滑漂移预测渐进曲面。相变则预测不同的几何形状：一个求解高原、一个狭窄的临界带和一个崩溃底限。它还预测了一个时间前兆：世界状态保真度应在行动有效性之前失效。图1（https://arxiv.org/html/2606.31399#S1.F1）总结了相图视图，图2（https://arxiv.org/html/2606.31399#S4.F2）中的仪器化代理循环测量了排序。

参见图注
图1：世界模型崩溃的概念相图。\(（sc,dd）\)平面被划分为求解区、狭窄过渡区和崩溃底限。更强的或更好支持的模型会将边界向右平移，但定性形状保持不变。该图是机制性总结，而非额外数据图。

我们在StatefulPuzzle中测试了这一故事，这是一个具有精确每步真实状态的确定性环境。这种控制让我们能够区分选择糟糕行动的代理与不再正确表征世界的代理。图3（https://arxiv.org/html/2606.31399#S5.F3）中的确认网格在\(（sc,dd）\)平面上暴露了一个尖锐边界，单元格值报告在表2（https://arxiv.org/html/2606.31399#S5.T2）中，一维横截面在图4（https://arxiv.org/html/2606.31399#S5.F4）中。图7（https://arxiv.org/html/2606.31399#S5.F7）中的精细扫描将主设定下的临界点定位于sc⋆ ≈ 13.5。图5（https://arxiv.org/html/2606.31399#S5.F5）和表8（https://arxiv.org/html/2606.31399#S5.T8）中的跨模型比较显示，更强的模型平移了边界而非消除它。图6（https://arxiv.org/html/2606.31399#S5.F6）和表4（https://arxiv.org/html/2606.31399#S5.T4）检验了崩溃并非视野、分支、观察噪声或变异率的伪装效应。本文遵循这一证据链。我们先构建一个受控的相图，然后利用每步轨迹将世界状态失败识别为前兆，接着扰动其他轴以排除更简单的解释。结果并非代理排行榜，而是对模型-代理对在何时失去其试图推理的世界的测量。

#### 贡献
首先，我们将长视野代理崩溃表述为世界模型容量中的二维相变问题。其次，我们引入一种受控评估，将状态负载与依赖负载分离，同时记录每一步的世界状态准确性和行动有效性。第三，我们显示世界状态崩溃是计划崩溃的时间前兆，将表面的行动选择错误转变为表征失败。第四，我们证明模型能力会平移边界，并且次级压力轴会调节但不会取代主导性的 \(（sc,dd）\) 结构。

## 2 相关工作

#### 代理基准与失败分析
交互式基准使得语言代理的失败在文本世界、网络任务、软件工程、旅行规划、工具使用和通用助手环境中变得可见（Shridhar et al., 2021（https://arxiv.org/html/2606.31399#bib.bib1）；Wang et al., 2022（https://arxiv.org/html/2606.31399#bib.bib2）；Yao et al., 2022（https://arxiv.org/html/2606.31399#bib.bib3）；Zhou et al., 2024（https://arxiv.org/html/2606.31399#bib.bib4）；Liu et al., 2023b（https://arxiv.org/html/2606.31399#bib.bib7）；Mialon et al., 2023（https://arxiv.org/html/2606.31399#bib.bib6）；Jimenez et al., 2023（https://arxiv.org/html/2606.31399#bib.bib5）；Yang et al., 2024（https://arxiv.org/html/2606.31399#bib.bib10）；Xie et al., 2024a（https://arxiv.org/html/2606.31399#bib.bib9）；Yao et al., 2024（https://arxiv.org/html/2606.31399#bib.bib8）；Mazaheri and Mazaheri, 2026（https://arxiv.org/html/2606.31399#bib.bib57）；Ding et al., 2026（https://arxiv.org/html/2606.31399#bib.bib25））。最近的评估批评同样警告，仅以结果为指标的基准可能混淆准确性、成本、框架效应和可重复性（Kapoor et al., 2025（https://arxiv.org/html/2606.31399#bib.bib27））。它们的优势是生态广度；对于我们问题的劣势是，最终成功通常混淆了状态大小、依赖复杂性、观察噪声、视野和接口效应。工具使用基准和训练集增加了真实的API结构（Schick et al., 2023（https://arxiv.org/html/2606.31399#bib.bib17）；Qin et al., 2023（https://arxiv.org/html/2606.31399#bib.bib18）；Guo et al., 2024（https://arxiv.org/html/2606.31399#bib.bib19）），而最近的可控规划数据则针对可验证性（Zhao et al., 2026（https://arxiv.org/html/2606.31399#bib.bib20））。我们采取互补路线：牺牲现实性以获得精确的每步状态和正交压力轴，这对于测试失败的*几何形状*是必要的。

#### LLM代理中的世界模型
世界模型框架有着悠久的历史（Ha and Schmidhuber, 2018（https://arxiv.org/html/2606.31399#bib.bib78）；LeCun, 2022（https://arxiv.org/html/2606.31399#bib.bib79）；Hafner et al., 2021（https://arxiv.org/html/2606.31399#bib.bib81）, 2023（https://arxiv.org/html/2606.31399#bib.bib80）；Bruce et al., 2024（https://arxiv.org/html/2606.31399#bib.bib65））。LLM代理仅*隐式地*持有世界模型，存在于由提示和记忆维护的上下文状态表征中。近期对这种隐式状态的探测（Chen et al., 2023（https://arxiv.org/html/2606.31399#bib.bib35）；Hou et al., 2026（https://arxiv.org/html/2606.31399#bib.bib38）；Zhu et al., 2026（https://arxiv.org/html/2606.31399#bib.bib37）；Samiei et al., 2025（https://arxiv.org/html/2606.31399#bib.bib39）；Chao et al., 2026（https://arxiv.org/html/2606.31399#bib.bib42））和世界模型规划基准（Chen et al., 2025（https://arxiv.org/html/2606.31399#bib.bib41））研究了模型能否维护、修订或使用状态。认知科学批判（Mahowald et al., 2024（https://arxiv.org/html/2606.31399#bib.bib66））询问架构上缺少什么；我们询问*何时崩溃*。

#### LLM中的规划失败
Kambhampati (2024（https://arxiv.org/html/2606.31399#bib.bib82）); Kambhampati et al. (2024（https://arxiv.org/html/2606.31399#bib.bib56）) 认为LLM是近似检索器而非规划器；PlanBench系列（Valmeekam et al., 2022（https://arxiv.org/html/2606.31399#bib.bib54）；Valmeekam and others, 2023（https://arxiv.org/html/2606.31399#bib.bib55）；Valmeekam et al., 2024（https://arxiv.org/html/2606.31399#bib.bib53）；Stechly et al., 2024（https://arxiv.org/html/2606.31399#bib.bib67））记录了问题复杂性增加时性能的急剧下降；混合方法将规划器外部化（Liu et al., 2023a（https://arxiv.org/html/2606.31399#bib.bib69）；Silver et al., 2024（https://arxiv.org/html/2606.31399#bib.bib70）；Xie et al., 2024b（https://arxiv.org/html/2606.31399#bib.bib52））。基于搜索的提示通过扩展推理树改善了一些需要深思熟虑的任务（Yao et al., 2023a（https://arxiv.org/html/2606.31399#bib.bib15）；Besta et al., 2024（https://arxiv.org/html/2606.31399#bib.bib16）），但它本身并不解释支持搜索的状态表征何时崩溃。我们在两个特定轴上定位边界，并识别其时间顺序：首先是世界状态，其次是计划有效性。

#### 记忆与上下文预算
记忆分类学（Wang et al., 2024（https://arxiv.org/html/2606.31399#bib.bib73）；Park et al., 2023（https://arxiv.org/html/2606.31399#bib.bib71）；Sumers et al., 2024（https://arxiv.org/html/2606.31399#bib.bib72）；Packer et al., 2024（https://arxiv.org/html/2606.31399#bib.bib74））和关于失败的上下文预算解释（Liu et al., 2024（https://arxiv.org/html/2606.31399#bib.bib28）；Chung et al., 2025（https://arxiv.org/html/2606.31399#bib.bib29）；Zhou and others, 2025（https://arxiv.org/html/2606.31399#bib.bib31）；Luo et al., 2025（https://arxiv.org/html/2606.31399#bib.bib11）；Ponnusamy et al., 2025（https://arxiv.org/html/2606.31399#bib.bib30）；Fang et al., 2026（https://arxiv.org/html/2606.31399#bib.bib26））将崩溃归因于预算耗尽、证据剪枝或动态上下文合成。可重访和结构化记忆系统试图对抗这种损失（Shi et al., 2025（https://arxiv.org/html/2606.31399#bib.bib33）；Arslan, 2026（https://arxiv.org/html/2606.31399#bib.bib32））。我们视野 \(T\) 轴的消融实验将这些机制与纯视野解释区分开来：当情节仍然远低于可用上下文预算时，悬崖已经出现。

#### 神经网络中的相变
经典统计物理学研究当控制参数越过临界点时宏观行为如何突然变化，相变通过序参量、临界区域、有限尺寸效应和标度律来描述（Stanley and Ahlers, 1973（https://arxiv.org/html/2606.31399#bib.bib91）；Goldenfeld, 2018（https://arxiv.org/html/2606.31399#bib.bib92）；Sethna, 2021（https://arxiv.org/html/2606.31399#bib.bib93））。这一词汇也塑造了对学习系统的分析，其中平滑标度律与尖锐的定性变化共存。平滑标度律（Kaplan et al., 2020（https://arxiv.org/html/2606.31399#bib.bib62））与尖锐现象共存：涌现能力（Wei et al., 2022（https://arxiv.org/html/2606.31399#bib.bib48））附带指标-伪影的警告（Schaeffer et al., 2023（https://arxiv.org/html/2606.31399#bib.bib49）），顿悟（Power et al., 2022（https://arxiv.org/html/2606.31399#bib.bib90）；Nanda et al., 2023（https://arxiv.org/html/2606.31399#bib.bib61）），诱导头形成（Olsson et al., 2022（https://arxiv.org/html/2606.31399#bib.bib64）），双下降（Belkin et al., 2019（https://arxiv.org/html/2606.31399#bib.bib75）；Nakkiran et al., 2020（https://arxiv.org/html/2606.31399#bib.bib76）），以及统计力学处理（Mei et al., 2018（https://arxiv.org/html/2606.31399#bib.bib87）；Bahri et al., 2020（https://arxiv.org/html/2606.31399#bib.bib88）；Saxe et al., 2019（https://arxiv.org/html/2606.31399#bib.bib89）；Roberts et al., 2022（https://arxiv.org/html/2606.31399#bib.bib77））。Nakashi et al. (2024（https://arxiv.org/html/2606.31399#bib.bib50）) 将这一谱系扩展到静态LLM输出质量与解码温度之间的临界相变。我们进一步将其扩展到*顺序代理规划动力学*，以任务成功作为序参量，并引入二维任务侧控制。

#### 渐进漂移作为经典基线
最直接的对比是Lee (2026（https://arxiv.org/html/2606.31399#bib.bib51）) 的规范路径偏差框架，该框架预测任何压力轴上的平滑S型曲线。我们将这一平滑性预测作为规范漂移基线。漂移确实存在。