从单一动作到预测、规划与不可逆性：世界模型中预测的路径空间形式化

# 路径空间中的世界模型预测公式：从单一动作到预测、规划与不可逆性  
来源：https://arxiv.org/html/2606.28751  

###### 摘要  

我们提出一种基于路径空间的AI世界模型预测公式。与单步条件分布的序列不同，我们认为世界模型隐式定义了一个关于未来轨迹的概率测度。在潜变量动力学具有有效马尔可夫描述的局部区域，该路径测度呈现Onsager–Machlup形式。在此框架下，预测（最可能轨迹）、规划（约束优化）以及不确定性（涨落）均作为单一作用量函数的操作涌现。我们将潜变量动力学分解为可逆分量与不可逆分量，并从模型展开中引入熵产生的操作性度量。在受控的小规模注意力模型中，我们发现注意力不对称性是在训练过程中获得的，其大小与数据的不可逆性成正比。通过对学得的注意力对称化处理，熵产生受到抑制，同时针对不可逆动力学的长时预测被选择性削弱，而弛豫预测得以保留。这些结果表明，不可逆性可作为预测性世界模型的一种计算资源。更一般地，基础预测对象应是未来路径上的分布，而非状态上的分布。  

## I. 引言  

世界模型是一种学习到的环境内部模拟器：给定上下文，它能生成与训练数据一致的未来[1 (https://arxiv.org/html/2606.28751#bib.bib1), 2 (https://arxiv.org/html/2606.28751#bib.bib2)]。这一思想在不同学科中反复出现。在神经科学中，皮层被描述为持续预测其感觉流的预测机器[3 (https://arxiv.org/html/2606.28751#bib.bib3)]；在机器学习中，序列模型和潜变量世界模型被训练用于模拟环境[4 (https://arxiv.org/html/2606.28751#bib.bib4), 2 (https://arxiv.org/html/2606.28751#bib.bib2)]。所有这些场景中，预测系统都被概括为同一口号——它是“未来预测机器”——并且这一口号几乎总是通过单步条件分布 \(p(x_{t+1}\mid x_t)\) 来精确表述，而自回归训练直接优化的正是这个量。  

我们采用不同的基础对象。预测、规划和不确定性都是关于未来（即整体轨迹，而非单个增量）的断言，三者自然的载体是模型赋予未来路径的概率测度。将未来表示为潜变量轨迹 \(\Gamma=\{z(t)\}\)，我们研究模型在此类轨迹上诱导的泛函测度 \(P[\Gamma]\)；单步条件分布及其产生的下一个标记随后作为 \(P[\Gamma]\) 的边缘分布导出。世界模型预测什么、如何规划以及它的置信度如何，这些问题因此转变为单一路径分布的结构问题。世界模型的基础预测对象是未来路径上的分布，而不是未来状态上的分布——这是本工作的概念核心。  

这一转变之所以有用，是因为它引入了一套成熟的物理机制。在学习到的潜变量动力学在时间上局部有效的区域，其Mori–Zwanzig形式[5 (https://arxiv.org/html/2606.28751#bib.bib5), 6 (https://arxiv.org/html/2606.28751#bib.bib6), 7 (https://arxiv.org/html/2606.28751#bib.bib7)]的马尔可夫极限中，路径测度呈现Onsager–Machlup形式 \(P[\Gamma]\propto e^{-A[\Gamma]}\) [8 (https://arxiv.org/html/2606.28751#bib.bib8)]，即扩散过程的作用量泛函。于是单个泛函支配着通常被视为独立模块的三个操作：预测是其最可能路径，规划是其约束最小作用路径，而预测不确定性是其曲率。同一作用量将漂移分解为可逆的梯度部分和不可逆的循环部分，从而非平衡统计力学中的熵产生[9 (https://arxiv.org/html/2606.28751#bib.bib9)]成为预测世界的可观测量，而非抽象的物理量。该框架因此提供了一种通用语言，将潜变量动力学、随机热力学和基于注意力的序列建模联系起来。  

在这种语言下，网络结构获得了一种热力学解读。我们展示注意力层如何被理解为计算局部作用量：查询-键乘积 \(W_Q^\top W_K\) 扮演动能项度量的角色，其反对称部分则扮演不可逆漂移的角色。漂移雅可比矩阵的显式计算进一步将查询-键不对称性识别为架构上可控的不可逆性来源。这些陈述都是可操作的：从模型展开中我们估计漂移、循环流、熵产生、非正态性和注意力不对称性，并列出可证伪的预测。在训练好的小规模注意力模型中，这些量是测量结果而非假设。注意力不对称性、熵产生和非正态性在学习过程中共同获得，其大小与数据的不可逆性成正比；一种将注意力对称化的因果干预会同时消除这三者。同一干预选择性地破坏循环结构的长时预测，同时保留弛豫预测。因此，不可逆性不仅是学习的副产品，更是预测中一种可测量的资源。  

为了精确界定我们的贡献：我们的核心主张并非关于注意力在世界模型架构中的必要性。相反，我们确立了预测动力学在本质上被构造为路径空间上的推理，其中时间不可逆性表现为可测量的计算资源。漂移-雅可比计算识别并让我们能够控制一种不可逆性通道。该通道是否主导大型预训练架构中的熵产生（其中残差连接、前馈块、归一化、值混合和深度都对学得的漂移有贡献）是一个单独的实证问题，我们留待后续探讨。在用小规模模型展示普适机制而非完整模拟系统的传统中，我们开发并在受控、小规模场景下检验了该结构。  

本文组织如下。第II节 (https://arxiv.org/html/2606.28751#S2) 形式化路径测度及其局域Onsager–Machlup作用量。第III节 (https://arxiv.org/html/2606.28751#S3) 将预测处理为最可能的未来，并指出其与确定性展开的差异。第IV节 (https://arxiv.org/html/2606.28751#S4) 将规划和不确定性视为同一作用量上的进一步操作。第V节 (https://arxiv.org/html/2606.28751#S5) 建立注意力与局部作用量之间的对应关系，并从查询-键不对称性导出反对称雅可比。第VI节 (https://arxiv.org/html/2606.28751#S6) 给出可逆漂移、不可逆漂移、熵产生和注意力不对称性的操作性定义，并列出可证伪的预测。第VII节 (https://arxiv.org/html/2606.28751#S7) 展示受控实验并讨论其范围，最后一节总结。  

## II. 预测对象：路径空间上的世界模型  

### II.1 从下一个标记条件分布到未来轨迹  

设编码器将观测映射到潜状态 \(z\in\mathbb{R}^d\)，模型的动力学在此空间定义。未来是一条潜变量轨迹  

\[
\Gamma=\{z(t)\}_{0\leq t\leq T}, \tag{1}
\]

我们研究的预测对象是模型在给定上下文下在此类轨迹上诱导的泛函概率测度 \(P[\Gamma]\)。单步条件分布及其产生的下一个标记作为 \(P[\Gamma]\) 的边缘分布恢复，因此是派生量而非基础量。本文的核心问题——模型预测什么、如何规划、置信度如何——转化为 \(P[\Gamma]\) 的结构问题。在接下来对 \(P[\Gamma]\) 的三个操作中，预测（特别是其不可逆部分）将被操作化并测试；规划和不确定性是同一作用量的结构推论，此处为完整性而发展，直接测量留待他处。  

### II.2 潜变量动力学及其局部区域  

我们将潜变量演化建模为随机过程  

\[
\mathrm{d}\boldsymbol{z} = \boldsymbol{f}(\boldsymbol{z})\,\mathrm{d}t + \sqrt{2D}\,\mathrm{d}\boldsymbol{W}_t, \tag{2}
\]

其中漂移为 \(\boldsymbol{f}\)，为清晰起见扩散为各向同性常数 \(D\)；各向异性情况 \(D(\boldsymbol{z})\) 仅引入标准乘性噪声修正，暂不讨论。公式 (2) (https://arxiv.org/html/2606.28751#S2.E2) 涉及两个原则性问题，因为训练好的世界模型通常既非马尔可夫也非时间连续。首先，在积分掉模型不暴露的潜变量坐标后，由Mori–Zwanzig投影[5 (https://arxiv.org/html/2606.28751#bib.bib5), 6 (https://arxiv.org/html/2606.28751#bib.bib6), 7 (https://arxiv.org/html/2606.28751#bib.bib7)]得到的精确约化动力学是*广义*朗之万方程，包含记忆核和有色噪声：  

\[
\dot{\boldsymbol{z}}(t) = \boldsymbol{f}_{\mathrm{loc}}(\boldsymbol{z}) - \int_0^t K(t-t')\,\dot{\boldsymbol{z}}(t')\,\mathrm{d}t' + \boldsymbol{\xi}(t), \tag{3}
\]
\[
\langle \boldsymbol{\xi}(t)\boldsymbol{\xi}(t')\rangle \propto K(t-t').
\]

局部模型 (2) (https://arxiv.org/html/2606.28751#S2.E2) 是 (3) (https://arxiv.org/html/2606.28751#S2.E3) 在马尔可夫极限 \(K(t)\to 2\gamma\delta(t)\) 下的首项，当记忆时间 \(\tau_{\mathrm{mem}}\)（\(K\) 的宽度，由注意力的有效回溯范围设置）远小于我们预测的动力学时间 \(\tau_{\mathrm{dyn}}\) 时有效。我们明确这一限制，并将小参数  

\[
\epsilon \equiv \tau_{\mathrm{mem}}/\tau_{\mathrm{dyn}} \tag{4}
\]

视为展开的控制参数：局部理论是其 \(\epsilon\to 0\) 极限，非局部、含更高时间导数的修正按 \(\epsilon\) 的幂次组织。这类似于胡克定律的工作模拟。真实弹簧有弹性极限，但线性区域一旦其适用范围被说明（理想情况下被测量），就是受控且诚实的描述。我们始终在此区域内工作，并报告 \(\epsilon\) 而非假定其消失。记忆时间本身由架构决定：其上限为上下文窗口 \(\tau_{\mathrm{mem}}\leq N\Delta t\)（上下文长度 \(N\)），且随深度 \(L\) 增加，因为每层将注意力作用于前一层已经混合的历史，因此 \(\epsilon\) 由 \(N\) 和 \(L\) 相对于 \(\tau_{\mathrm{dyn}}\) 决定。局部区域就是学得的注意力在动力学时间尺度上有效短程的区域——这一条件本身是可测量的（下文 P1）。  

其次，局部化并不意味着趋近平衡。我们保留完整的漂移，包括其非梯度部分。记  

\[
\boldsymbol{f} = -\nabla U + \boldsymbol{v}, \tag{5}
\]

其中梯度部分 \(-\nabla U\) 是可逆的、符合细致平衡的分量，而循环部分 \(\boldsymbol{v}\)（由 \(\nabla\cdot(\rho_{\mathrm{ss}}\boldsymbol{v})=0\) 定义，\(\rho_{\mathrm{ss}}\) 为稳态密度）破坏细致平衡并产生熵。局部、线性弹性区域仍携带反对称、非互易响应的情形恰好是奇弹性（odd elasticity）的环境，其中刚度的对称部分扮演 \(-\nabla U\)，反对称（奇）部分扮演 \(\boldsymbol{v}\)。因此限制于局部区域保留了而非丢弃本文其余部分所依赖的不可逆结构。  

### II.3 路径测度及其Onsager–Machlup作用量  

对于局部动力学 (2) (https://arxiv.org/html/2606.28751#S2.E2)，轨迹位于给定路径 \(\Gamma\) 周围无穷小管中的概率（忽略路径无关的归一化）为 \(P[\Gamma]\propto e^{-A[\Gamma]}\)，其中Onsager–Machlup作用量[8 (https://arxiv.org/html/2606.28751#bib.bib8)]为  

\[
A[\Gamma] = \int_0^T \mathrm{d}t \, \mathcal{L}(\boldsymbol{z},\dot{\boldsymbol{z}}), \quad \mathcal{L} = \frac{1}{4D}\bigl\| \dot{\boldsymbol{z}} - \boldsymbol{f}(\boldsymbol{z}) \bigr\|^2 + \frac{1}{2}\nabla\!\cdot\!\boldsymbol{f}. \tag{6}
\]

第一项是动能权重，惩罚实际速度偏离漂移；第二项是来自 (2) (https://arxiv.org/html/2606.28751#S2.E2) Stratonovich（中点）离散化的雅可比项，也是区分真实路径概率与简单平方残差代价的项。归一化为路径积分：  

\[
P[\Gamma] = \frac{1}{Z} e^{-A[\Gamma]}, \quad Z = \int \mathcal{D}\Gamma\, e^{-A[\Gamma]}. \tag{7}
\]

公式 (7) (https://arxiv.org/html/2606.28751#S2.E7) 形式上是一个路径空间上的吉布斯测度，其中 \(A\) 扮演能量角色，扩散 \(D\) 设置温度尺度。我们反复使用的两个结构随之而来。作用量沿时间可加：\(A = \int \mathrm{d}t\,\mathcal{L}\)，因此未来的对数概率分解为局部时间增量——这正是第II.2节 (https://arxiv.org/html/2606.28751#S2.SS2) 局部性假设的精确内容。并且 \(A\) 在路径反转 \(\Gamma=\{z(t)\} \mapsto \widetilde{\Gamma}=\{z(T-t)\}\) 下分裂为时间对称和时间反对称两部分：  

\[
A = A_{\mathrm{sym}} + A_{\mathrm{irr}}, \quad A_{\mathrm{irr}}[\Gamma] = -\frac{1}{2D}\int_0^T \boldsymbol{v}(\boldsymbol{z})\cdot\mathrm{d}\boldsymbol{z}, \tag{8}
\]

因此作用量的不可逆部分是循环漂移沿路径的线积分。路径熵产生定义为正反路径概率的对数比：  

\[
\Sigma[\Gamma] = \ln\frac{P[\Gamma]}{P[\widetilde{\Gamma}]} = \frac{1}{D}\int_0^T \boldsymbol{v}(\boldsymbol{z})\cdot\mathrm{d}\boldsymbol{z}, \tag{9}
\]

这一量直接由路径测度及其反转定义，且如下文强调，其本身并不需要局部形式 (6) (https://arxiv.org/html/2606.28751#S2.E6)。  

### II.4 一个泛函，三种操作  

公式 (7) (https://arxiv.org/html/2606.28751#S2.E7) 的要点在于，单个泛函组织起世界模型必须执行的三种操作。这些将在第III–V节详细展开，此处先陈述以明确逻辑：