秩一角：任务从世界模型中需要多少价值等价性？

# 一项任务从世界模型中需要多少价值等价性？  
来源：https://arxiv.org/html/2607.06640  

Donna Vakalis  
Mila – 魁北克人工智能研究所  
蒙特利尔大学  
蒙特利尔，魁北克  
donna\.vakalis@olympian\.org  

###### 摘要  

学习到的世界模型通常根据其重建观测或预测奖励的忠实程度来评判，仿佛质量是模型本身拥有或缺乏的属性。但一项任务实际需要从模型中获取的内容要窄得多：其查询所依赖的少数预测坐标，我们称之为*闭包*。我们展示了潜在状态能代表闭包多少，并非由模型容量或其观测决定，而是由训练目标的维度决定，并在一个地面真值闭包已知的受控环境中，直接在 DreamerV3 堆栈上测量了这一点。一个对齐的标量值信号——价值等价性核心的目标——仅安装了一个闭包的一维投影，而该闭包需要多个维度：通过单个线性探针读取时，可恢复的结构从 \( R^2=0.10 \) 上升到 \( 0.76 \)，当标量被完整目标取代时。将目标的维度从一扫描到四，恰好通过辅助回归头安装了那么多预测方向，并且相同的阶梯出现在模型的自身价值头中（幅度减弱，但秩相同），因此这种分离是维度性的，而非头形式的伪影。容量匹配的比较和原位压力检查排除了明显的替代解释。这条法则支配了一个区域，我们测量了其边界：在一个其结构可直接逐帧观察的配套闭环任务上，重建安装了该结构，并且标量目标就足够了——目标决定了潜在状态所代表的内容，恰好在更廉价的训练信号无法恢复它时。因此，价值等价性并非全有或全无，而是维度性的：熟悉的单奖励目标是其秩一角落，模型安装了任务结构的多寡取决于它被要求预测的目标。  

## 1 引言  

图 1：价值等价性是维度性的。左：通过单个线性探针读取时，一个对齐的标量（单奖励）目标安装了查询闭包的 0.10，而完整目标在相同配置下安装了 0.76。右：扫描目标的投影维度恰好安装那么多闭包方向。单奖励目标是该法则的秩一角落。  

学习到的世界模型通常被训练来重建其观测或预测其接收的奖励，其质量随后被报告为单个数字：重建误差或规划下的回报。这认为保真度是模型要么有要么无的属性。但一个完美重建其输入的模型可能对控制毫无用处，而一个能很好预测奖励的模型可能无法支持任务所需的更长视界推理。世界模型应捕捉的不是其观测，而是其下游查询实际依赖的结构——携带这些查询并在动态下共同演化的一小组集体坐标。我们称这组坐标为查询的*闭包*，并将模型质量视为训练后潜在状态能代表多少闭包。问午夜月亮会在哪里：闭包是六个缓慢漂移的轨道元素，无论我们记录了多少夜空像素。模型所训练的目标是安装或未能安装该结构的杠杆。在基于模型的强化学习中，主导选择是价值等价性：并非忠实地建模世界，而是学习一个能正确预测价值或奖励的模型，理由是其他方面对良好行动无关紧要。价值等价性之所以有吸引力，恰恰是因为它是低维的——标量值信号易于预测，且与智能体最终关心的量对齐。  

这引出了一个据我们所知尚未直接向训练好的深度世界模型提出的问题：一个对齐的标量目标是否安装了可控任务所需的结构，还是仅安装了其投影？我们通过 DreamerV3 堆栈在受控环境中回答了这一问题，其中已知的低维过程被渲染为高维观测，因此地面真值闭包可用于比较。答案是标量目标仅安装了一维投影。针对对齐标量值训练潜在状态，然后通过线性探针从中读取闭包，恢复的只是从针对完整多维目标训练的潜在状态中相同探针恢复量的一小部分（0.10 对比 0.76）。这一差距并非探针或架构的伪影——网络、探针和训练预算相同——而是目标维度的伪影。将目标维度从一扫描到四，恰好依次安装了一、二、三和四个预测方向，而权重提高以匹配四维目标总训练压力的一维目标仍然只安装一个方向。当目标是模型自身价值头而非辅助回归头时，出现相同的阶梯（幅度减弱），因此头形式的差异并不能解释这一点。潜在状态代表的结构追踪了其被要求预测的目标的维度。  

这强化而非驳斥了价值等价性原则。真正的价值等价性是在一组价值函数上定义的，可能是高维的；不足的是普遍存在的单奖励实例化，即标量目标安装 d 个闭包方向这一法则的秩一角落。从建设性角度解读，该结果给出了一个任务需要多少价值等价性的量化答案：至少其闭包的秩。该法则也有边界，我们测量了它而非假设它。在一个其闭包可直接逐帧观察的配套闭环控制堆栈上，单个标量奖励在安装的秩和执行回报上匹敌完整价值族。没有任何奖励的重建安装了相同的闭包：当观测将任务结构传递给重建时，目标就无关紧要了（第 9 节）。目标维度支配的是补集——重建无法恢复闭包的区域——而下面的环境正是为此构建的。我们不对自然图像做任何主张；该环境是一个测量仪器，构建得使未能表示闭包是分配问题而非可用性问题（第 2 节）。  

我们的贡献是：  
- • 在学习到的深度世界模型上直接证明，潜在状态安装的秩等于其训练目标的维度——从一扫描到四，并通过辅助头和模型自身价值头复现；  
- • 价值等价性秩一角落作为系统内分离：一个对齐标量与一个完整目标，在堆栈、探针和预算匹配的情况下，安装 0.10 和 0.76 的相同闭包；  
- • 该法则的测量边界：在闭包可逐帧观察的地方，单奖励价值等价性在秩和回报上匹敌完整价值族，且仅重建就安装了闭包；  
- • 对上限的低秩解释，从最优读出界限优化为梯度流预测，并带有预先承诺的证伪器。  
- • 我们还将训练侧法则与评估联系起来：折扣贝尔曼残差通过构造分解为奖励项和 γ 缩放的值仅算子误差，因此贝尔曼残差分数仅读取模型动态的值切片。我们在发布的模型上提供了支持证据（第 8 节），并将完整处理推迟到配套论文（Vakalis, 2026）。  

## 2 闭包与受控环境  

当一组坐标的低维集合承载了家族中的每个查询并近似自主演化，使得仅从这些坐标就能预测查询的未来时，查询家族就在动态下闭合。闭包就是最小这样的集合，而模型表示什么的问题就是哪些闭包方向可从其潜在状态中恢复。重建目标的是错误的对象。信号在协方差中占据的维度并非其预测所需的维度：单个振荡模式在观测协方差中占据一个方向，但跨越了一个二维预测子空间，因为预测它需要其相位分量（正弦和余弦分量——等价于位置和速度）。因此，重建或协方差目标系统地低估了闭包（图 2），这是观测保真度不意味着查询保真度的基本原因。  

图 2：协方差维度不是闭包维度。单个振荡模式在观测协方差中占据一个方向，但跨越了一个二维预测子空间（位置和速度），因此重建目标低估了它旨在捕捉的闭包。  

我们在一个基于 DreamerV3 分类 RSSM 堆栈（Hafner et al., 2023）的受控环境中研究这一点。一个 k 个缓慢变化潜在坐标的已知过程通过固定的解析扭曲渲染为 64×64 图像观测。由于构建是我们自己的，闭包秩已知，且潜在坐标可从观测中线性解码，R²≈0.85。我们不主张自然图像：该环境是测量设备而非感知基准，线性可解码性使我们能将任何未能表示闭包归因于模型如何分配其潜在状态，而非信息是否在那里可供表示。  

## 3 方法  

我们训练世界模型，其通常的重建目标由预测查询目标的辅助头（权重 λ）增强，并通过线性探针读取潜在状态学到的东西。两个选择使读出可解释。首先，辅助头和探针都仅作用于随机潜在状态；排除确定性循环状态，因此查询不能通过潜在状态本身不携带的路径来满足。其次，我们通过*安装的秩*总结所表示的内容：线性探针从潜在状态恢复的闭包坐标数量，超过由仅重建空值设定的阈值（每列空值均值加 2.5 个标准差，事后固定；在 +2 到 +3σ 范围内读出不变）。与安装的秩一起，我们报告总的可恢复结构（从潜在状态到完整闭包的 R²）以及泄漏检查，验证闭包不可从排除的循环状态中读取。图 3 总结了仪器。  

图 3：测量仪器。一个已知的 k 个慢潜在坐标 L_t 通过固定的解析扭曲渲染为 64×64 图像观测，以及一个高方差干扰项 D_t；DreamerV3 分类 RSSM（确定性 h_t，随机 z_t）训练重建，读取 h 和 z，以及一个权重 λ 的查询头仅读取 z，排除 h 的参与。z 持有的内容由保留的线性探针读取（安装的秩，相对于仅重建空值阈值），并对排除的 h 进行泄漏检查。由于 L 可从观测中线性解码（R²≈0.85），未能将其安装到 z 中是分配问题，而非可用性问题。  

## 4 目标，而非重建，决定表示  

在问哪些目标安装闭包之前，我们先确定目标确实能安装它。我们在观测中放入高方差干扰项以及低方差查询坐标，使得最小化重建误差的模型被吸引到干扰项而远离查询。允许读取潜在状态和循环状态的辅助头使查询无法从潜在状态恢复——但这是架构的伪影，而非目标的伪影，因为头通过循环状态路由查询并耗尽了潜在状态。一旦头被强制只作用于潜在状态，局面就反转了（图 4）。一个查询对齐的目标即使在干扰项下也将闭包安装到潜在状态中，恢复随着目标权重的增加而上升（从 0.55 到 0.88），并饱和于闭包在线性观测中存在的水平，而重建保持完整。这种依赖是因果性的：训练期间打乱查询标签会使恢复降至零，而干扰项仍然可读，因此是目标（而非偶然的相关因素）决定了潜在状态持有的内容。预先固定的恢复门控证实了潜在状态在测量目标安装强度之前就能够表示闭包。这种决定仅在环境迫使时才会被行使：在重建已经恢复闭包的地方，目标没有剩余可决定的——我们在第 9 节量化的边界。  

图 4：目标，而非重建，决定潜在状态表示什么。当查询被强制通过随机潜在状态时，查询对齐的目标在高方差干扰项下将闭包安装到潜在状态中——恢复随目标权重 λ 上升并饱和于线性可用性上限，而重建保持完整。训练时标签打乱消除了这一效应，而干扰项仍然可恢复，建立了因果依赖关系。  

## 5 价值等价性是秩一角落  

### 5.1 对齐的标量目标仅安装一个维度  

我们现在将多维查询目标替换为对齐的*标量*：一个单一价值/奖励信号，正是价值等价性所规定的类型，通过模型的价值头预测。尽管标量与任务完美对齐，但它安装的潜在状态几乎不包含任何查询闭包。线性探针恢复完整闭包的 R²=0.10，远低于 0.37 的安装下限，也远低于相同配置（k=4, n_z=4, λ=1 两臂）下针对完整目标训练的潜在状态中相同探针恢复的 0.76。¹ 标量确实安装了自己的二维投影（0.49  

¹ 两臂总结自两个训练种子。我们引用标量臂的更强种子（0.10；第二个安装 0.06）和完整臂的双种子均值（0.76，来自 0.78 和 0.75）；按单一约定（双种子均值）报告时，这对数值是 0.08 对比 0.76，因此引用标量的更强种子是分离的保守选择。0.37 的下限是测量量与预先承诺量之和：循环状态（奖励历史）泄漏的最大值，在标量臂自身上对不同解码窗口测量（0.22，峰值出现在单步窗口），加上预先固定的 0.15 裕度。