SIGReg目标作为变分自由能：JEPA世界模型的理论主动推理解释

# SIGReg目标作为变分自由能：JEPA世界模型的主动推理理论解释 来源：https://arxiv.org/html/2607.13612 Fabio Arnez 巴黎-萨克雷大学，CEA，List F-91120，帕莱索，法国 [email protected] & Alexandra Gomez-Villa 计算机视觉中心，巴塞罗那，西班牙 [email protected] 通讯作者；欢迎对本文提出意见。本文建立了SIGReg目标与主动推理框架之间的形式对应关系。对其预测的实证验证留待后续工作。 ###### 摘要 联合嵌入预测架构（JEPA）是潜在世界模型的主导设计，但其通常由经验性能而非规范性原则来证明其合理性。我们表明，反坍塌正则化器的选择决定了JEPA的训练目标（预测损失加加权嵌入正则化项）是否是有效的主动推理（AIF）变分自由能。我们将四种非对比正则化器（VICReg、LogDet、PairDist和SIGReg）组织成一个由*先验失校准间隙*索引的*熵估计量层次结构*，并表明该间隙的*符号*（即估计量是从上方还是下方约束潜在熵）决定了AIF惊奇界是否成立：VICReg和LogDet是不安全的上界，PairDist是安全的下界，而SIGReg消除了该间隙。然后我们证明了一个对应定理：在标准常噪声编码器模型和成功实施SIGReg（各向同性高斯嵌入）的条件下，间隙消失，目标成为*精确*信息瓶颈，惊奇界得以保留，潜在目标代价成为AIF实用价值的精确代理，而VICReg则留下一个不可约的二阶各向异性项。我们将对应关系扩展到多步期望自由能、集成认知价值和学习策略机制，并指出了当前JEPA世界模型未计算的唯一AIF项：*状态认知价值*，即未来状态覆盖信号。这些预测在*种类*上不同，而非程度，并作为理论结果在此陈述，留待后续工作通过实验检验；完整证明见附录A（https://arxiv.org/html/2607.13612#A1），每个结果的代数核心已在Lean 4中通过机器验证（附录D，https://arxiv.org/html/2607.13612#A4）。 ## 1 引言 主动推理（AIF）和联合嵌入预测架构（JEPA）是两种独立发展的理论，解释智能体如何从高维观测中学习和行动。AIF根植于自由能原理（Friston, 2010, https://arxiv.org/html/2607.13612#bib.bib1），是规范性的：智能体维护一个生成模型，并通过最小化变分自由能（惊奇的一个上界）来行动。JEPA发展自自监督学习（SSL）传统（LeCun, 2022, https://arxiv.org/html/2607.13612#bib.bib6），是架构性的：确定性编码器将观测映射到潜在嵌入，预测器在潜在空间中建模动态，避免了像素级重建。尽管起源不同，两个框架都将学习目标分解为两个相同的竞争项：一个*复杂性*项，惩罚对动态模型的偏离；一个*信息量*项，奖励在观测中捕获有用结构。信息瓶颈（IB）原理（Tishby et al., 2000, https://arxiv.org/html/2607.13612#bib.bib27）将此权衡形式化为拉格朗日函数L_IB = D[编码器 || 先验] - Î(Z;X)，其中散度D和信息估计量Î随实现而变化。在AIF中，信息量项是似然或互信息界（Mazzaglia et al., 2021, https://arxiv.org/html/2607.13612#bib.bib3; 2022, https://arxiv.org/html/2607.13612#bib.bib4）。在JEPA世界模型中，它由一个反坍塌正则化器（如VICReg, Bardes et al., 2022, https://arxiv.org/html/2607.13612#bib.bib7）隐式维护。这种共享结构引出一个精确问题：*JEPA世界模型训练损失的项与AIF变分自由能的项之间究竟如何对应？* #### 问题：非对比信息量是近似的。 答案取决于信息量项如何维护。对比方法（Mazzaglia et al., 2021, https://arxiv.org/html/2607.13612#bib.bib3）使用InfoNCE*下界*（van den Oord et al., 2018, https://arxiv.org/html/2607.13612#bib.bib17）估计互信息，因此智能体从不高估自身的信息量，自由能界自然得以保留，但代价是随机编码器和学习批评器。每个已部署的JEPA世界模型（Sobal et al., 2025, https://arxiv.org/html/2607.13612#bib.bib19; Zhou et al., 2025, https://arxiv.org/html/2607.13612#bib.bib20; Assran et al., 2025, https://arxiv.org/html/2607.13612#bib.bib21; Maes et al., 2026, https://arxiv.org/html/2607.13612#bib.bib18）则使用确定性编码器和非对比正则化器。在标准常噪声模型（Kolchinsky et al., 2019, https://arxiv.org/html/2607.13612#bib.bib28）下，最大化信息量即最大化边际微分熵h(Z)，这在高维中是棘手的。VICReg通过前两个矩来近似它（Shwartz-Ziv et al., 2023, https://arxiv.org/html/2607.13612#bib.bib12），引入了真实熵与其代理之间的间隙。关键在于，这个间隙不仅仅是程度问题：VICReg的代理是高斯参考熵的*上界*（通过Hadamard不等式），而高斯参考熵本身是h(Z)的上界（通过最大熵定理）。最大化一个上界并不能保证真实熵增加，因为优化器可以在不增加h(Z)的情况下膨胀代理，而增加*下界*则是安全的。这种界类型的不对称性是寻求更紧密估计量的理论动机。 #### 贡献。 我们做出两个关联的贡献。*（1）熵估计量层次结构（第4.1节，https://arxiv.org/html/2607.13612#S4.SS1）。*我们将四种非对比正则化器（VICReg, Bardes et al., 2022, https://arxiv.org/html/2607.13612#bib.bib7；LogDet, Shwartz-Ziv et al., 2023, https://arxiv.org/html/2607.13612#bib.bib12；PairDist, Kolchinsky and Tracey, 2017, https://arxiv.org/html/2607.13612#bib.bib29；以及SIGReg, Balestriero and LeCun, 2025, https://arxiv.org/html/2607.13612#bib.bib8）视为对先验失校准来源的单调消除。这个组织结果是三个来源的间隙分解（命题1，https://arxiv.org/html/2607.13612#Thmpropinner1）：每个基于协方差的熵代理通过非高斯性间隙、非对角协方差间隙和估计误差而变得松散，每个间隙都有明确的零条件，前两个具有确定的符号。该层次结构还分离了两个轴线：界*类型*（上界/不安全 vs. 下界/安全）和分布*强制*，并表明SIGReg是第一个同时安全且精确的估计量。*（2）SIGReg–AIF对应关系（第4节，https://arxiv.org/html/2607.13612#S4）。*我们证明，用SIGReg替换VICReg将AIF对应关系从近似提升为精确（定理1，https://arxiv.org/html/2607.13612#Thmthminner1）：在常噪声模型和成功实施SIGReg的条件下，间隙消失（Δ_SIG=0），损失具有精确的IB分解，并且AIF界F ≥ -ln p(x)得以保留（第一个实现此目标的非对比正则化器）。一个对偶收紧推论（推论1，https://arxiv.org/html/2607.13612#Thmcorinner1）表明，各向同性同时关闭了熵间隙和KL–MSE近似误差，使潜在目标代价成为精确的AIF实用价值代理（命题5，https://arxiv.org/html/2607.13612#Thmpropinner5）。然后我们将对应关系从单步自由能F扩展到多步期望自由能G、基于集成的认知价值以及学习策略机制，并指出了当前JEPA世界模型未计算的唯一AIF项：*状态认知价值*，即未来状态覆盖信号（命题6，https://arxiv.org/html/2607.13612#Thmpropinner6）。遵循Klindt et al.（2026, https://arxiv.org/html/2607.13612#bib.bib10），两个贡献的代数核心已在Lean 4定理证明器中通过机器验证，编译时无任何sorry义务（附录D，https://arxiv.org/html/2607.13612#A4）。 #### 对应关系带来了什么。 这种等价并非简单的重新标记，因为它提供了两个相邻结果（即JEPA已经学习近似各向同性高斯嵌入（Balestriero et al., 2025, https://arxiv.org/html/2607.13612#bib.bib9），以及这使得其潜在变量可识别和可规划（Klindt et al., 2026, https://arxiv.org/html/2607.13612#bib.bib10））所不具备的内容。首先，它给出了目标的一个*有效性判据*：惊奇界F ≥ -ln p(x)是否成立是估计量界*方向*的一个属性（命题2，https://arxiv.org/html/2607.13612#Thmpropinner2），与嵌入的高斯性或可识别性无关。其次，它为JEPA世界模型规划配备了一个*原则性的认知价值项*，即信息增益，当前部署的规划器仅通过集成不一致性近似它（Sobal et al., 2025, https://arxiv.org/html/2607.13612#bib.bib19）。第三，它将启发式的“添加探索奖励”转化为一个具体的、带符号的处方：上面分离出的状态认知覆盖项。第四，它*统一了*已部署的非对比JEPA世界模型生态系统与深度主动推理，使得两者可以互相借鉴对方的工具。纯粹的对应关系是机制，这些后果是贡献。 #### 可证伪的钩子，以及一个警告。 这种区别是尖锐的，因为它是定性的：在SIGReg下，先验失校准间隙恰好为零，目标度量恰好是各向同性的；而在VICReg下，两者都带有不可约的O(δ^2)各向异性项。这产生了在种类上而非程度上不同的预测（例如，嵌入条件数κ≈1 vs. κ≫1）。上述高斯性结果（即*任何*成功训练的JEPA已经学习近似高斯嵌入（Balestriero et al., 2025, https://arxiv.org/html/2607.13612#bib.bib9））并未削弱这种区别，原因有三，理论对此进行了精确表述：“近似高斯”不足以满足AIF界，后者在估计量的*类型*上是二元的（命题2，https://arxiv.org/html/2607.13612#Thmpropinner2），因此即使残差很小，VICReg也可能无法保留它；该理论控制的是训练*路径*，而不仅仅是最优解；且桥梁具有独立价值（第5节，https://arxiv.org/html/2607.13612#S5扩展了所有三点）。第二个并行结果（Klindt et al., 2026, https://arxiv.org/html/2607.13612#bib.bib10）提供了潜在距离在物理上有意义的前提条件（第4.6节，https://arxiv.org/html/2607.13612#S4.SS6），并从第三个独立方向三角化了各向同性高斯目标。 #### 组织。 第2节（https://arxiv.org/html/2607.13612#S2）综述相关工作；第3节（https://arxiv.org/html/2607.13612#S3）固定符号和三个已发表事实；第4节（https://arxiv.org/html/2607.13612#S4）发展层次结构、对应定理、多步/EFE和学习策略扩展，以及理论蕴含的可检验预测。这些预测的实证验证留待后续工作；本文仅限于理论发展。第5节（https://arxiv.org/html/2607.13612#S5）总结。 ## 2 相关工作 #### JEPA和潜在世界模型。 联合嵌入预测已成为适用于控制的世界模型的主要SSL设计（LeCun, 2022, https://arxiv.org/html/2607.13612#bib.bib6）。图像和视频变体如I-JEPA和V-JEPA，以及动作条件V-JEPA 2（Assran et al., 2025, https://arxiv.org/html/2607.13612#bib.bib21），在冻结或缓慢更新的潜在空间中学习预测器；DINO-WM（Zhou et al., 2025, https://arxiv.org/html/2607.13612#bib.bib20）在冻结的DINOv2特征上进行零样本规划；PLDM（Sobal et al., 2025, https://arxiv.org/html/2607.13612#bib.bib19）训练端到端潜在动力学模型，带有VICReg风格的反坍塌项和集成不一致性代价；TD-JEPA（Bagatella et al., 2025, https://arxiv.org/html/2607.13612#bib.bib23）将潜在预测扩展到零样本强化学习。Terver et al.（2025, https://arxiv.org/html/2607.13612#bib.bib22）消融了设计空间，并报告交叉熵方法规划与L2终端代价是最强的规划器，且短的两步训练展开是最佳的。最相关的是，LeWorldModel（Maes et al., 2026, https://arxiv.org/html/2607.13612#bib.bib18）是第一个从原始像素稳定端到端训练的JEPA世界模型，使用SIGReg作为唯一的反坍塌正则化器，具有两项目标、无指数移动平均教师，以及基于CEM的模型预测控制，正是我们理论所形式化的系统。作为这些架构的补充，Klindt et al.（2026, https://arxiv.org/html/2607.13612#bib.bib10）询问以这种方式训练的JEPA何时才配得上“世界模型”的名称，并证明对齐加高斯正则化可以恢复世界的潜在自由度，直到一个线性映射。他们的可识别性结果是潜在距离在物理上有意义的前提条件，我们在第4.6节（https://arxiv.org/html/2607.13612#S4.SS6）中重新讨论这一点。 #### 非对比SSL正则化。 一系列正则化器通过塑造嵌入协方差来防止表示坍塌，而不使用负样本：VICReg的方差/协方差项（Bardes et al., 2022, https://arxiv.org/html/2607.13612#bib.bib7）、Barlow Twins的冗余减少（Zbontar et al., 2021, https://arxiv.org/html/2607.13612#bib.bib13）以及白化（Ermolov et al., 2021, https://arxiv.org/html/2607.13612#bib.bib14）。Shwartz-Ziv et al.（2023, https://arxiv.org/html/2607.13612#bib.bib12）将VICReg的方差/协方差项重新解释为高斯熵估计器，并将其与更紧的对数行列式（LogDet）估计器并列。Kolchinsky and Tracey（2017, https://arxiv.org/html/2607.13612#bib.bib29）提供了非参数成对距离熵界（PairDist）。SIGReg（Balestriero and LeCun, 2025, https://arxiv.org/html/2607.13612#bib.bib8）完全脱离矩匹配，通过随机投影高斯性测试强制各向同性高斯分布，并将VICReg恢复为退化的矩匹配特例。我们将这些统一在一个轴线下：隐式AIF先验的质量，即熵估计的*方向*和紧度，从而AIF惊奇界是否成立，并提供从信息论角度偏好SIGReg的理由。这种界*安全性*排序不同于Klindt et al.（2026, https://arxiv.org/html/2607.13612#bib.bib10）的高斯性*强度*层次结构，后者对相同的正则化器（隐式、二阶矩、全矩）按驱动嵌入趋向高斯分布的强度进行排序。相反，我们的排序依据是变分界是否被保留，而非分布一致性有多紧。