jepa

Yann LeCun 和 Randall Balestriero 通过数学方法证明了 Platonic Representation Hypothesis（柏拉图式表征假说），并表明使用与场景相关的正样本视图进行 JEPA 训练，可以用减少42倍的数据实现图文对齐。其中，一个1.09亿参数的文本 JEPA 模型在跨模态基准测试中超越了高达720亿参数的 LLM。

论文将柏拉图表征假说转化为定理，证明在多种模态上分别训练的 JEPA 会收敛到共享表征（至多相差一次旋转），并指出下一个词预测本质上是使用"劣质视图"的 JEPA——这使其在跨模态对齐上效率远低得多（优质视图所需样本少 42 倍）。

论文提出 AC-JEPA（锚定式跨模态联合嵌入预测架构），一种可与监督微调（SFT）兼容的即插即用模块，通过双向跨模态预测被掩码的中间表示来提升从视觉到符号序列的翻译能力。在光学化学结构识别（OCSR）任务上，AC-JEPA 在 WildMol Simple 上达到 76.07% 的准确率（SFT 基线为 67.40%），并在使用含噪声伪标签数据进行自训练时提升至 80.23%，而直接进行 SFT 反而导致性能下降。

这篇 NeurReps 研讨会扩展摘要评估了预训练的 LeWorldModel 是否保留了局部动作几何结构，通过 Gram 矩阵衡量其在 Reacher 和 OGBench Cube 上不同扰动尺度下的动作敏感性，发现小尺度下存在显著的方向性差异，并建议针对不同尺度分别进行评估。

该论文提出了"预测闭包"（predictive closure）这一集合层面的刻画方式，用于描述 JEPA 如何选择需要编码的特征。研究显示，特征的保留取决于特征集合内部各特征之间的关系，而非单个特征的可预测性。实验结果表明，当不可预测的特征有助于预测其他特征时，它们同样会被保留下来。

本文提出了一种用于潜空间世界模型规划的后验潜表征投影方法：通过拟合状态动力学矩阵来剪除噪声潜方向，并将ℓ2规划代价限制在不确定性最低的子空间中，在TwoRoom和PointMaze等二维导航任务上取得了最高达+54.7个百分点的成功率提升。

Slot-JEPA 将 JEPA 的稠密表示分解为可复用的语义槽与空间掩码，提供面向对象的预测接口，并结合 Transition Memory Predictor 与非平衡最优传输提升视觉理解迁移和目标条件规划，在七项视觉基准与 REALM-JEPA 机器人规划任务上取得改进。

提出JEPA-Prune框架，通过联合嵌入引导的后验神经元剪枝，在仅剪枝1.6%神经元的情况下将PII推断准确率降低最多7.4倍，同时基本保持模型效用。

## 一篇观点性论文 **主题：面向基于 JEPA 的潜空间世界模型的四阶段研究议程——Ground（奠基）、Structure（结构化）、Verify（验证）、Act（行动）** **摘要** 该观点性论文提出了一套四阶段研究议程——**Ground、Structure、Verify、Act**——用于解释基于 JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）的潜空间世界模型。文章主张，可解释性研究的重心应当从"解码表征内容"转向"理解潜变量之间的相互作用、演化过程及其对预测的因果驱动机制"。 核心论点包括： - **从解码到机制**：传统可解释性方法倾向于把潜变量当作需要还原为人类可读语义的"黑箱编码"，而在潜空间世界模型中，关键问题不再是"模型学到了什么特征"，而是"这些潜变量如何协同工作并产生预测"。 - **关注相互作用与演化**：潜变量之间的耦合关系及其随时间的动态演化，才是理解模型内部世界表征的切入点。 - **强调因果驱动**：预测能力的来源应被解释为潜变量层面的因果过程，而非仅仅归因于统计相关性。 **四阶段议程** 1. **Ground（奠基）**：为潜变量建立语义与经验锚点，明确其对应的世界要素。 2. **Structure（结构化）**：刻画潜变量之间的组织方式、依赖结构与层级关系。 3. **Verify（验证）**：通过干预与反事实实验检验所识别结构的可靠性与因果有效性。 4. **Act（行动）**：将理解结果反馈至模型设计、规划与控制，实现"理解即可用"。 论文认为，只有完成这一从表征解读到机制理解的范式转变，才能真正回答 JEPA 类世界模型"为何有效"以及"如何可信"的问题。

KITE 提出一种知识注入的时间序列编码器，将工程师的领域先验（语义先验）通过可切换的协变量与注意力偏置机制注入自监督事件预测器，在稀有事件预测上显著优于无先验基线，并支持跨域迁移。

SPERA 是一种采用 JEPA 潜空间预测架构的 EEG 基础模型，引入 Legendre 多项式空间先验与分解式时空注意力，在约 8 万小时、29,048 名受试者的 EEG 数据上预训练，并在九项下游任务上取得最高平均平衡准确率。

RSI-Anything 提出一个基于 JEPA-Anything 的领域通用递归自我改进框架，利用预测性世界模型指导行动与学习数据选择，在代码修复、GUI 任务、实验室规划和反应优化等多个领域均取得显著性能提升。

LeWAM 提出一种端到端的 JEPA 控制框架，通过联合训练下一隐状态预测与动作流匹配目标，并对隐状态施加各向异性高斯约束，使单一模型同时支持直接策略执行与高效规划，在接触丰富任务和长程任务上将成功率从 28.6% 提升至 89.7% 和从 10.9% 提升至 46.2%，规划速度提升 32.3 倍。

RoboJEPA 基于 JEPA 架构，在涵盖 12 种机器人具身的大型真实机器人数据集上训练，首次为多具身机器人世界模型建立了 scaling law：其 latent rollout 的"想象力误差"随计算量呈二阶幂律变化，并可作为真实机器人规划性能的可靠代理。该模型参数量达 8B，是迄今最大的 JEPA 预测模型，支持零样本部署为长时程规划的机器人智能体，并开源全部检查点与训练/部署代码。

DSReg提出通过依赖稀疏性正则化（Structural Diversity条件），在无需重建、解码器或标签的情况下可证明地恢复单个世界隐变量，建立了首个完全可识别的JEPA表示学习方法。

JEPA-Anything 提出了一个基于正交预测分解（OPF）的领域无关世界建模框架，可跨视觉、生物学、临床轨迹、控制、分子动力学、物理场和天气工作，在全部 10 项动力学任务上均优于对齐的 JEPA 基线，并支持经实验验证的生物学干预推荐。

该论文为 Joint-Embedding Predictive Architecture 构建了一套早期训练稳定性理论，通过驱动/衰减稳定性比率将各类经验性的崩溃规避启发式方法统一起来，并预测出一条相边界，该边界已在 800 多种 Tabular-JEPA 配置上得到验证；论文同时提出了一个名为 ResidualPred 的 transformer 预测器，在表格数据与 I-JEPA 图像基准上均提升了有效秩与准确率。

H-JEPA 引入了一种动作条件的联合嵌入预测架构，将宽泛的感知编码与继承的控制状态分离，后者由耗散型端口-哈密顿动力学所支配；端口逆一致性作为对预测误差的一种无需参数的重新加权，在基于像素的控制基准上与 Delta-JEPA 等基线持平或更优。

JEPA 有一个未被讨论的严重盲点：它严重依赖稳定、缓慢变化的特征。只要在每个 episode 中加入一个固定不变的无关 patch，规划就会崩溃；若让该 patch 不可预测，性能反而几乎恢复正常。

JEPA-TTT 在测试时通过自监督密集重放（dense replay）对预训练 JEPA 世界模型的潜空间动力学预测器进行适应，在四个连续控制环境中，相比冻结模型，潜空间预测误差降低 83%，规划性能提升 153%，从而改善了动力学偏移下的规划表现。