标签
KITE 提出一种知识注入的时间序列编码器,将工程师的领域先验(语义先验)通过可切换的协变量与注意力偏置机制注入自监督事件预测器,在稀有事件预测上显著优于无先验基线,并支持跨域迁移。
SPERA 是一种采用 JEPA 潜空间预测架构的 EEG 基础模型,引入 Legendre 多项式空间先验与分解式时空注意力,在约 8 万小时、29,048 名受试者的 EEG 数据上预训练,并在九项下游任务上取得最高平均平衡准确率。
RSI-Anything 提出一个基于 JEPA-Anything 的领域通用递归自我改进框架,利用预测性世界模型指导行动与学习数据选择,在代码修复、GUI 任务、实验室规划和反应优化等多个领域均取得显著性能提升。
LeWAM 提出一种端到端的 JEPA 控制框架,通过联合训练下一隐状态预测与动作流匹配目标,并对隐状态施加各向异性高斯约束,使单一模型同时支持直接策略执行与高效规划,在接触丰富任务和长程任务上将成功率从 28.6% 提升至 89.7% 和从 10.9% 提升至 46.2%,规划速度提升 32.3 倍。
RoboJEPA 基于 JEPA 架构,在涵盖 12 种机器人具身的大型真实机器人数据集上训练,首次为多具身机器人世界模型建立了 scaling law:其 latent rollout 的"想象力误差"随计算量呈二阶幂律变化,并可作为真实机器人规划性能的可靠代理。该模型参数量达 8B,是迄今最大的 JEPA 预测模型,支持零样本部署为长时程规划的机器人智能体,并开源全部检查点与训练/部署代码。
DSReg提出通过依赖稀疏性正则化(Structural Diversity条件),在无需重建、解码器或标签的情况下可证明地恢复单个世界隐变量,建立了首个完全可识别的JEPA表示学习方法。
JEPA-Anything 提出了一个基于正交预测分解(OPF)的领域无关世界建模框架,可跨视觉、生物学、临床轨迹、控制、分子动力学、物理场和天气工作,在全部 10 项动力学任务上均优于对齐的 JEPA 基线,并支持经实验验证的生物学干预推荐。
该论文为 Joint-Embedding Predictive Architecture 构建了一套早期训练稳定性理论,通过驱动/衰减稳定性比率将各类经验性的崩溃规避启发式方法统一起来,并预测出一条相边界,该边界已在 800 多种 Tabular-JEPA 配置上得到验证;论文同时提出了一个名为 ResidualPred 的 transformer 预测器,在表格数据与 I-JEPA 图像基准上均提升了有效秩与准确率。
H-JEPA 引入了一种动作条件的联合嵌入预测架构,将宽泛的感知编码与继承的控制状态分离,后者由耗散型端口-哈密顿动力学所支配;端口逆一致性作为对预测误差的一种无需参数的重新加权,在基于像素的控制基准上与 Delta-JEPA 等基线持平或更优。
JEPA 有一个未被讨论的严重盲点:它严重依赖稳定、缓慢变化的特征。只要在每个 episode 中加入一个固定不变的无关 patch,规划就会崩溃;若让该 patch 不可预测,性能反而几乎恢复正常。
JEPA-TTT 在测试时通过自监督密集重放(dense replay)对预训练 JEPA 世界模型的潜空间动力学预测器进行适应,在四个连续控制环境中,相比冻结模型,潜空间预测误差降低 83%,规划性能提升 153%,从而改善了动力学偏移下的规划表现。
PDE-JEPA 为参数化 PDE 引入预测式表示预训练,包含一个掩码隐变量编码器、一个将隐轨迹与物理场演化对齐的几何投影器,以及一个物理结构化隐变量预测器;在九个 PDE 基准上,其分布内性能较 SOTA 提升 33.4%,外推性能提升 51.4%。
本文系统评估了EEG基础模型在MAE和JEPA框架下的掩码策略,识别了最佳配置和一种新的故障模式,以减少计算量达到与REVE相当的性能。
本文提出一种使用联合嵌入预测架构(JEPA)的表格型基础模型训练方案,以解决潜在项坍塌问题,并在147个真实数据集上将其性能与纯值方法进行比较。
本文提出SAAC-JEPA,一种架构自适应动作条件化JEPA模型,用于在部分传感器重叠的CNC机器之间迁移预测表示,证明跨机器适应需要超越源域准确性的独特评估。
Crucible 是一个实验性的神经符号栈,集成 Mamba2 与 Z3验证、用于概念预测的 JEPA 和 HDC 记忆,专为免费的 Kaggle T4 会话设计。
介绍了ARC-Bench作为基准,用于审计冻结的JEPA风格世界模型是否正确基于潜在距离对候选动作进行排序,揭示了官方检查点中严重且结构性的失败。论文解释说,闭环重规划掩盖了这些缺陷,导致成功率被高估。
Flow-JEPA 引入了一种条件流匹配方法到 JEPA 世界模型中,提高了在嘈杂条件下预测未来潜在状态的鲁棒性和准确性。
本文提出SciJEPA,一种无需引用网络、利用文档内非对称预测学习构建科学文献表征的框架,并证明正则化可有效提升模型性能。
XP-JEPA 通过引入跨预测物理基础来改善潜在动态,从而在世界模型中实现更好的可预测控制,且在测试时无需物理输入。