Tag
A new paper by Randall Balestriero and Yann LeCun argues that paired-view training (e.g., image-caption pairs), not sheer scale or next-word prediction, is what produces unified world representations—showing a 109M-parameter model outperforming a 72B language model in representational alignment.
Yann LeCun and Randall Balestriero mathematically prove the Platonic Representation Hypothesis and show that JEPA training with scene-related positive views achieves image-text alignment with 42× less data, with a 109M-parameter text JEPA outperforming LLMs up to 72B on cross-modal benchmarks.
论文提出 AC-JEPA（Anchored Cross-Modal JEPA），一种可与 SFT 兼容的即插即用模块，通过在双向跨模态预测掩码中间表示来提升视觉到符号序列的翻译能力。在光学化学结构识别（OCSR）任务上，AC-JEPA 在 WildMol Simple 上达到 76.07% 准确率（基线 SFT 为 67.40%），并在使用含噪声伪标签数据自训练时提升至 80.23%，而直接 SFT 反而性能下降。
The paper introduces Variational Atlas Autoencoders, a mixture-of-charts framework that learns multiple local latent representations over a data manifold, using latent-evidence routing to treat chart assignment as self-supervised posterior inference, achieving better-structured latent spaces and higher sample quality on datasets like CelebA.
The paper proposes 'predictive closure,' a set-level characterization of how JEPA selects features to encode, showing that feature retention depends on relationships within feature sets rather than individual predictability, with experiments demonstrating that unpredictable features can be preserved when they aid prediction of others.
The paper introduces a self-supervised representation learning framework that uses temporal proximity as supervision to learn compact representations from short-term animal movement trajectories, showing they reveal individual identity and learning progress in freely behaving rats.
该论文提出一种噪声鲁棒的强制对齐方法，用上采样WLM特征替代MFCC的GMM-HMM对齐器，并显式建模填充词和非词汇语音事件，在Buckeye和FluencyBank上将词边界误差降低19%和17%，大幅减少灾难性错配。
PhysSkin++ introduces a physics-informed framework that learns continuous neural skinning fields from static geometries, enabling real-time, generalizable physics-based animation across diverse shapes and spatial representations without per-object training.
The paper identifies a theoretical incompatibility between 3D point cloud masked autoencoding and SE(3)-equivariant networks, proving that standard masking triggers a topological collapse, and introduces SIEVE, an equivariant self-supervised framework using a spherical projection mask to preserve global pose while obfuscating local semantics, improving downstream generalization to unseen shape categories.
提出了一个将持久同调整合进DMAE骨干网络的拓扑感知表示学习框架，用于编码三周期极小曲面(TPMS)机械超材料的全局结构连通性，在机械属性无监督聚类上提升最高达51.5%，回归R²达0.993。
MaSS 通过解耦结构表征与上下文特征并引入场景结构判别目标，使自监督单目深度估计可扩展到多样场景训练，并在零样本评估中展现出强大的跨域泛化能力。
作者介绍 Event2Vec，一个通过自监督下一个事件预测学习离散事件序列加性嵌入的小型库，使任意线性评分可精确分解为逐事件项之和，并支持双曲、球面及非交换几何空间；论文见 arXiv 2509.12188，代码以 MIT 协议开源。
Aalto University researchers present a large-scale Finnish speech SSL study using 2.1M hours of raw broadcast audio, showing that ASR confidence-based filtering outperforms LID-based filtering by 3-7% relative WER, along with controlled architectural comparisons of Transformer, Macaron-Net, Conformer, and E-Branchformer at matched parameter budgets.
KITE 提出一种知识注入的时间序列编码器，将工程师的领域先验（语义先验）通过可切换的协变量与注意力偏置机制注入自监督事件预测器，在稀有事件预测上显著优于无先验基线，并支持跨域迁移。
该论文提出将 TopK 稀疏自编码器与路由特定监督和跨因子对抗训练结合，在冻结的 SPEAR 和 WavLM 语音编码器上分离语言学与副语言学信息，展示跨编码器、语料库和干预实验一致的路由选择性分离效果。
SPERA 是一种采用 JEPA 潜空间预测架构的 EEG 基础模型，引入 Legendre 多项式空间先验与分解式时空注意力，在约 8 万小时、29,048 名受试者的 EEG 数据上预训练，并在九项下游任务上取得最高平均平衡准确率。
提出了 Keyframe Mnemonics，一种自监督关键帧发现方法，用于解决非马尔可夫环境下的行为 cloning 长时程依赖问题，在合成记忆域达到 100% 成功率，并在机器人操作基准上比最强基线平均绝对提升 13.9%。
RSI-Anything 提出一个基于 JEPA-Anything 的领域通用递归自我改进框架，利用预测性世界模型指导行动与学习数据选择，在代码修复、GUI 任务、实验室规划和反应优化等多个领域均取得显著性能提升。
DSReg提出通过依赖稀疏性正则化（Structural Diversity条件），在无需重建、解码器或标签的情况下可证明地恢复单个世界隐变量，建立了首个完全可识别的JEPA表示学习方法。
论文提出 Self Gradient Forcing Plus（SGF+），通过为上下文写入与去噪角色解耦参数并保留因果注意力交互，显著提升自回归视频生成的视觉质量与长时一致性，仅用5秒训练片段即可支持长达24小时的连续生成。