标签
Randall Balestriero和Yann LeCun的一篇新论文提出,产生统一世界表征的关键是配对视图训练(如图文配对),而非单纯追求规模或预测下一个词——研究表明一个1.09亿参数的模型在表征对齐方面超越了720亿参数的语言模型。
Yann LeCun 和 Randall Balestriero 通过数学方法证明了 Platonic Representation Hypothesis(柏拉图式表征假说),并表明使用与场景相关的正样本视图进行 JEPA 训练,可以用减少42倍的数据实现图文对齐。其中,一个1.09亿参数的文本 JEPA 模型在跨模态基准测试中超越了高达720亿参数的 LLM。
论文提出 AC-JEPA(锚定式跨模态联合嵌入预测架构),一种可与监督微调(SFT)兼容的即插即用模块,通过双向跨模态预测被掩码的中间表示来提升从视觉到符号序列的翻译能力。在光学化学结构识别(OCSR)任务上,AC-JEPA 在 WildMol Simple 上达到 76.07% 的准确率(SFT 基线为 67.40%),并在使用含噪声伪标签数据进行自训练时提升至 80.23%,而直接进行 SFT 反而导致性能下降。
本文提出了变分图册自编码器,这是一种混合坐标图框架,可在数据流形上学习多个局部潜在表示,并通过基于潜在证据的路由机制,将坐标图分配视为自监督后验推断,从而在 CelebA 等数据集上获得结构更优的潜在空间和质量更高的生成样本。
该论文提出了"预测闭包"(predictive closure)这一集合层面的刻画方式,用于描述 JEPA 如何选择需要编码的特征。研究显示,特征的保留取决于特征集合内部各特征之间的关系,而非单个特征的可预测性。实验结果表明,当不可预测的特征有助于预测其他特征时,它们同样会被保留下来。
本文提出了一种自监督表征学习框架,以时间邻近性作为监督信号,从动物短期运动轨迹中学习紧凑表征,结果表明这些表征能够在自由活动的大鼠中揭示个体身份与学习进程。
该论文提出一种噪声鲁棒的强制对齐方法,用上采样WLM特征替代MFCC的GMM-HMM对齐器,并显式建模填充词和非词汇语音事件,在Buckeye和FluencyBank上将词边界误差降低19%和17%,大幅减少灾难性错配。
PhysSkin++ 提出了一种物理信息驱动的框架,能够从静态几何体中学习连续的神经蒙皮场,从而在多种形状和空间表示上实现实时、可泛化的物理动画,无需针对每个对象进行训练。
该论文揭示了三维点云掩码自编码与 SE(3) 等变网络之间的理论不相容性,证明标准掩码会引发拓扑坍缩,并提出了 SIEVE——一种等变自监督框架,通过球面投影掩码在保留全局位姿的同时模糊局部语义,从而提升下游任务对未见过的形状类别的泛化能力。
提出了一个将持久同调整合进DMAE骨干网络的拓扑感知表示学习框架,用于编码三周期极小曲面(TPMS)机械超材料的全局结构连通性,在机械属性无监督聚类上提升最高达51.5%,回归R²达0.993。
MaSS 通过解耦结构表征与上下文特征并引入场景结构判别目标,使自监督单目深度估计可扩展到多样场景训练,并在零样本评估中展现出强大的跨域泛化能力。
作者介绍 Event2Vec,一个通过自监督下一事件预测学习离散事件序列可加性嵌入的小型库,使任意线性评分可精确分解为逐事件项之和,并支持双曲、球面及非交换几何空间;论文见 arXiv 2509.12188,代码以 MIT 协议开源。
阿尔托大学的研究人员开展了一项大规模芬兰语语音自监督学习(SSL)研究,使用了210万小时的原始广播音频。研究表明,基于自动语音识别(ASR)置信度的过滤方法优于基于语言识别(LID)的过滤方法,词错误率(WER)相对降低了3%–7%;此外,研究还在参数预算相同的条件下,对Transformer、Macaron-Net、Conformer和E-Branchformer进行了受控架构比较。
KITE 提出一种知识注入的时间序列编码器,将工程师的领域先验(语义先验)通过可切换的协变量与注意力偏置机制注入自监督事件预测器,在稀有事件预测上显著优于无先验基线,并支持跨域迁移。
该论文提出将 TopK 稀疏自编码器与路由特定监督和跨因子对抗训练结合,在冻结的 SPEAR 和 WavLM 语音编码器上分离语言学与副语言学信息,展示跨编码器、语料库和干预实验一致的路由选择性分离效果。
SPERA 是一种采用 JEPA 潜空间预测架构的 EEG 基础模型,引入 Legendre 多项式空间先验与分解式时空注意力,在约 8 万小时、29,048 名受试者的 EEG 数据上预训练,并在九项下游任务上取得最高平均平衡准确率。
提出了 Keyframe Mnemonics,一种自监督关键帧发现方法,用于解决非马尔可夫环境下的行为克隆长时程依赖问题,在合成记忆域达到 100% 成功率,并在机器人操作基准上比最强基线平均绝对提升 13.9%。
RSI-Anything 提出一个基于 JEPA-Anything 的领域通用递归自我改进框架,利用预测性世界模型指导行动与学习数据选择,在代码修复、GUI 任务、实验室规划和反应优化等多个领域均取得显著性能提升。
DSReg提出通过依赖稀疏性正则化(Structural Diversity条件),在无需重建、解码器或标签的情况下可证明地恢复单个世界隐变量,建立了首个完全可识别的JEPA表示学习方法。
论文提出 Self Gradient Forcing Plus(SGF+),通过为上下文写入与去噪角色解耦参数并保留因果注意力交互,显著提升自回归视频生成的视觉质量与长时一致性,仅用5秒训练片段即可支持长达24小时的连续生成。