@_akhaliq: VISReg Variance-Invariance-Sketching Regularization 用于JEPA训练

X AI KOLs Following 论文
regularization jepa self-supervised-learning variance-invariance sketching

摘要

介绍了VISReg，一种用于JEPA（联合嵌入预测架构）训练的正则化方法，它结合了方差（variance）、不变性（invariance）和Sketching约束。

VISReg Variance-Invariance-Sketching Regularization 用于JEPA训练 https://t.co/WFLaqiyzYW
查看原文
查看缓存全文

缓存时间: 2026/06/28 07:57

VISReg

方差-不变性-草图正则化 用于 JEPA 训练 https://t.co/WFLaqiyzYW

相似文章

SIGReg目标作为变分自由能：JEPA世界模型的理论主动推理解释

arXiv cs.LG

本文建立了联合嵌入预测架构（JEPA）中使用的SIGReg目标与主动推理框架之间的形式对应关系，表明在某些条件下，训练目标成为精确的变分自由能。它将非对比正则化器组织成一个熵估计器层次结构，并证明了理论结果，包括精确信息瓶颈和SIGReg保留的惊讶界。

注解版JEPA

Hacker News Top

联合嵌入预测架构（JEPA）用于自监督学习的逐步注解实现与解释，涵盖I-JEPA、V-JEPA和LeJEPA。

AV-JEPA: 将LeJEPA扩展到音视频自监督学习

arXiv cs.AI

AV-JEPA将LeJEPA扩展到音视频自监督学习，在潜在空间中实现跨模态对齐，无需解码器、对比负样本或复杂损失函数，并在VGGSound和AudioSet上取得了有竞争力的分类结果。