标签
JEPA-Anything 提出了一种基于正交预测因子分解的领域无关框架,用于跨视觉、生物学和控制等多种系统学习预测模型,并展示了改进效果和实验验证。
本文提出了一种面向偏微分方程的目标无关控制框架,采用联合嵌入预测架构(JEPA),并配备轻量级2D ViT编码器和动作条件潜在动力学。研究表明,使用学到的物理可观测探针在控制任务中优于原始潜在距离。
介绍STST-JEPA,一种用于EEG的自监督Transformer,可预测掩码令牌表示,并在47,703次会话上预训练,用于5-81岁年龄段的脑年龄回归。
介绍了DLLM-JEPA,这是一种针对掩码扩散语言模型的JEPA公式,通过扩散噪声调度从单个输入构建两个视图,相比LLM-JEPA减少了33%的训练FLOPs,并在GSM8K等任务上提升了微调性能。