标签
该论文提出了BLPM，一种脑电-语言基础模型，利用连续潜变量预测建模和语义对齐将脑电信号映射到文本嵌入，在多样任务和数据集上实现了可泛化的神经解码。
CellWorld 提出了一种面向空间转录组基础模型的潜空间预测预训练方法，预测掩蔽细胞的潜在表示，而非重建基因测量值。在多个留出数据集上，即使是小型变体也在所有基准测试上优于现有基线，表明扩展规模和广泛的生物多样性可以提高迁移能力。
This paper introduces NodeJEPA, a joint-embedding predictive architecture for node-level graph self-supervised learning that predicts latent representations of masked structure-aware ego-subgraphs, avoiding reconstruction and hand-crafted augmentations. The method is evaluated on node classification benchmarks and shows competitive performance.
本文分析了为什么确定性JEPA风格的潜在预测适用于图像但不适用于文本，将失败归因于语言中的高条件方差，其中被屏蔽的上下文允许多个有效补全，而这些补全的表征缺乏一致的质心。
本文证明，对于具有隐藏结构的分层数据，通过预测潜在表示（如JEPA和data2vec等世界模型的做法）进行学习所需的数据量，远少于通过预测token（如LLMs的做法）进行学习，其差距呈指数级。