标签
介绍STST-JEPA，一种用于EEG的自监督Transformer，可预测掩码令牌表示，并在47,703次会话上预训练，用于5-81岁年龄段的脑年龄回归。
介绍了DLLM-JEPA，这是一种针对掩码扩散语言模型的JEPA公式，通过扩散噪声调度从单个输入构建两个视图，相比LLM-JEPA减少了33%的训练FLOPs，并在GSM8K等任务上提升了微调性能。