标签
该论文为 Joint-Embedding Predictive Architecture 构建了一套早期训练稳定性理论，通过驱动/衰减稳定性比率将各类经验性的崩溃规避启发式方法统一起来，并预测出一条相边界，该边界已在 800 多种 Tabular-JEPA 配置上得到验证；论文同时提出了一个名为 ResidualPred 的 transformer 预测器，在表格数据与 I-JEPA 图像基准上均提升了有效秩与准确率。
LeVJEPA引入了一种更高效的自监督视频预训练方法，通过消除对目标网络和预测器的需求，使用带有SIGReg正则化器的单一共享编码器，并以更低的计算成本实现有竞争力的性能。
提出拓扑正则化侧路径（TRSP）以缓解LLM中的表示坍缩，通过平衡混合效率与信息容量之间的频谱权衡，在长上下文基准上取得显著提升。
本文证明，注意力沉没、表示坍塌和范数分层并非注意力机制所独有，而是基于内容的路由在盲范数相似性度量下的普遍结果，这一结论在包括Transformer、graph attention、state-space models和recurrent mixers在内的多种架构中得到了验证。
本文研究了大型语言模型在顺序后训练中的表征坍塌现象，表明重复的适应阶段会压缩内部表征，降低可塑性和域外泛化能力。作者提出了轻量级干预措施，在不牺牲行为增益的前提下保留未来的可学习性。