predictor-scaling

标签

Cards List
#predictor-scaling

驱动 vs. 衰减:论 Joint-Embedding Predictive Architecture 的训练动力学

arXiv cs.LG ↗ · 2026-10-05 缓存

该论文为 Joint-Embedding Predictive Architecture 构建了一套早期训练稳定性理论,通过驱动/衰减稳定性比率将各类经验性的崩溃规避启发式方法统一起来,并预测出一条相边界,该边界已在 800 多种 Tabular-JEPA 配置上得到验证;论文同时提出了一个名为 ResidualPred 的 transformer 预测器,在表格数据与 I-JEPA 图像基准上均提升了有效秩与准确率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈