latent-representations

本线程展示了一个理论结果，表明预测抽象的潜在表征（如JEPA和data2vec）而非原始词元，可以指数级地缩小人工智能与人类学习之间的数据差距。

本文介绍了学习的中继表示（Relay），一种使掩码扩散模型能够在去噪步骤之间传播潜在信息的方法，克服了硬重置问题并改善了性能-延迟权衡。该方法在编码任务上优于标准的监督微调，同时将推理延迟降低高达32%。

Sub-JEPA通过在冻结的随机正交子空间中应用高斯正则化来改进LeWorldModel，在基准测试中一致优于原始版本，改进幅度高达+10.7个百分点。