next-latent-prediction

Jayden Teoh提出Next-Latent Prediction（NextLat），一种自监督学习方法，教Transformer学习预测下一个隐状态，从而形成紧凑的世界模型，用于推理和规划，并通过自推测解码将推理速度提升3.3倍。

微软的NextLat论文提出了一种自监督训练方法，让Transformer预测其下一个隐藏状态而非仅仅下一个token，从而形成更紧凑的世界模型，更好地进行规划和推理，并且生成速度提升高达3.3倍。

介绍了 Next-Latent Prediction (NextLat)，这是一种自监督目标，训练 Transformer 预测其下一个潜在状态，鼓励形成紧凑的内部世界模型，并提高跨序列建模任务的泛化能力。