论文页面 - Latent-Foresight：为隐空间世界模型端到端学习可预测表征

来源：https://huggingface.co/papers/2610.01942

摘要

预测场景的未来演化是世界建模的一项基础能力。近期研究表明，在 Vision Foundation Models（VFM）的特征空间中进行建模能够产生语义丰富的表征，从而支持多样的未来场景理解任务。然而，现有方法依赖于两阶段流水线：首先使用固定的降维方法（例如 PCA）或独立训练的自编码器压缩 VFM 特征，然后在得到的冻结隐空间之上训练一个独立的预测器。这种表征学习与时序预测之间的解耦，以及直接在原始 VFM 特征上应用预测器的做法，都无法保证隐空间具备面向可预测动态的结构。在本工作中，我们提出 Latent-Foresight，这是一个端到端框架，联合学习一个隐空间 tokenizer 和一个基于 flow 的生成式动态模型，显式地塑造表征以支持时序可预测性。为了实现稳定的联合优化，我们引入了若干关键设计选择，以避免隐空间坍缩，并使重建目标与生成目标保持一致。大量实验表明，我们的方法学到了时序上更加连贯的隐表征，在多个未来场景理解任务和不同预测时程上始终优于两阶段基线方法，同时消除了单独的训练阶段，包括在高分辨率适配阶段。我们在 https://github.com/Sta8is/Latent-Foresight 提供了实现代码和模型权重。

查看 arXiv 页面 · 查看 PDF · GitHub · 加入收藏夹

在你的 agent 中获取这篇论文：

hf papers read 2610.01942

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

暂无模型引用此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.01942 即可从本页面链接到它。

引用此论文的数据集

暂无数据集引用此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.01942 即可从本页面链接到它。

引用此论文的 Space

暂无 Space 引用此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.01942 即可从本页面链接到它。

包含此论文的收藏夹

暂无收藏夹包含此论文。

将此论文加入收藏夹 即可从本页面链接到它。