论文页面 - JEPA-TTT：面向动力学偏移下规划的潜在世界模型的持续测试时训练

来源：https://huggingface.co/papers/2610.00722

摘要

世界模型通过预测环境的未来状态使智能体能够进行规划，但当测试时的动力学与训练期间所见不同时，其预测可能变得不可靠。我们提出 JEPA-TTT，它在测试时持续地对预训练的动作条件联合嵌入预测架构（Joint Embedding Predictive Architecture, JEPA）世界模型的潜在动力学预测器进行适应。自监督更新会在多个 episode 之间不断累积，而视觉编码器和奖励头保持固定，从而保留预训练的表示和任务目标。规划既不需要目标图像，也不需要在线环境奖励。JEPA-TTT 采用密集回放（dense replay）机制：在每个时间偏移处构建预测窗口，将其保存在不断增长的缓冲区中，并从该缓冲区中采样小批量数据来更新预测器。在四个连续控制环境中的八种动力学偏移上，JEPA-TTT 在每一种偏移下都提升了规划性能。经过 500 个测试时 episode 后，与冻结的 JEPA 世界模型相比，其自回归潜在预测误差平均降低 83%，规划性能提升 153%。这些结果表明，持续的自监督测试时训练能够让预训练的潜在世界模型适应发生变化的动力学。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00722) 查看 PDF (https://arxiv.org/pdf/2610.00722) 项目页面 (https://jepa-ttt.github.io/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00722)

引用该论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.00722 即可将此页面关联起来。

引用该论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.00722 即可将此页面关联起来。

引用该论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.00722 即可将此页面关联起来。

包含该论文的合集 0

暂无合集包含此论文

将该论文添加到合集 (https://huggingface.co/new-collection) 即可将此页面关联起来。