学习如何回忆:世界模型的自适应多线索情景记忆

Hugging Face Daily Papers 论文

摘要

论文提出了 Future-Aware Recall(FAR)框架,通过未来感知的预测性监督和自适应多线索打分,使世界模型学会情景记忆的召回机制,并自动决定哪些检索线索(时间、姿态、视觉、音频)值得信赖。

世界模型根据当前经验和动作来预测未来的观测,但这种预测往往依赖于很久以前所见的观测。情景记忆将过去的观测保存下来以供后续召回;然而,随着记忆不断累积,一个根本性的问题随之浮现:哪些记忆对当前的预测是有用的?又该信任哪些可用的检索线索才能找到它们?这一问题充满挑战,因为基于时间新近程度、姿态重叠或视觉相似度的固定标准,在不同环境和不同查询下可能并不可靠。我们提出了 Future-Aware Recall(FAR)框架,通过未来感知的预测性监督和自适应多线索打分来学习情景记忆的召回。在训练过程中,FAR 通过在给定召回上下文的条件下,对实际发生的未来进行对数似然度量来评估预测效用,并用负扩散预测损失对其近似,进而以此训练一个在推理时仍保持“未来盲”的检索器。该检索器学习到与线索相关的相关性,并在选择记忆时自动确定哪些可用的检索线索(例如时间、姿态、视觉和音频)值得信赖。在三个互补的实验设置中,即使使用相同的检索线索,FAR 也优于人工设计的召回策略;它能够自动调整应信任的线索,并在世界环境发生变化时召回正确的历史记忆。综合来看,这些结果确立了 FAR 作为世界模型中情景记忆访问的一种灵活且有原则的方法。
查看原文
查看缓存全文

缓存时间: 2026/10/02 04:27

论文页面 - 学会回忆什么:面向世界模型的自适应多线索情景记忆

来源:https://huggingface.co/papers/2609.34677

摘要

世界模型会根据当前的经验与动作预测未来的观测结果,但这种预测可能依赖于很久以前看到的观测。情景记忆会保存过去的观测以供后续回忆;然而,随着记忆不断累积,一个根本性的问题随之而来:哪些记忆对当前的预测是有用的?我们又该信任哪些现有的检索线索来找到它们?这一问题颇具挑战性,因为基于时间新近程度、位姿重叠或视觉相似度的固定标准,在不同环境和查询场景下往往并不可靠。我们提出了 Future-Aware Recall(FAR),一个从“感知未来“的预测性监督与自适应多线索评分中学习情景回忆的框架。在训练阶段,FAR 通过“在已回忆上下文的条件下,真实未来观测的对数似然“来衡量预测效用,该似然以负扩散预测损失来近似估计,并用它来训练一个在推理时保持“对未来盲态“的检索器。该检索器学习每种线索各自的相关性,并在检索记忆时自动确定应当信任哪些现有线索(如时间、位姿、视觉和音频)。在三个互补的实验设置中,即使采用相同的检索线索,FAR 依然优于人工设计的回忆策略,能够自动调整应当信任的线索,并在世界发生变化时回忆起正确的历史。综合这些结果,FAR 被确立为世界模型中情景记忆访问的一种灵活且有原则的方法。

查看 arXiv 页面 (https://arxiv.org/abs/2609.34677) 查看 PDF (https://arxiv.org/pdf/2609.34677) 项目主页 (https://1202kbs.github.io/FAR-Project-Page/) GitHub1 (https://github.com/sony/far) 加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.34677)

在你的智能体中获取本文:

hf papers read 2609.34677

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

1202kbs/FAR-Checkpoints 1 天前更新 (https://huggingface.co/1202kbs/FAR-Checkpoints)

引用本文的数据集 3

1202kbs/FAR-Datasets-AI2THOR 2 天前更新 • 1.27k (https://huggingface.co/datasets/1202kbs/FAR-Datasets-AI2THOR)

1202kbs/FAR-Datasets-LoopNav (https://huggingface.co/datasets/1202kbs/FAR-Datasets-LoopNav)

1202kbs/FAR-Datasets-SoundSpaces (https://huggingface.co/datasets/1202kbs/FAR-Datasets-SoundSpaces)

引用本文的 Space 0

没有关联本文的 Space。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.34677,即可从本页面建立链接。

收录本文的合集 0

没有合集收录本文。

将本文加入某个合集 (https://huggingface.co/new-collection),即可从本页面建立链接。

相似文章

Memorizon:让世界模型在上下文窗口之外完成训练

Hugging Face Daily Papers

Memorizon 通过相机共视关系让每个被评分的片段检索一个共享的、有界的 top-K 隐变量库,从而在流式世界模型中将长跨度监督与注意力解耦,以极低的额外开销实现超出上下文窗口的一致性重访。与滑动窗口基线相比,检索将重访一致性提升最高达 30%,且结果表明模型确实利用了检索到的隐变量。

ReWorld:一个具有长期记忆的交互式世界模型

Hugging Face Daily Papers

ReWorld 提出了一个交互式世界模型,该模型使用混合注意力窗口和分布匹配的LoRA蒸馏,将短期控制与长期记忆解耦,实现了具有高动作保真度和回忆能力的实时视频生成。