学习如何回忆:世界模型的自适应多线索情景记忆
摘要
论文提出了 Future-Aware Recall(FAR)框架,通过未来感知的预测性监督和自适应多线索打分,使世界模型学会情景记忆的召回机制,并自动决定哪些检索线索(时间、姿态、视觉、音频)值得信赖。
查看缓存全文
缓存时间: 2026/10/02 04:27
论文页面 - 学会回忆什么:面向世界模型的自适应多线索情景记忆
来源:https://huggingface.co/papers/2609.34677
摘要
世界模型会根据当前的经验与动作预测未来的观测结果,但这种预测可能依赖于很久以前看到的观测。情景记忆会保存过去的观测以供后续回忆;然而,随着记忆不断累积,一个根本性的问题随之而来:哪些记忆对当前的预测是有用的?我们又该信任哪些现有的检索线索来找到它们?这一问题颇具挑战性,因为基于时间新近程度、位姿重叠或视觉相似度的固定标准,在不同环境和查询场景下往往并不可靠。我们提出了 Future-Aware Recall(FAR),一个从“感知未来“的预测性监督与自适应多线索评分中学习情景回忆的框架。在训练阶段,FAR 通过“在已回忆上下文的条件下,真实未来观测的对数似然“来衡量预测效用,该似然以负扩散预测损失来近似估计,并用它来训练一个在推理时保持“对未来盲态“的检索器。该检索器学习每种线索各自的相关性,并在检索记忆时自动确定应当信任哪些现有线索(如时间、位姿、视觉和音频)。在三个互补的实验设置中,即使采用相同的检索线索,FAR 依然优于人工设计的回忆策略,能够自动调整应当信任的线索,并在世界发生变化时回忆起正确的历史。综合这些结果,FAR 被确立为世界模型中情景记忆访问的一种灵活且有原则的方法。
查看 arXiv 页面 (https://arxiv.org/abs/2609.34677) 查看 PDF (https://arxiv.org/pdf/2609.34677) 项目主页 (https://1202kbs.github.io/FAR-Project-Page/) GitHub1 (https://github.com/sony/far) 加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.34677)
在你的智能体中获取本文:
hf papers read 2609.34677
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 1
1202kbs/FAR-Checkpoints 1 天前更新 (https://huggingface.co/1202kbs/FAR-Checkpoints)
引用本文的数据集 3
1202kbs/FAR-Datasets-AI2THOR 2 天前更新 • 1.27k (https://huggingface.co/datasets/1202kbs/FAR-Datasets-AI2THOR)
1202kbs/FAR-Datasets-LoopNav (https://huggingface.co/datasets/1202kbs/FAR-Datasets-LoopNav)
1202kbs/FAR-Datasets-SoundSpaces (https://huggingface.co/datasets/1202kbs/FAR-Datasets-SoundSpaces)
引用本文的 Space 0
没有关联本文的 Space。
在 Space 的 README.md 中引用 arxiv.org/abs/2609.34677,即可从本页面建立链接。
收录本文的合集 0
没有合集收录本文。
将本文加入某个合集 (https://huggingface.co/new-collection),即可从本页面建立链接。
相似文章
Show HN: Adaptive Recall,基于MCP的AI助手持久记忆
Adaptive Recall 是一个AI助手记忆系统,它利用认知科学和机器学习,随时间提高检索质量。它提供具有多种检索策略、知识图谱构建和自我提升能力的API。
Memorizon:让世界模型在上下文窗口之外完成训练
Memorizon 通过相机共视关系让每个被评分的片段检索一个共享的、有界的 top-K 隐变量库,从而在流式世界模型中将长跨度监督与注意力解耦,以极低的额外开销实现超出上下文窗口的一致性重访。与滑动窗口基线相比,检索将重访一致性提升最高达 30%,且结果表明模型确实利用了检索到的隐变量。
MemLearner:学习为视频世界模型查询上下文记忆
MemLearner 提出了一种基于学习的自适应上下文查询方法,使用查询令牌来改善视频世界模型中的场景一致性和记忆,特别适用于具有遮挡和动态物体的长序列。
ReWorld:一个具有长期记忆的交互式世界模型
ReWorld 提出了一个交互式世界模型,该模型使用混合注意力窗口和分布匹配的LoRA蒸馏,将短期控制与长期记忆解耦,实现了具有高动作保真度和回忆能力的实时视频生成。
WorldCrafter: 一致的视频世界模型与隐式3D感知记忆
WorldCrafter是一个视频世界模型,它学习一个可相机查询的隐式3D感知记忆,用于从单张图像或文本提示进行一致且相机可控的流式场景探索。