执行先于记忆:诊断视频世界模型中的记忆失效
摘要
论文提出 MIST 评测方法,将场景搭建与变化执行分离,以诊断视频世界模型中的记忆失效问题;并提出 M3-Agent,通过递归修正指令将 MIST 揭示得分提升三倍,同时显著提高 WRBench 和 MBench-T 的成绩。
查看缓存全文
缓存时间: 2026/10/19 07:29
论文页面 - 执行先于记忆:视频世界模型中的记忆故障诊断
来源:https://huggingface.co/papers/2610.23542
摘要
MIST 将场景搭建与变化执行分离,从而隔离视频世界模型中的记忆故障,而 M3-Agent 提升了指令执行能力,显著提高了基准测试得分。
针对视频世界模型(https://huggingface.co/papers?q=video%20world%20model)的记忆测试应当分别说明:场景是否已搭建、要求的变化是否被执行、以及最后一帧是否展示了结果。当前的测试将这三者折叠为一个分数,因此低分很容易被解读为“遗忘“。当变化未被执行时,隐状态转移(https://huggingface.co/papers?q=hidden%20state%20transition)无法出现,此时的测试实际上并不是对记忆的测试。我们提出了 MIST(https://huggingface.co/papers?q=MIST),一种将变化与其应当留下的记忆分离开来的评估方法。模型首先在变化被隐藏的状态下搭建场景,之后才被要求展示这一变化,在此之前的信息泄漏受到控制。这种分离定位了瓶颈所在:模型能够搭建场景,但不会执行被指示的变化。同样的差距也出现在通用记忆评估中。基于此,我们提出了 M3-Agent(https://huggingface.co/papers?q=M3-Agent)(Make the Missing Move,https://huggingface.co/papers?q=Make%20the%20Missing%20Move),它递归地修改输入指令的细节,使模型能够成功执行所请求的指令。相较于基线,它将 MIST(https://huggingface.co/papers?q=MIST)reveal 分数提升了两倍以上。在基准测试中,WRBench(https://huggingface.co/papers?q=WRBench)的 T 分数提升了 26.1%,MBench-T(https://huggingface.co/papers?q=MBench-T)的 U 分数提升了 52.7%。该方法从执行一侧入手解决问题:它展示了在关键动作被明确表达后冻结模型的能力,并设定了更严格的基线。
查看 arXiv 页面(https://arxiv.org/abs/2610.23542)查看 PDF(https://arxiv.org/pdf/2610.23542)项目页面(https://hku-mmlab.github.io/MIST/)GitHub3(https://github.com/HKU-MMLab/MIST)添加到收藏夹(https://huggingface.co/login?next=%2Fpapers%2F2610.23542)
在你的 agent 中获取此论文:
hf papers read 2610\.23542
还没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型关联此论文。
在模型 README.md 中引用 arxiv.org/abs/2610.23542 即可从本页面链接它。
引用此论文的数据集 0
没有数据集关联此论文。
在数据集 README.md 中引用 arxiv.org/abs/2610.23542 即可从本页面链接它。
引用此论文的 Spaces 0
没有 Space 关联此论文。
在 Space README.md 中引用 arxiv.org/abs/2610.23542 即可从本页面链接它。
收录此论文的收藏夹 0
没有收藏夹收录此论文。
将此论文添加到收藏夹(https://huggingface.co/new-collection)即可从本页面链接它。
相似文章
MBench:面向视频世界模型记忆能力的综合基准
本文介绍了MBench,一个用于评估视频世界模型在长时间跨度下对实体、环境和因果一致性记忆能力的基准。
面向视频世界模型的可寻址记忆
本文介绍了WorldTrace,一种无需训练的记忆框架,用于长时程视频世界模型,使压缩缓存保持可寻址;同时引入了LoopBench,一个用于在长时间绕行后进行情景回想的基准测试。它在LoopBench上将时间一致性提升了+15.5%,情景回想提升了+19.5%。
MemoBench:动态变化环境中世界建模的基准测试
MemoBench是一个诊断基准,用于评估视频生成模型在动态变化环境中的记忆一致性,其中物体消失并以更新后的状态重新出现。它包括360个真实视频片段和一个结合自动指标与基于VQA评估的测试套件,揭示了记忆一致性挑战的洞见。
视频世界模型中的记忆(6分钟阅读)
NVIDIA及其合作者的一项最佳论文研究引入了WorldTrace,这是一个无需训练的框架,通过分配固定的槽位秩位置,使自回归视频世界模型中的压缩记忆保持可寻址,从而实现连贯的长程生成和超越训练视野的长距离回忆。
WorldMemBench:视频世界模型记忆能力的综合基准
WorldMemBench 提出了一个用于系统评估视频世界模型世界记忆能力的基准,涵盖260个测试用例,分别考察静态记忆(人物、物体、环境的身份与几何保持)和动态记忆(事件演进与状态持续性)。对九个代表性模型的评估显示,强静态记忆并不意味着可靠的状态演化,且重复重访会暴露记忆退化问题。