执行先于记忆:诊断视频世界模型中的记忆失效

Hugging Face Daily Papers 论文

摘要

论文提出 MIST 评测方法,将场景搭建与变化执行分离,以诊断视频世界模型中的记忆失效问题;并提出 M3-Agent,通过递归修正指令将 MIST 揭示得分提升三倍,同时显著提高 WRBench 和 MBench-T 的成绩。

对视频世界模型的记忆测试应当分别说明:场景是否已搭建、要求的变化是否被执行、以及最后一帧是否呈现了结果。现有的测试将这些因素合并为一个数字,因此低分很容易被解读为遗忘。当变化未被执行时,隐状态转移就无法出现,这样的测试实际上并没有真正检验记忆能力。我们提出 MIST,一种将变化与其应留下的记忆分离开来的评测方法。模型首先搭建场景,而变化保持隐藏,之后才被要求展示它,在此之前的信息泄露受到控制。这种分离能够定位瓶颈所在:模型搭建了场景,却没有执行被指令要求的变化。同样的差距在通用记忆评测中也会出现。在此基础上,我们提出 M3-Agent(Make the Missing Move,补上缺失的一步),它递归修正输入指令的细节,使模型成功完成所请求的指令。与基线相比,MIST 揭示得分提升了两倍以上。在基准测试中,WRBench 的 T 得分提升了 26.1%,MBench-T 的 U 得分提升了 52.7%。该方法从执行的角度切入问题:它展示了冻结模型在明确给出操作步骤后所能达到的能力,并确立了一个更严格的基线。
查看原文
查看缓存全文

缓存时间: 2026/10/19 07:29

论文页面 - 执行先于记忆:视频世界模型中的记忆故障诊断

来源:https://huggingface.co/papers/2610.23542

摘要

MIST 将场景搭建与变化执行分离,从而隔离视频世界模型中的记忆故障,而 M3-Agent 提升了指令执行能力,显著提高了基准测试得分。

针对视频世界模型(https://huggingface.co/papers?q=video%20world%20model)的记忆测试应当分别说明:场景是否已搭建、要求的变化是否被执行、以及最后一帧是否展示了结果。当前的测试将这三者折叠为一个分数,因此低分很容易被解读为“遗忘“。当变化未被执行时,隐状态转移(https://huggingface.co/papers?q=hidden%20state%20transition)无法出现,此时的测试实际上并不是对记忆的测试。我们提出了 MIST(https://huggingface.co/papers?q=MIST),一种将变化与其应当留下的记忆分离开来的评估方法。模型首先在变化被隐藏的状态下搭建场景,之后才被要求展示这一变化,在此之前的信息泄漏受到控制。这种分离定位了瓶颈所在:模型能够搭建场景,但不会执行被指示的变化。同样的差距也出现在通用记忆评估中。基于此,我们提出了 M3-Agent(https://huggingface.co/papers?q=M3-Agent)(Make the Missing Move,https://huggingface.co/papers?q=Make%20the%20Missing%20Move),它递归地修改输入指令的细节,使模型能够成功执行所请求的指令。相较于基线,它将 MIST(https://huggingface.co/papers?q=MIST)reveal 分数提升了两倍以上。在基准测试中,WRBench(https://huggingface.co/papers?q=WRBench)的 T 分数提升了 26.1%,MBench-T(https://huggingface.co/papers?q=MBench-T)的 U 分数提升了 52.7%。该方法从执行一侧入手解决问题:它展示了在关键动作被明确表达后冻结模型的能力,并设定了更严格的基线。

查看 arXiv 页面(https://arxiv.org/abs/2610.23542)查看 PDF(https://arxiv.org/pdf/2610.23542)项目页面(https://hku-mmlab.github.io/MIST/)GitHub3(https://github.com/HKU-MMLab/MIST)添加到收藏夹(https://huggingface.co/login?next=%2Fpapers%2F2610.23542)

在你的 agent 中获取此论文:

hf papers read 2610\.23542

还没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.23542 即可从本页面链接它。

引用此论文的数据集 0

没有数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.23542 即可从本页面链接它。

引用此论文的 Spaces 0

没有 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.23542 即可从本页面链接它。

收录此论文的收藏夹 0

没有收藏夹收录此论文。

将此论文添加到收藏夹(https://huggingface.co/new-collection)即可从本页面链接它。

相似文章

面向视频世界模型的可寻址记忆

Hugging Face Daily Papers

本文介绍了WorldTrace,一种无需训练的记忆框架,用于长时程视频世界模型,使压缩缓存保持可寻址;同时引入了LoopBench,一个用于在长时间绕行后进行情景回想的基准测试。它在LoopBench上将时间一致性提升了+15.5%,情景回想提升了+19.5%。

MemoBench:动态变化环境中世界建模的基准测试

Hugging Face Daily Papers

MemoBench是一个诊断基准,用于评估视频生成模型在动态变化环境中的记忆一致性,其中物体消失并以更新后的状态重新出现。它包括360个真实视频片段和一个结合自动指标与基于VQA评估的测试套件,揭示了记忆一致性挑战的洞见。

视频世界模型中的记忆(6分钟阅读)

TLDR AI

NVIDIA及其合作者的一项最佳论文研究引入了WorldTrace,这是一个无需训练的框架,通过分配固定的槽位秩位置,使自回归视频世界模型中的压缩记忆保持可寻址,从而实现连贯的长程生成和超越训练视野的长距离回忆。

WorldMemBench:视频世界模型记忆能力的综合基准

Hugging Face Daily Papers

WorldMemBench 提出了一个用于系统评估视频世界模型世界记忆能力的基准,涵盖260个测试用例,分别考察静态记忆(人物、物体、环境的身份与几何保持)和动态记忆(事件演进与状态持续性)。对九个代表性模型的评估显示,强静态记忆并不意味着可靠的状态演化,且重复重访会暴露记忆退化问题。