论文页面 - 世界模型中的幻觉可预测且可避免

来源：https://huggingface.co/papers/2606.27326

摘要

世界模型在状态-动作空间的低数据区域会出现幻觉，这可通过数据驱动的信号和覆盖感知采样技术进行检测和缓解。

现代生成式世界模型能够渲染出日益逼真、可控制动作的未来场景，但它们经常产生幻觉：生成的轨迹在视觉上保持流畅，却偏离了真实的动力学机制。我们假设幻觉集中在状态-动作空间的低覆盖区域，轻量级的数据驱动信号既能检测幻觉，也能指导缓解措施。为验证这一点，我们提出了 MMBench2——一个包含 427 小时、210 个任务的视觉世界建模数据集，配有真实动作、奖励和实时模拟器，并在其上训练了一个 3.5 亿参数的世界模型。我们识别出三种不同的幻觉模式：感知型、动作边缘化型和场景发散型——每种对应流程的不同阶段，并开发了三种能准确预测模型失败位置的信号。为在训练时覆盖缺口，我们开发了一种覆盖感知采样技术；为在线覆盖缺口，我们的幻觉预测器充当好奇心奖励，用于针对性数据收集，从而得到一种数据高效的微调方法，使预训练的世界模型在仅需 50 条真实环境轨迹的情况下适配完全未见过的环境。总体而言，我们的发现表明，世界模型中的幻觉本质上是一个数据覆盖问题，而用于检测幻觉的信号也可用于缓解幻觉。论文的交互式网页版参见 https://www.nicklashansen.com/mmbench2

查看 arXiv 页面 (https://arxiv.org/abs/2606.27326)查看 PDF (https://arxiv.org/pdf/2606.27326)项目页面 (https://www.nicklashansen.com/mmbench2)GitHub5 (https://github.com/nicklashansen/mmbench2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.27326)

在你的代理中获取这篇论文：

hf papers read 2606\.27326

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.27326 即可从此页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.27326 即可从此页面链接。

引用此论文的 Space0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.27326 即可从此页面链接。

包含此论文的收藏0

无收藏包含此论文

将这篇论文添加到一个收藏 (https://huggingface.co/new-collection) 中即可从此页面链接。