论文页面 - 世界模型遇上语言模型：论具体推理与抽象推理的互补性

来源：https://huggingface.co/papers/2606.03603

摘要

受控具体推理结合了视觉模拟与抽象推理，通过一种利用特权未来信息的训练方法来提高预测准确性和鲁棒性。

世界模型 (World models) (https://huggingface.co/papers?q=World%20models) 与多模态大语言模型 (Multimodal Large Language Models, MLLMs) (https://huggingface.co/papers?q=multimodal%20large%20language%20models) 为从静态视觉观测预测未来结果提供了互补的能力。世界模型可以生成关于可能未来的具体视觉推演 (visual rollouts) (https://huggingface.co/papers?q=visual%20rollouts)，而 MLLMs 能够对问题、目标和规则进行抽象推理。然而，生成的推演是随机的，可能在视觉上合理但与任务不符，因此需要判断视觉模拟 (visual simulation) (https://huggingface.co/papers?q=visual%20simulation) 何时有用、推演是否可信以及它应如何影响最终答案。我们将此问题定义为受控具体推理 (controlled concrete reasoning) (https://huggingface.co/papers?q=controlled%20concrete%20reasoning)，即模型学习在抽象推理 (abstract reasoning) (https://huggingface.co/papers?q=abstract%20reasoning) 的同时调用、验证并整合视觉未来模拟。为了研究这一设定，我们构建了两个人验证的基准：VRQABench（用于可控空间前瞻）和 OpenWorldQA（用于开放域物理预测），并提出了基于策略的自我蒸馏特权未来 (Privileged-Future On-Policy Self-Distillation, PF-OPSD) (https://huggingface.co/papers?q=PF-OPSD) 方法。在训练过程中，PF-OPSD 仅使用真实未来视频和答案作为教师侧的特权上下文 (privileged context) (https://huggingface.co/papers?q=privileged%20context) 来评估基于策略的具体推理轨迹，而部署的学生模型在测试时从不观测真实未来。实验结果显示，PF-OPSD 在 VRQABench 和 OpenWorldQA 上分别比基线高出 10.6% 和 10.9%，同时增强了对于噪声或冲突推演的鲁棒性。我们的代码和数据集可在 https://github.com/yczhou001/PF-OPSD (https://github.com/yczhou001/PF-OPSD) 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2606.03603)查看 PDF (https://arxiv.org/pdf/2606.03603)GitHub1 (https://github.com/yczhou001/PF-OPSD)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.03603)

在你的智能体中获取此论文：

hf papers read 2606\.03603

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.03603 以从本页链接。

引用此论文的数据集2

YCZhou/vrqa_bench 更新于约1小时前 (https://huggingface.co/datasets/YCZhou/vrqa_bench)

YCZhou/openworld_qa 更新于约1小时前 (https://huggingface.co/datasets/YCZhou/openworld_qa)

引用此论文的空间0

无空间关联此论文

请在空间 README.md 中引用 arxiv.org/abs/2606.03603 以从本页链接。

包含此论文的收藏0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接。