InteractiveWorld

一个用于构建更优秀的交互式 MLLM 助手的可验证、以人为本的环境

paper: https://t.co/rNQOBFqi81 https://t.co/CZHca4zuwW

论文页面 - InteractiveWorld：一个用于构建更优秀的交互式 MLLM 助手的可验证、以人为本的环境

来源：https://huggingface.co/papers/2610.33966 发布于 10 月 25 日

·

由 https://huggingface.co/Qinsi1 提交

Wang (https://huggingface.co/Qinsi1) 于 10 月 27 日发布

摘要

InteractiveWorld 提供了一个可验证的仿真环境与基准，用于评估多模态语言模型能否可靠地引导人类完成物理任务。

人们一直梦想有一个时刻在线的助手，随时引导自己、提醒遗忘的事项——从新菜品的做法到丢失的钥匙。在多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20large%20language%20models)（MLLMs）的驱动下，可穿戴设备上的第一人称视角 AI 助手 (https://huggingface.co/papers?q=egocentric%20AI%20assistants) 正让这一梦想触手可及：它们能看到用户所看到的一切，并在需要时为用户的实际操作提供指引。然而，测试这类辅助能力颇具挑战，通常需要真实人类参与。昂贵且稀缺的真实交互数据留下了一个关键问题未解：当今的 MLLMs 真的能在物理世界中帮助人类吗？为回答这一问题，我们提出了 InteractiveWorld (https://huggingface.co/papers?q=InteractiveWorld)——首个支持人类与 AI 助手进行闭环交互 (https://huggingface.co/papers?q=closed-loop%20interaction) 的可验证环境。与现有的以机器人为核心的仿真器不同，InteractiveWorld (https://huggingface.co/papers?q=InteractiveWorld) 让助手引导一个人类智能体：该智能体观察场景、理解指令并自主行动。因此，它能够真实地模拟 AI 助手与人类协作的方式：助手发出指令，人类执行动作，环境执行动作并更新他们接下来所看到的内容。在此基础上，我们推出了 InteractiveBench (https://huggingface.co/papers?q=InteractiveBench)——首个面向第一人称视角 AI 助手 (https://huggingface.co/papers?q=egocentric%20AI%20assistants) 的动态基准，包含六个类别共 120 个多轮任务。在每个任务中，助手需要实时引导人类，每条指令都会影响最终结果，评分依据可验证的、基于状态的奖励 (https://huggingface.co/papers?q=state-based%20rewards)。在 12 个前沿 MLLMs (https://huggingface.co/papers?q=frontier%20MLLMs) 上的实验表明，它们距离可靠的助手仍有很大差距。即使是最强的模型 Claude Fable 5.1，在长程的 Guidance 和 Planning 任务上也分别只取得了最高 20% 和 25% 的成绩。总体而言，我们的工作提供了一个可验证的平台和一套严格的评估集，为研究能够真正帮助人类在物理世界中行动的交互式 MLLM 助手奠定了坚实基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.33966)　查看 PDF (https://arxiv.org/pdf/2610.33966)　项目页面 (https://meta-interactiveworld.github.io/)　GitHub27 (https://github.com/facebookresearch/InteractiveWorld)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.33966)

在你的智能体中获取本文：

hf papers read 2610\.33966

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.33966，即可从此页面链接该模型。

引用本文的数据集 0

暂无数据集关联本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.33966，即可从此页面链接该数据集。

引用本文的 Spaces 0

暂无 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.33966，即可从此页面链接该 Space。

包含本文的收藏夹 0

暂无收藏夹包含本文。

将本文添加到收藏夹 (https://huggingface.co/new-collection)，即可从此页面链接该收藏夹。