BlenderWorld:面向真实世界参考的 3D 创作视觉智能体基准
摘要
BlenderWorld 是首个专注于真实世界 3D 创作任务的综合基准,包含 223 个任务,通过渲染输出和 2,651 条二元评分标准评估前沿多模态模型,结果显示 GPT-6-Astra 以 79.9 分领先,但所有模型在细粒度 3D 空间一致性方面仍存在显著不足。
查看缓存全文
缓存时间: 2026/10/20 07:33
论文页面 - BlenderWorld:面向真实世界参考的 3D 创作视觉智能体基准测试
来源:https://huggingface.co/papers/2610.23986 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
BlenderWorld 是一个基准测试,用于在真实 3D 创作任务上评估多模态语言模型,采用渲染输出和二元评分标准,揭示了模型在空间一致性方面的显著差距。
多模态大语言模型(https://huggingface.co/papers?q=multimodal%20large%20language%20models)(MLLMs)的最新进展使其能够作为自主智能体(https://huggingface.co/papers?q=autonomous%20agents),通过代码或直接操作软件来创建和编辑 3D 模型。在实际工作流程中,这些模型必须从多样化的参考信息中推断物体形状、材质、空间布局和光照,并严格遵循指令来重建、修改或设计 3D 内容。然而,现有基准测试在真实场景中对此类开放式请求的覆盖有限。为弥补这一差距,我们提出了 BlenderWorld(https://huggingface.co/papers?q=BlenderWorld),这是首个专门用于评估前沿模型在真实 3D 创作(https://huggingface.co/papers?q=3D%20creation)任务上表现的综合性基准。BlenderWorld(https://huggingface.co/papers?q=BlenderWorld)包含 223 个任务,涵盖建筑、产品、自然环境和科学可视化等领域,由文本、图像、视频和结构化规格输入驱动。为了严格评估这些复杂的交付成果,我们建立了统一的评估协议:从多个视角渲染提交的 Blender 项目,并根据 2,651 条针对特定任务的二元评分标准(https://huggingface.co/papers?q=binary%20rubrics)以及整体视觉质量评分(https://huggingface.co/papers?q=visual%20quality%20scores)进行评估。对十三个前沿模型的基准测试显示,GPT-6-Astra 以 79.9 的综合得分位居第一,其次是 Opus-5(73.0)和 GPT-5.6-Sol(67.7)。最终,我们的发现揭示了一个关键瓶颈:虽然当前模型能够解析大体指令,但在 Blender 中的细粒度 3D 空间一致性和精确结构复现方面仍然严重不足,为未来 3D 原生智能体研究(https://huggingface.co/papers?q=3D-native%20agentics)留下了巨大空间。
查看 arXiv 页面 (https://arxiv.org/abs/2610.23986) 查看 PDF (https://arxiv.org/pdf/2610.23986) 项目页面 (https://blenderworld.github.io/) GitHub156 (https://github.com/QwenLM/BlenderWorld) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.23986)
在你的智能体中获取此论文:
hf papers read 2610.23986
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
没有模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2610.23986 即可从此页面链接。
引用此论文的数据集 0
没有数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2610.23986 即可从此页面链接。
引用此论文的 Spaces 0
没有 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2610.23986 即可从此页面链接。
包含此论文的合集 0
没有合集包含此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
阿里巴巴的 BlenderWorld 基准测试
阿里巴巴的 Qwen 团队发布了 BlenderWorld,这是一个新的基准测试仓库,用于衡量视觉智能体根据现实世界参考素材在 Blender 中构建 3D 场景的能力。此次发布被视为一个信号,表明 Qwen 可能会在未来的模型中重点发展智能体驱动的 3D 设计和工具使用能力(例如通过 MCP 使用 Blender)。
GlobeBench:评估用于可扩展环境模拟的文本世界模型能力
GlobeBench 提出一个包含 1,632 个任务的标准化基准,用于评估文本世界模型模拟 RL 环境状态转移的能力;评测 20 个 LLM 后发现即使是表现最好的 GPT-6 Astra 任务成功率也仅 49.57%,且 631 个任务无任何模型解决,凸显模型作为通用世界模型仍存在显著差距。
同一个 agent 循环、14 个模型、硬性上限:构建照片转 Blender agent 的经验总结
作者用同一套带硬性预算上限(20 分钟、$4、60 次请求)的 agent 循环测试了 14 个模型的 photo-to-Blender 3D 场景生成能力,GPT-6 Astra 以持续优化到预算耗尽赢得全部三项,而重度推理模型常因耗尽时钟而交付为空。
RobotWorld:面向多种任务与具身形态的多模态智能体机器人使用基准
RobotWorld 提出了一个涵盖 84 项任务的机器人智能体仿真基准,横跨操作、移动操作、运动、驾驶与空中控制,用于评估多模态智能体将数字任务能力迁移到物理世界的表现,并揭示了模型间的能力差异与关键短板。
VibeWorlding基准测试:开源30B模型在3D世界中超越GPT-5.5
一项新的基准测试,用于评估多模态代理从自然语言构建3D开放世界的能力,显示GPT-5.5和Qwen3.8-Max得分低于60%,而一个开源30B模型通过强化学习实现了最佳性能。