BlenderWorld:面向真实世界参考的 3D 创作视觉智能体基准

Hugging Face Daily Papers 论文

摘要

BlenderWorld 是首个专注于真实世界 3D 创作任务的综合基准,包含 223 个任务,通过渲染输出和 2,651 条二元评分标准评估前沿多模态模型,结果显示 GPT-6-Astra 以 79.9 分领先,但所有模型在细粒度 3D 空间一致性方面仍存在显著不足。

多模态大语言模型(MLLMs)的最新进展使其能够作为自主智能体运行,通过代码或直接操作软件来创建和编辑 3D 模型。在实际工作流中,这些模型需要从多样化的参考素材中推断物体形状、材质、空间布局和光照,并严格遵循指令来重建、修改或设计 3D 内容。然而,现有基准在真实世界场景下的开放式请求方面覆盖有限。为填补这一空白,我们提出了 BlenderWorld——首个专门用于评估前沿模型在真实 3D 创作任务上表现的综合基准。BlenderWorld 包含 223 个任务,涵盖建筑、产品、自然环境和科学可视化等领域,由文本、图像、视频和结构化规格说明作为输入驱动。为了严格评估这些复杂的交付成果,我们建立了一套统一的评估协议:从多个视角渲染提交的 Blender 项目,并依据 2,651 条针对具体任务的二元评分标准以及整体视觉质量分数进行评估。对十三个前沿模型的评测结果显示,GPT-6-Astra 以 79.9 的综合分数位居第一,其次是 Opus-5(73.0)和 GPT-5.6-Sol(67.7)。最终,我们的研究揭示了一个关键瓶颈:尽管当前模型能够解析宽泛的指令,但它们在 Blender 中的细粒度 3D 空间连贯性和准确的结构复现方面仍面临严重困难,这为未来的原生 3D 智能体研究留下了充足的提升空间。
查看原文
查看缓存全文

缓存时间: 2026/10/20 07:33

论文页面 - BlenderWorld:面向真实世界参考的 3D 创作视觉智能体基准测试

来源:https://huggingface.co/papers/2610.23986 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

BlenderWorld 是一个基准测试,用于在真实 3D 创作任务上评估多模态语言模型,采用渲染输出和二元评分标准,揭示了模型在空间一致性方面的显著差距。

多模态大语言模型(https://huggingface.co/papers?q=multimodal%20large%20language%20models)(MLLMs)的最新进展使其能够作为自主智能体(https://huggingface.co/papers?q=autonomous%20agents),通过代码或直接操作软件来创建和编辑 3D 模型。在实际工作流程中,这些模型必须从多样化的参考信息中推断物体形状、材质、空间布局和光照,并严格遵循指令来重建、修改或设计 3D 内容。然而,现有基准测试在真实场景中对此类开放式请求的覆盖有限。为弥补这一差距,我们提出了 BlenderWorld(https://huggingface.co/papers?q=BlenderWorld),这是首个专门用于评估前沿模型在真实 3D 创作(https://huggingface.co/papers?q=3D%20creation)任务上表现的综合性基准。BlenderWorld(https://huggingface.co/papers?q=BlenderWorld)包含 223 个任务,涵盖建筑、产品、自然环境和科学可视化等领域,由文本、图像、视频和结构化规格输入驱动。为了严格评估这些复杂的交付成果,我们建立了统一的评估协议:从多个视角渲染提交的 Blender 项目,并根据 2,651 条针对特定任务的二元评分标准(https://huggingface.co/papers?q=binary%20rubrics)以及整体视觉质量评分(https://huggingface.co/papers?q=visual%20quality%20scores)进行评估。对十三个前沿模型的基准测试显示,GPT-6-Astra 以 79.9 的综合得分位居第一,其次是 Opus-5(73.0)和 GPT-5.6-Sol(67.7)。最终,我们的发现揭示了一个关键瓶颈:虽然当前模型能够解析大体指令,但在 Blender 中的细粒度 3D 空间一致性和精确结构复现方面仍然严重不足,为未来 3D 原生智能体研究(https://huggingface.co/papers?q=3D-native%20agentics)留下了巨大空间。

查看 arXiv 页面 (https://arxiv.org/abs/2610.23986) 查看 PDF (https://arxiv.org/pdf/2610.23986) 项目页面 (https://blenderworld.github.io/) GitHub156 (https://github.com/QwenLM/BlenderWorld) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.23986)

在你的智能体中获取此论文:

hf papers read 2610.23986

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.23986 即可从此页面链接。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.23986 即可从此页面链接。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.23986 即可从此页面链接。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

阿里巴巴的 BlenderWorld 基准测试

Reddit r/LocalLLaMA

阿里巴巴的 Qwen 团队发布了 BlenderWorld,这是一个新的基准测试仓库,用于衡量视觉智能体根据现实世界参考素材在 Blender 中构建 3D 场景的能力。此次发布被视为一个信号,表明 Qwen 可能会在未来的模型中重点发展智能体驱动的 3D 设计和工具使用能力(例如通过 MCP 使用 Blender)。

GlobeBench:评估用于可扩展环境模拟的文本世界模型能力

arXiv cs.AI

GlobeBench 提出一个包含 1,632 个任务的标准化基准,用于评估文本世界模型模拟 RL 环境状态转移的能力;评测 20 个 LLM 后发现即使是表现最好的 GPT-6 Astra 任务成功率也仅 49.57%,且 631 个任务无任何模型解决,凸显模型作为通用世界模型仍存在显著差距。