LMBuild:评估 LLM 智能体生成可建造、功能性结构的能力
摘要
该论文提出 LMBuild,一个用于评估 LLM 智能体生成可建造、功能性结构能力的基准,包含交互式装配环境、基于 CAD 数据集构建的评测集以及涵盖结构可靠性、功能可供性和物理可实现性的评估框架,在 30 个系统上的评测揭示了功能推理仍是前沿模型的主要瓶颈。
查看缓存全文
缓存时间: 2026/10/06 16:57
论文页面 - LMBuild:评估用于生成可构建、功能性结构的 LLM 智能体
来源:https://huggingface.co/papers/2610.04292 作者:(略)
摘要
基于LLM的智能体越来越有能力生成复杂的3D结构,有望重塑物理世界中物体的设计与实现方式。然而,生成精巧的几何形态与生成可以建造并实现预期功能的物体,是根本不同的两件事。现有的评测大多聚焦于几何质量,而忽略了物理可实现性。我们提出 LMBuild,一个用于评估LLM智能体生成可构建、功能性结构能力的基准。LMBuild 将生成的物体表示为由部件分解、关节、材料和装配序列构成的组装结构。为了支持可复现的评测,我们提供了一个统一框架,包括:(1) 一个交互式环境,智能体可以在其中使用工具来检索、创建和放置部件,以构建物体;(2) 一个精选的基准,复用已有的 CAD 数据集并利用 Wikipedia 的知识对其进行增强;(3) 一个覆盖结构健全性、功能可供性、设计质量和物理实现的评测框架。对 30 个系统的评测揭示了几个有趣的发现:(a) 对于前沿闭源模型而言,结构健全性和对齐性已不再是主要瓶颈,而功能可供性和物理可操作性仍然更具挑战性;(b) 更强的模型能更有效地创建新部件,而较弱的模型则更倾向于依赖检索;(c) 提供功能规格说明可显著提升部件完整性、运动学和物理可操作性。这些结果表明,生成真实世界的结构需要对功能可供性、力学以及新颖部件的设计与创建进行更深入的推理。我们期望 LMBuild 能为衡量进展、激励朝向“生成可构建且功能性结构的智能体“的研究提供基础。
查看 arXiv 页面 (https://arxiv.org/abs/2610.04292) 查看 PDF (https://arxiv.org/pdf/2610.04292) 项目页面 (https://lumos-jiateng.github.io/LMBuild/) GitHub1 (https://github.com/Lumos-Jiateng/LMBuild) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.04292)
引用本文的模型0
没有模型关联到本文
在模型的 README.md 中引用 arxiv.org/abs/2610.04292,即可从本页面链接过去。
引用本文的数据集0
没有数据集关联到本文
在数据集的 README.md 中引用 arxiv.org/abs/2610.04292,即可从本页面链接过去。
引用本文的 Spaces0
没有 Space 关联到本文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.04292,即可从本页面链接过去。
收录本文的合集1
相似文章
从语言到物理:交互式物理环境中大语言模型的基准评估
该论文提出了一个用于评估大语言模型在闭环物理交互中表现的基准,模型需通过连接机械臂、摄像头和传感器的系统在真实环境中执行任务并根据物理反馈调整行动。实验揭示了LLM在物理行动中的常见失败模式,如幻觉状态变化、糟糕的异常恢复和不稳定的长程规划。
面向基于大语言模型的多智能体系统的能力感知编排
该论文提出了一种两阶段的能力感知框架,用于大语言模型多智能体系统的自动编排,根据模型在当前查询上的能力动态调整角色激活与通信图,在六个基准上平均达到 93.81%,同时在高能力骨干模型上降低 36.26% 的词元成本。
从结构到有效性:机制引导的大语言模型评分量规生成与优化
本文系统分析了大语言模型评估中评分量规设计的机制,涵盖标准组织、操作化与分数聚合,并提出ARTS-Hybrid方法(自适应树构建+语义优先的响应校准细化),在评估性能和评分量规质量上均有提升,且生成的评分量规可作为模型优化的有效信号。
用于自动CAD生成的基础模型
本文全面实证研究了使用基础模型(大语言模型和视觉语言模型)从自然语言自动生成CAD的方法,提出了LLMForge框架,包含两种批评机制(IterTracer和IterVision),并在包含97个工程设计问题的基准上评估了七个模型。
具身CAD:基于求解器的LLM智能体用于参数化B-Rep装配建模
介绍具身CAD(Embodied CAD),一个闭环框架,将LLM智能体置于CAD执行环境中,用于参数化B-Rep装配建模,利用求解器反馈进行规划和优化。