BrickBench:评估智能体驱动的积木设计能力
摘要
我们提出 BrickBench,一个面向智能体文本条件 LEGO 套装设计的基准测试。在该任务中,智能体需要从离散零件库中生成可实际搭建的组装结构,同时满足语义和设计标准。论文还推出了 BrickAgent——一个面向编程智能体的环境,并发现领先智能体虽能满足物理可搭建性要求,但在设计质量上仍不及人类作品。
查看缓存全文
缓存时间: 2026/10/09 06:19
论文页面 - BrickBench:评估智能体驱动的乐高积木设计
来源:https://huggingface.co/papers/2610.12452 发布于 10 月 8 日
·
由 Kulits (https://huggingface.co/kulits) 于 10 月 9 日提交
摘要
我们提出了 BrickBench,这是一个用于评估智能体(agent)文本条件驱动的乐高套装设计的基准。给定一个提示词(prompt),智能体的任务是生成一个装配方案,该方案不仅需要满足语义和设计标准,还必须能够在物理上真实搭建。为此,智能体必须从一个离散的零件库中选择零件,并同时推理局部与全局约束。我们在三个不同规模和零件可用性的场景下评估方案的有效性、对齐性和设计质量。我们还提供了 BrickAgent,一个供编码智能体构建、检查和验证其设计的环境。我们发现,目前领先的智能体在可验证的物理和语义要求方面表现良好,但与人类设计相比仍有差距。我们已在 http://www.brickben.ch 发布了我们的基准和环境。
查看 arXiv 页面 (https://arxiv.org/abs/2610.12452) · 查看 PDF (https://arxiv.org/pdf/2610.12452) · 项目页面 (https://brickben.ch/) · GitHub1 (https://github.com/kulits/BrickAgent) · 加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.12452)
在你的智能体中获取此论文:
hf papers read 2610.12452
还没有最新版 CLI?运行 curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
没有模型关联此论文。
在模型 README.md 中引用 arxiv.org/abs/2610.12452,即可在此页面建立关联。
引用本文的数据集 0
没有数据集关联此论文。
在数据集 README.md 中引用 arxiv.org/abs/2610.12452,即可在此页面建立关联。
引用本文的 Spaces 0
没有 Space 关联此论文。
在 Space README.md 中引用 arxiv.org/abs/2610.12452,即可在此页面建立关联。
收录本文的收藏夹 0
没有收藏夹收录此论文。
将本文添加到收藏夹 (https://huggingface.co/new-collection),即可在此页面建立关联。
相似文章
智能体能为智能体设计软件库吗?
该论文提出了 LibraryDesignBench——一个两阶段基准:先让一个 AI 智能体根据不完整的需求编写软件库,再通过其他智能体实现者利用这些库解决编程问题时所写的代码的简洁程度来评估每个库。评估指标将通过率的平方与相对生产级库参考实现的解决方案简洁度相结合。
AJ-Bench:面向环境感知评估的 Agent-as-a-Judge 评测基准
AJ-Bench 提出一套评测基准,用于衡量 Agent-as-a-Judge 系统通过与环境交互来验证智能体行为的能力,覆盖搜索、数据系统与 GUI 领域的 155 项任务。
AgBench:面向个人 AI 设备的智能体 AI 基准测试
AgBench 推出了一套基准测试和开源工具,用于评估智能体 AI 在个人设备上的表现,在超过 1.62 亿个数据点的基础上,从任务成功率、延迟、API 成本和数据暴露风险等维度对比了本地、混合和云端三种执行方式。研究发现没有哪一种架构占据绝对优势:本地执行虽然降低了云服务成本和隐私风险,但通常会降低任务成功率。
Embodied-BenchClaw:一种用于具身空间智能基准构建的自主多智能体系统
本文提出Embodied-BenchClaw,一种自主多智能体系统,能够通过包含过程质量控制与可扩展技能库的五阶段流水线,根据用户意图自动构建具身空间智能基准。
AgentCollabBench:诊断优秀智能体为何成为糟糕的协作者
本文介绍了 AgentCollabBench,这是一个针对多智能体系统的诊断性基准,用于评估四大主流大语言模型(LLM)中的指令衰减和上下文泄漏等行为风险。文章认为,通信拓扑结构是多智能体可靠性的关键因素,其重要性往往超越了模型的原始能力。