EngiWorld:前沿代理在专业工程环境中能提供什么?

Hugging Face Daily Papers 论文

摘要

EngiWorld 引入了一个全面的基准测试,用于评估人工智能代理在专业工程中的表现,重点关注几何和物理有效性,并跨多个领域和软件进行评估。评估显示,当前的前沿模型成功有限,表明需要改进。

自主代理在通用计算机使用方面取得了快速进展,但专业工业工程的可靠自动化仍然难以实现,因为工程工作流需要对跨软件和设计阶段保持的几何和物理约束及依赖进行推理。我们推出了 EngiWorld,这是第一个围绕完整设计循环构建的基准测试:1,301 个专家策划的任务,涵盖 6 个工程领域(CAD、CAE、CAM、BIM、EDA 和 3D 可视化)以及 26 个专业软件平台,包括 GUI 和 CLI 接口,以及 6 种任务类型,从软件选择到开放式任务。我们进一步引入了一种以工件为中心的评估方法,基于统一的领域验证器套件,该套件可编程地检查最终和中间工件的几何有效性、物理可行性和规则符合性,并通过规格达标而非二进制成功来连续评分定量设计任务。对七个前沿模型的评估显示了显著的能力差距:最强的模型仅达到 EngiScore 44.3 分,且只有 3.6% 的多软件尝试成功。EngiWorld 为衡量端到端操作专业工程软件的代理进展提供了第一个严格的基础。
查看原文
查看缓存全文

缓存时间: 2026/09/30 08:23

论文页面 - EngiWorld:前沿代理能在专业工程环境中实现什么?

来源:https://huggingface.co/papers/2609.37686 发布日期:9月29日

·

由 https://huggingface.co/torpedo2003 提交

于9月30日由 Yu Lei (https://huggingface.co/torpedo2003) 提交

作者:

(此处省略多位作者)

摘要

自主代理在通用计算机使用方面已取得快速进展,但在专业工业工程领域实现可靠的自动化仍然遥不可及,因为工程工作流需要在跨软件和设计阶段的几何与物理约束及依赖关系上进行推理。我们提出了 EngiWorld,这是首个围绕完整设计循环构建的基准测试:包含 1,301 个专家策划的任务,涵盖 6 个工程领域(CAD、CAE、CAM、BIM、EDA 和 3D 可视化)以及 26 个专业软件平台,提供 GUI 和 CLI 两种接口,任务类型从软件选择到开放式任务共 6 种。我们进一步引入了一种以工件为中心的评估方法论,该方法建立在统一的领域验证器套件之上,它通过编程方式检查最终和中间工件的几何有效性、物理可行性和规则合规性,并通过对规格达成度的持续评分来量化评估设计任务,而非简单的成功或失败二分法。对七个前沿模型的评估揭示了显著的能力差距:最强模型的 EngiScore 仅为 44.3,而多软件协作尝试的成功率仅为 3.6%。EngiWorld 为衡量在端到端操作专业工程软件的代理方面取得的进展提供了首个严谨基础。

查看 arXiv 页面 (https://arxiv.org/abs/2609.37686) 查看 PDF (https://arxiv.org/pdf/2609.37686) 项目页面 (https://engiworld.github.io/) GitHub 仓库 (https://github.com/Hongcheng-Gao/EngiWorld) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37686)

在你的代理中获取此论文:

hf papers read 2609.37686

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.37686 以将其链接到此页面。

引用此论文的数据集 1

HongchengGao/EngiWorld-Images 查看器• 约 4 小时前更新 • 1 • 450 • 3 (https://huggingface.co/datasets/HongchengGao/EngiWorld-Images)

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.37686 以将其链接到此页面。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以将其链接到此页面。

相似文章

@rohanpaul_ai: 当前前沿智能体在现实自动化方面的准备程度远不及它们在基准测试中的分数所暗示的那样。本文提…

X AI KOLs Following

本文介绍了“智能体最终考试”(Agents' Last Exam),这是一个测试AI智能体在55个数字工作领域中进行真实专家工作能力的基准。目前最强的智能体在大多数任务上失败,在最难的层级中平均通过率仅为2.6%,揭示了基准分数与现实世界自动化准备程度之间的巨大差距。

前沿与中心:谁来评估评估?(12分钟阅读)

TLDR AI

Google Data Cloud 的前沿AI团队讨论了一种利用信息理论评估AI代理的新方法,创建了一个名为 Discovery Bench 的元基准,该基准衡量一个查询在代理失败之前可以有多模糊,从而提供比简单的通过/失败考试更细致的代理能力图谱。