EngiWorld:前沿代理在专业工程环境中能提供什么?
摘要
EngiWorld 引入了一个全面的基准测试,用于评估人工智能代理在专业工程中的表现,重点关注几何和物理有效性,并跨多个领域和软件进行评估。评估显示,当前的前沿模型成功有限,表明需要改进。
查看缓存全文
缓存时间: 2026/09/30 08:23
论文页面 - EngiWorld:前沿代理能在专业工程环境中实现什么?
来源:https://huggingface.co/papers/2609.37686 发布日期:9月29日
·
由 https://huggingface.co/torpedo2003 提交
于9月30日由 Yu Lei (https://huggingface.co/torpedo2003) 提交
作者:
(此处省略多位作者)
摘要
自主代理在通用计算机使用方面已取得快速进展,但在专业工业工程领域实现可靠的自动化仍然遥不可及,因为工程工作流需要在跨软件和设计阶段的几何与物理约束及依赖关系上进行推理。我们提出了 EngiWorld,这是首个围绕完整设计循环构建的基准测试:包含 1,301 个专家策划的任务,涵盖 6 个工程领域(CAD、CAE、CAM、BIM、EDA 和 3D 可视化)以及 26 个专业软件平台,提供 GUI 和 CLI 两种接口,任务类型从软件选择到开放式任务共 6 种。我们进一步引入了一种以工件为中心的评估方法论,该方法建立在统一的领域验证器套件之上,它通过编程方式检查最终和中间工件的几何有效性、物理可行性和规则合规性,并通过对规格达成度的持续评分来量化评估设计任务,而非简单的成功或失败二分法。对七个前沿模型的评估揭示了显著的能力差距:最强模型的 EngiScore 仅为 44.3,而多软件协作尝试的成功率仅为 3.6%。EngiWorld 为衡量在端到端操作专业工程软件的代理方面取得的进展提供了首个严谨基础。
查看 arXiv 页面 (https://arxiv.org/abs/2609.37686) 查看 PDF (https://arxiv.org/pdf/2609.37686) 项目页面 (https://engiworld.github.io/) GitHub 仓库 (https://github.com/Hongcheng-Gao/EngiWorld) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37686)
在你的代理中获取此论文:
hf papers read 2609.37686
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2609.37686 以将其链接到此页面。
引用此论文的数据集 1
HongchengGao/EngiWorld-Images 查看器• 约 4 小时前更新 • 1 • 450 • 3 (https://huggingface.co/datasets/HongchengGao/EngiWorld-Images)
引用此论文的 Space 0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2609.37686 以将其链接到此页面。
包含此论文的收藏 0
没有收藏包含此论文
将此论文添加到收藏 (https://huggingface.co/new-collection) 以将其链接到此页面。
相似文章
EngiAI:面向LLM驱动工程设计的 多智能体框架与基准套件
EngiAI 提出了一个用于LLM驱动工程设计的 多智能体框架和基准套件,评估工作流、RAG和HPC维度。专有模型在Beams2D上达到96-97%的任务完成率,而条件分支仍具挑战,在Photonics2D上为20-53%。
超越最终分数:长期AI研发智能体的系统性评估
本文系统评估了七个前沿AI智能体在长期任务上的表现,发现它们更像是工程优化器而非自主研究者,并提出了改进训练和经验管理的建议。
@rohanpaul_ai: 当前前沿智能体在现实自动化方面的准备程度远不及它们在基准测试中的分数所暗示的那样。本文提…
本文介绍了“智能体最终考试”(Agents' Last Exam),这是一个测试AI智能体在55个数字工作领域中进行真实专家工作能力的基准。目前最强的智能体在大多数任务上失败,在最难的层级中平均通过率仅为2.6%,揭示了基准分数与现实世界自动化准备程度之间的巨大差距。
前沿与中心:谁来评估评估?(12分钟阅读)
Google Data Cloud 的前沿AI团队讨论了一种利用信息理论评估AI代理的新方法,创建了一个名为 Discovery Bench 的元基准,该基准衡量一个查询在代理失败之前可以有多模糊,从而提供比简单的通过/失败考试更细致的代理能力图谱。
HealthAgentBench: 面向前沿AI智能体的统一真实医疗智能体环境基准套件
本文介绍了HealthAgentBench,一个包含54个真实医疗任务的套件,用于评估前沿AI智能体。研究发现,即使是最强的智能体(Codex GPT-5.5)也仅能达到约42%的成功率,凸显了巨大的改进空间。