EngiAI：面向LLM驱动工程设计的 多智能体框架与基准套件

arXiv:2605.19743v1 公告类型：新 摘要：大型语言模型（LLM）智能体越来越多地应用于工程设计任务，但现有的评估框架未能充分涵盖结合模拟、检索和制造准备的多智能体系统。我们引入了一个包含三个评估维度的基准套件：（1）一个工作流基准，包含七种针对不同认知需求的提示风格——包括直接工具使用、语义消歧、条件分支和工作记忆任务；（2）一个检索增强生成（RAG）基准，采用门控评分来隔离检索对参数选择的贡献；（3）一个高性能计算（HPC）基准，评估在SLURM集群上的端到端机器学习训练编排。与基准一起，我们提出了EngiAI，一个基于LangGraph构建的多智能体系统（MAS）参考实现，通过监督者架构协调七个专门智能体，统一拓扑优化、文档检索、HPC作业编排和3D打印机控制。在四个LLM后端和两个EngiBench问题上，专有模型在Beams2D上实现了96-97%的平均任务完成率，而开源4B参数模型达到55-78%，并呈现明显的代际改进。条件分支最具挑战性，在Photonics2D上的条件风格任务完成率降至20-53%。RAG门控证实了检索增强得分接近完美（$\approx 1.0$），而无检索时接近零，验证了评估设计。在HPC编排中，一个模型在100%的运行中完成了所有流水线步骤，而另一个模型降至50%，表明多步骤指令遵循在长时间工作流中会退化。