镜头下的Auto-DSM：面向基于LLM的DSM生成的黑盒评估框架

# 基于大语言模型的DSM生成的**黑盒评估框架**  
来源：https://arxiv.org/html/2607.05985 \\UseRawInputEncoding  

N. Potters, T. Hofman  
N. Potters 和 T. Hofman（电子邮件：[email protected]）任职于埃因霍温理工大学（TU/e）机械工程系，控制系统技术研究组（https://www.tue.nl/en/research/research-groups/control-systems-technology），工程设计系统方向（https://www.tue.nl/en/research/research-groups/group-hofman），地址：P.O. Box 513, 5600 MB Eindhoven, The Netherlands。

###### 摘要  

本文提出一个黑盒评估框架，用于系统性地评估大语言模型（LLMs）从结构化技术文档中生成设计结构矩阵（DSMs）的能力。鉴于当前Auto-DSM流程的闭源特性，该框架引入了一种可重复的方法论，将生成的DSM（GEN-DSM）与手动验证的基准真值矩阵（GT-DSM）进行对比。评估集成了单次运行和多次运行两个视角，结合了结构指标（完整性、正确性、耦合密度）、分类指标（选择性准确率、弃权覆盖率）以及稳定性度量（熵、Fleiss’ κ）。为综合这些方面，提出了复合质量评分（Q）。在两个数据集上进行了受控实验：一个虚构的抽象系统和一个真实世界的冰箱分解案例，涵盖了措辞变化、参数-数据集对齐以及系统复杂性差异。结果表明，LLMs能够生成结构上合理的DSM，并在输入结构良好的情况下实现高可重复性，但仍然对歧义、不一致的依赖关系定义以及提示措辞敏感。这些发现突出了幻觉和弃权失败的系统性来源，展示了LLM驱动DSM自动化的潜力与当前局限性。所提出的框架为审计Auto-DSM流程提供了一个透明的基准，并为将基于LLM的分解方法集成到基于模型的系统工程（MBSE）工作流中奠定了基础。

## I 引言  

工程系统日益增长的复杂性推动了对支持系统级分析和决策工具与方法的需求。其中，由Steward[46]引入的设计结构矩阵（DSM）仍然是可视化和分析系统元素间相互依赖关系的基础方法。其紧凑的 N×N 格式支持模块化分析、设计优化和流程构建，广泛应用于产品开发和系统工程等领域[22]。几十年来，通过可视化与分析工具（如层次聚类和依赖关系算法）的改进，DSM的使用日趋成熟，形成了稳健的下游决策支持框架[22,8]。

DSM构建阶段——识别组件及其交互——仍然是手动、资源密集且容易出错的[8,22,13,52]。系统分解通常依赖专家访谈和非正式文档，引入了可变性、术语不一致以及解释误差[22,39,44]。文档质量差[43]以及隐性的组织知识[44]进一步削弱了可重复性。正如[17]所指出的，访谈“与阅读设计文档同等重要”，但以牺牲速度为代价换取准确性，使得DSM系统分解成本高昂且不一致。

基于模型的系统工程（MBSE）提供了管理系统复杂性和缓解这些问题的结构化方法[38]。通过在数字模型中形式化规格说明，MBSE能够实现可扩展且一致的依赖关系映射[16,10,51]。最近的一个扩展——Elephant规范语言（ESL）[53]——从结构化自然语言中提取依赖关系，提高了可追溯性并减少了歧义。ESL支持Eppinger和Browning[22]定义的基于DSM的五步分析中的四步，但关键的第一步——系统分解——仍然是手动、耗时且不一致的。

自然语言处理（NLP）的进展，尤其是OpenAI的GPT系列等大语言模型（LLMs），提供了潜在的突破。这些模型能够从非结构化数据源中提取依赖关系并生成结构化输出[3,9]，为MBSE工作流中的依赖关系映射带来了可能性。自动化初始DSM草稿可以减少对专家访谈的依赖，同时保留人工监督，将工程师的工作从完全分解转向有针对性的验证。LLMs通过处理术语可变性[3,9]、从非结构化来源提取依赖关系[22,32]、通过弃权回应（“我不知道”）标记不确定依赖关系以供专家验证[32]，以及根据MBSE原则增强一致性[38]，缓解了自动化DSM构建中长期存在的挑战。尽管文档质量差仍然是一个障碍[43]，但上下文推理、明确的不确定性标记以及跨多个文档的信息整合有助于减轻其影响[32]。这些进展重新平衡了[17]中确定的速度-质量权衡，将数周的准备时间[52]缩短至几分钟[32]，同时能够聚合多个来源的信息以进行更稳健的分析。

尽管取得了这些进展，基于LLM的DSM生成研究仍处于早期阶段。迄今为止，Auto-DSM[32]是唯一一个在DSM领域应用LLM进行自动化系统分解的学术尝试，证明了这种激进方法的可行性。然而，其评估是案例特定的，依赖于一台柴油发动机手册与专家推导的DSM进行比较，其中信息来源的不对等削弱了报告的准确性。报告的结果仅关注完整性，没有验证正确性，且仅提供了点估计指标。没有分布分析，就无法评估跨运行的稳定性和可重复性——这是可靠MBSE工作流的必要要求。此外，缺乏受控数据集使得无法系统性地改变措辞、复杂性和范围，从而无法隔离失败模式或建立基准。因此，准确性、可重复性和可靠性等基本问题仍然未解决，限制了对基于LLM的DSM工具的信任，并阻碍了其整合到工程实践中。

为填补这些空白，本文做出以下贡献：
1. 1. **黑盒评估框架**：一种系统性的方法论，通过将LLM生成的DSM与已验证的基准真值DSM在受控且可重复的实验条件下进行比较，来评估Auto-DSM。
2. 2. **扩展的评估指标**：引入新的单次运行和多次运行指标，超越简单准确性，捕捉弃权行为、错误惩罚、复合质量和跨运行的可靠性。
3. 3. **系统性限制识别**：将框架应用于合成数据集和真实世界数据集，首次提供了Auto-DSM限制的可重复证据，包括可重复性差距和性能变异性，从而指导未来基于LLM的DSM自动化。

评估框架和数据集已公开提供，网址为 https://github.com/nielspotters/Auto-DSM_Evaluation_framework。

本文其余部分组织如下。第二节介绍预备知识。第三节介绍黑盒评估方法。第四节详细介绍实验设置。第五节报告结果。第六节讨论局限性和未来工作。第七节总结全文。

## II 预备知识  

本节回顾将LLM应用于DSM构建的主要挑战，介绍关于Auto-DSM的初步实验，并阐述研究问题。

### II-A 幻觉  

此背景下的一个关键挑战是幻觉——即LLM生成自信但无根据或不正确的依赖关系。这类错误可能源于内在因素（例如模型偏差、不完整的训练数据）或外在因素（例如模糊或有噪声的输入）[30,31]。在系统工程任务中，幻觉通常表现为捏造或遗漏DSM链接。这些输出通常以高语言自信度表达，使得在没有基准真值的情况下难以检测。Koh[32]尝试通过将模型温度设置为0并允许弃权回应（“我不知道”）来缓解这一问题。然而，实证结果表明该选项不可靠，因为模型可能会在一个方向上断言依赖关系，同时拒绝其对称关系——这种不一致性在Koh的案例中也有观察，其中对称关系的正确性从未达到100%[32]。

现有文献强调LLMs存在系统性的非弃权偏好：默认情况下，模型更倾向于给出答案而不是弃权，即使不确定时也是如此[49,54]。这种倾向在工程应用中引入了风险，因为一个无根据的答案可能表现为有效的系统依赖关系。已经提出了几种策略来对抗这种偏差，包括具有理论保证的共形弃权[54]、严格提示、口头置信度阈值和链式思维推理[37]。这些方法表明，弃权行为可以通过提示或后处理来影响。然而，目前没有Auto-DSM工作明确评估受控测试案例下的弃权行为和置信度校准。因此，关于“我不知道”回应（例如通过温度调节[32]）可靠性的主张仍未经过评估。因此，建立弃权行为的基线评估至关重要，既是为了验证当前的提示指令，也是为了确定高级弃权策略能否提高LLM生成DSM的一致性和准确性。

Koh仅报告了点性能指标，没有进行任何分布分析——从而未考察输出的稳定性和可重复性。这种遗漏在工程环境中是有问题的，因为设计决策需要可重复和可验证的输出。类似问题在相邻领域也有提出：Colas等人[14]证明，在强化学习中，统计上可靠的结论只有在15到50次独立运行后才出现，具体取决于效应大小和方差。同样，Liem和Panichella[36]认为，没有适当控制的随机化会损害预测软件工程中的可重复性。如果没有明确量化输出变异性，幻觉可能仍然未被发现，LLM生成DSM的稳健性也无法得到保证。

### II-B 当前状态实验  

尽管Auto-DSM方法显示出前景，但该方法仍不成熟，需要在工业工作流中采用之前进行改进。使用可用的无代码实现进行的初步测试发现了不一致之处，因为代码未能复现Koh研究中报告的结果。第一个实验评估了Auto-DSM对术语的敏感性。使用Koh示例中的重型柴油发动机数据集[33]，比较了三个系统参数术语——“Diesel engine”、“Combustion engine”和“Engine”，依赖类型设置为“Mechanical”。系统仅在这些定义中识别出六个元素，而Koh报告了未指定系统参数时的十一个元素（表 I）。不定义依赖类型时，“Engine”得到十个元素，但其余定义没有变化。这表明术语敏感性和内部不一致性，因为第一个流程提示不包含依赖类型。这些发现强调了在将LLM集成到自动化工作流之前，需要更好地理解其在系统分解中的行为。

**表 I：Koh[32]与实证结果中系统定义和元素的比较**

第二次分析评估了工作流是否减少了幻觉。Auto-DSM方法尝试通过将模型温度设置为0并允许“我不知道”回应来强制执行一致性。然而，这并未产生稳定的输出。在十次运行中，DSM条目的最低可重复性仅为60%（表 X）。虽然一些变异性反映了模型的不确定性，但这仅适用于两个条目（在表 XI 和表 XII 中突出显示）。在许多情况下，模型在“是”和“否”之间交替，表明存在幻觉（参见附录 B）。值得注意的是，模型对凸轮轴到曲轴箱的依赖关系有100%的置信度，但在90%的运行中拒绝了对称关系，再次显示出不一致性。

### II-C 问题陈述  

这些初步测试强调了在提出的LLM流程中深入分析系统分解的必要性，以及评估其在工程实践中潜力的必要性。特别是，使用重型发动机数据集[33]的实验表明，Auto-DSM对术语敏感，表现出不一致的弃权行为，并且在重复运行中无法复现结果。然而，由于该数据集的广泛性，此类分析在分析上密集且难以解释，因为LLM的推理涉及大量信息。此外，与Koh的评估一样，将Auto-DSM输出与专家推导的DSM进行比较在方法论上是不健全的，因为LLM