DiagnosticIQ：基于符号规则评估大语言模型在工业维护行动推荐中表现的基准测试

arXiv cs.AI 论文
llm benchmark industrial-maintenance symbolic-rules decision-support evaluation

摘要

本文介绍了 DiagnosticIQ，一个用于评估大语言模型将工业符号维护规则转化为可执行步骤能力的基准测试。研究指出，虽然前沿模型在标准任务上表现良好，但在结构扰动下会表现出脆弱性和模式匹配行为。

arXiv:2605.08614v1 公告类型：新论文 摘要：监测复杂的工业资产依赖于工程师编写的符号规则，这些规则基于传感器条件触发，并提示技术人员执行纠正措施。瓶颈不在于检测而在于响应：将规则转化为维护步骤需要通过学习多年实践获得的资产特定知识。我们调查了大语言模型是否可以作为此规则到行动步骤的决策支持，并引入了 DiagnosticIQ，这是一个包含来自 16 种资产类型的 118 个规则-行动对的 6,690 个专家验证的多项选择题的基准测试。我们贡献了（i）一个将规则标准化为析取范式并使用基于嵌入的干扰项采样的符号到多项选择题的管道，（ii）五种探测不同故障模式的变体（Pro、Pert、Verbose、Aug、Rationale），以及（iii）一个包含 29 个大语言模型和 4 个嵌入基线的基准测试。一项人工评估（9 名从业者，平均准确率为 45.0%）证实 DiagnosticIQ 需要超越操作经验的专门知识。三个发现尤为突出。差距已缩小：前三名的模型在一个宏观点内，Bradley-Terry Elo 评分将 claude-opus-4-6 置于比其他模型高出 30 分的位置。然而 DiagnosticIQ Pro 暴露出了脆弱性，在干扰项扩展下，每个模型的相对准确率下降了 13% 到 60%。DiagnosticIQ Aug 暴露了模式匹配问题：在条件反转的情况下，前沿模型仍有 49% 到 63% 的时间选择原始答案。部署的瓶颈不在于能力而在于校准：前沿模型能够处理模板式的故障检测，但在结构扰动下会失效。
查看原文
查看缓存全文

缓存时间: 2026/05/12 07:19 

# DiagnosticIQ：基于符号规则的工业维护行动推荐的大语言模型基准
来源: https://arxiv.org/abs/2605.08614
查看 PDF (https://arxiv.org/pdf/2605.08614)

> 摘要：监控复杂的工业资产依赖于工程师编写的符号规则，这些规则根据传感器条件触发，并提示技术人员执行纠正措施。瓶颈不在于检测，而在于响应：将规则转化为维护步骤需要依靠多年实践获得的资产特定知识。我们研究了大语言模型（LLM）是否能在此“规则到行动”的步骤中提供决策支持，并推出了 \ours{}，一个包含 16 种资产类型、118 个规则-行动对、共计 6,690 道经专家验证的多项选择题的基准。我们的贡献包括：(i) 一个从符号规则生成多项选择题（MCQA）的流程，通过归一化为析取范式（Disjunctive Normal Form）并结合基于嵌入的干扰项采样；(ii) 五种变体，用于探测不同的失效模式（Pro、Pert、Verbose、Aug、Rationale）；(iii) 对 29 个大语言模型和 4 种嵌入基线的基准测试。一项人类评估（9 名从业者，平均准确率 45.0%）证实，\ours{} 所需的专家知识超出了日常运营经验的范畴。三个发现尤为突出。前沿模型之间的差距已缩小：排名前三的 LLM 在宏观分数上相差不超过 1 分，其中 Bradley-Terry Elo 评级显示 claude-opus-4-6 比下一个模型高出 30 分。然而，\ours{} Pro 暴露出了模型的脆弱性，在干扰项扩展下，所有模型的相对准确率下降了 13% 至 60%。\ours{} Aug 暴露了模式匹配问题：在条件反转的情况下，前沿模型仍有 49% 至 63% 的概率选择原始答案。部署的瓶颈并非能力，而是校准：前沿模型能够处理模板式的故障检测，但在结构扰动下会失效。

## 提交历史

来自: Dhaval Patel Dr [查看邮件 (https://arxiv.org/show-email/03eaa11f/2605.08614)] **\[v1\]** 2026 年 5 月 9 日，星期六，02:17:39 UTC（6,633 KB）

相似文章

IndustryBench：探测大语言模型在工业知识领域的边界

Hugging Face Daily Papers

本文介绍了 IndustryBench，这是一个针对中文工业采购问答的大语言模型基准测试，以国家标准为参照评估模型表现，突显了安全合规方面的差距。研究揭示，在考虑安全违规的情况下，扩展推理往往会导致安全调整后的评分降低，并改变模型的排名。

DecisionPivot：面向 LLM 系统中决策模型的诊断性基准

Hugging Face Daily Papers

DecisionPivot 是一个诊断性基准，包含 48 个任务和 40,033 个条目，用于评估 LLM 系统中的决策模型，揭示了聚合准确率、对比组表现、校准和推理努力之间的巨大差距，而这些差距在标准评估中往往被掩盖。

# 先规划，再判断，跑得更好：一个受DMAIC启发的工业异常检测智能体系统

arXiv cs.AI

DMAIC-IAD 是一个多智能体大语言模型系统，其设计灵感来源于 DMAIC 质量管理框架，专为工业异常检测而构建。该系统采用"先规划、后判断"的方法，通过标准化操作流程制定检测策略，并利用无需执行的裁判模型对策略进行排序，在四种数据模态上相较于智能体基线实现了 37.76% 的性能提升。