基于表格基础模型的统一且数据高效的预测与健康管理

# 面向统一且数据高效的预测与健康管理：基于表格基础模型的方法 来源: https://arxiv.org/html/2606.05481 \[type=editor, auid=000,bioid=1, role=Researcher, orcid=0000-0000-0000-0000\]\\cormark\[1\] 1\]organization=IMOS Lab, EPFL, city=Lausanne, country=Switzerland \\cortext \[cor1\]共同第一作者和通讯作者 Lev TelyatnikovLeandro Von KrannichfeldtOlga Fink\###### 摘要 数据驱动的预测与健康管理（PHM）利用随时间变化的工况监测数据来诊断工程资产的状态并估算剩余使用寿命。这些任务是维护规划的核心，但工业PHM数据通常是碎片化的、部分观测的且标记不良，这阻碍了监督学习。基础模型为构建可复用的预测系统提供了一条途径，但大多数时间序列基础模型是为预测任务设计的，并假设较长、连贯且规律采样的序列。为弥补这一差距，我们提出了一种框架，利用上下文学习将表格基础模型应用于工业时间序列，并在多种PHM任务上对其进行了评估。通过将原始的单元级信号转换为表格行，我们展示了这些模型在多项任务（包括预测与诊断）上表现良好且数据效率高。我们在统一的评估协议下，将它们与序列模型、Transformer基线以及梯度提升树进行了直接比较。结果表明，表格基础模型在预测和诊断任务上取得了最佳的平均排名。我们的研究进一步表明，基于PFN的模型在低数据场景下具有竞争力，时间上下文可以通过表格表示得以保留，且性能依赖于子采样下具有代表性的上下文构建。这些结果证明，表格基础模型为异构PHM问题提供了一种实用且通用的接口。 ###### 关键词: 表格基础模型\\sep预测\\sep时间序列\\sepTransformer ## 1 引言 预测与健康管理（PHM）已发展为一个成熟的框架，用于支持复杂工程系统的维护和运行决策。在工业实践中，PHM解决方案通常基于从异构传感器网络收集的工况监测数据，用于支持故障检测、诊断以及（在可行的情况下）剩余使用寿命（RUL）预测[[67 (https://arxiv.org/html/2606.05481#bib.bib67),34 (https://arxiv.org/html/2606.05481#bib.bib34)]]。这些输出随后被整合到维护规划和资产管理流程中，以减少停机时间和维护成本，同时保持较高的系统可用性。PHM的一个基石是退化轨迹和失效时间信息的可用性，因为这些数据捕捉了系统健康状态的时间演变，并构成了许多预测方法的基础[34 (https://arxiv.org/html/2606.05481#bib.bib34)]。尽管其重要性，但在实际运行环境中，这类轨迹很少可用。故障是相对罕见的事件，资产通常在达到寿命终点之前就被维护或更换，历史数据可能碎片化或不完整。因此，许多在学术环境中开发和评估的预测方法很难直接应用于实践[19 (https://arxiv.org/html/2606.05481#bib.bib19)]。相反，目前大多数工业PHM实现主要集中在故障检测上，因为正常运行数据充足，目标是识别偏离健康行为的异常，而非预测精确的失效时间。 机器学习（尤其是深度学习）的最新进展旨在通过直接从数据中学习表示来减少对人工特征的依赖[[32 (https://arxiv.org/html/2606.05481#bib.bib32),65 (https://arxiv.org/html/2606.05481#bib.bib65),55 (https://arxiv.org/html/2606.05481#bib.bib55)]]。尽管这些方法在受控环境中表现出强大的性能，但其成功往往依赖于在工业环境中难以满足的假设。特别是，从头开始训练深度模型通常需要大量覆盖全部运行条件和故障类型的标记数据。然而，在工业PHM中，标记的故障数据匮乏，系统配置会随时间演变，退化轨迹很少被观测到直至寿命终点[35 (https://arxiv.org/html/2606.05481#bib.bib35)]。因此，在一组条件下训练的模型往往需要在跨资产部署前进行昂贵的重新训练、适应和验证。 在当前的工业PHM实践中，模型通常是针对单个组件或特定系统开发和训练的，反映了设计、传感设置和运行条件的差异[[24 (https://arxiv.org/html/2606.05481#bib.bib24),40 (https://arxiv.org/html/2606.05481#bib.bib40),63 (https://arxiv.org/html/2606.05481#bib.bib63)]]。然而，在实际部署中，这些模型必须在同一组织内的多资产和多组件系统上运行。资产在年龄、配置和运行制度上经常不同，其行为可能因使用模式、维护策略或环境条件的变化而随时间演变[19 (https://arxiv.org/html/2606.05481#bib.bib19)]。持续为每个组件、资产或配置重新训练和重新验证单独的模型成本高昂且难以扩展，特别是在安全关键应用中。这种可扩展性的缺乏仍是工业中更广泛采用先进PHM方法的主要障碍之一。因此，能够跨资产泛化并适应新条件而无需反复重新训练的学习方法具有很高的实际相关性。 在这些约束下，上下文学习提供了一种替代从头训练模型的方法[[13 (https://arxiv.org/html/2606.05481#bib.bib13),36 (https://arxiv.org/html/2606.05481#bib.bib36)]]。基础模型不更新模型参数，而是在推理时通过在一小组任务特定示例上进行条件化来调整其行为[66 (https://arxiv.org/html/2606.05481#bib.bib66)]。这种机制特别适合PHM应用，其中标记数据有限，系统行为因资产而异，且需要快速适应不断变化的运行条件。通过在不进行重新训练或参数更新的情况下实现任务适应，上下文学习减少了部署和维护开销，同时保持与已有PHM工作流程的兼容性。 虽然最近已经提出了时间序列基础模型并将其扩展到上下文学习[1 (https://arxiv.org/html/2606.05481#bib.bib1)]，但它们在工业PHM中的适用性受到数据假设和任务公式的限制[[41 (https://arxiv.org/html/2606.05481#bib.bib41),56 (https://arxiv.org/html/2606.05481#bib.bib56)]]。这些模型通常是为预测任务设计的，其目标是预测未来一段时间内的信号值[[59 (https://arxiv.org/html/2606.05481#bib.bib59),12 (https://arxiv.org/html/2606.05481#bib.bib12),37 (https://arxiv.org/html/2606.05481#bib.bib37)]]，有效的适应依赖于具有稳定动力学、一致传感器可用性以及通道间良好对齐采样长度的连贯时间序列。相比之下，预测问题通常被构建为回归任务，例如根据当前系统状态估计健康指标或剩余使用寿命，通常没有完整的连续退化轨迹。此外，在工业PHM环境中，工况监测数据常常不规则，受缺失值影响，并因维护操作或运行条件变化而中断。这些因素限制了时间序列基础模型的适用性，尤其是在预测应用中。 同时，缺乏连续的运行至失效轨迹促使了基于系统状态快照而非完整失效时间轨迹的学习范式。在实践中，PHM模型通常依赖于由聚合传感器特征、状态指标和上下文变量组成的表格表示[[50 (https://arxiv.org/html/2606.05481#bib.bib50),65 (https://arxiv.org/html/2606.05481#bib.bib65)]]。这种表示允许信息跨时间和资产进行池化，对维护操作造成的中断具有鲁棒性，并且不需要传感器之间的严格时间对齐。这在工业环境中尤其重要，因为传感器信号通常表现出不同的采样率、异质的时间动态和不同的可靠性水平，而且数据流经常因传感器故障、通信问题或仪器变化而出现缺失值[[24 (https://arxiv.org/html/2606.05481#bib.bib24),40 (https://arxiv.org/html/2606.05481#bib.bib40),63 (https://arxiv.org/html/2606.05481#bib.bib63)]]。在序列模型中处理这些特征通常需要额外的假设、重采样或插值策略，而表格表示和模型可以更自然地容纳不完整、不规则和异质的观测。 在这种环境下，表格基础模型结合上下文学习为传统的端到端训练范式提供了强大的替代方案[[26 (https://arxiv.org/html/2606.05481#bib.bib26),27 (https://arxiv.org/html/2606.05481#bib.bib27),38 (https://arxiv.org/html/2606.05481#bib.bib38)]]。通过跨任务和资产利用单个预训练模型，这些方法减少了重复的特定架构超参数优化的需求；剩下的调整主要集中在表格形状的选择上，如回溯长度、特征构建和上下文大小。适应变化的运行条件、变化的传感器可用性或新的资产可以通过推理时的上下文示例来实现，而无需进行参数更新，从而避免了昂贵的重新训练周期，简化了部署和生命周期管理。 ## 2 相关工作 ### 2.1 时间序列基础模型 近年来，更广泛的机器学习领域见证了*基础模型*（FMs）作为强大的通用架构的出现，对多个科学学科产生了深远影响[66 (https://arxiv.org/html/2606.05481#bib.bib66)]。FMs是在多样化和异构数据集上预训练的大型神经网络；这种前所未有的预训练规模赋予了它们涌现的通用能力，使它们能够学习通用的、可迁移的潜在表示和先验知识，这些可以在不同任务和数据集之间复用。尤其是在自然语言处理中，这通常允许FMs在只需极少任务特定适应的情况下超越领域专用模型[43 (https://arxiv.org/html/2606.05481#bib.bib43)]。 在时间序列分析领域，人们对重现这一成功——即通用时间序列基础模型——表现出了浓厚的兴趣。这些模型的推理过程通常与大语言模型类似：连续时间测量被采样，然后嵌入为离散的高维令牌，再输入由自/交叉注意力层和多层感知机组成的深度学习模型。时间序列基础模型（TSFMs）将时间序列Transformer架构扩展到任务特定设计之外，以实现跨数据集和领域的零样本或少样本泛化。通常，TSFM的研究可以分为三类[41 (https://arxiv.org/html/2606.05481#bib.bib41)]。一类关注将语言模型重新用于时间序列任务，例如Time-LLM[30 (https://arxiv.org/html/2606.05481#bib.bib30)]。这里，时间序列被转换为单词结构，分割成补丁，并作为语言基础模型的输入令牌。第二类利用在大量不同数据上的预训练。不同作品要么专门在实际数据上训练[59 (https://arxiv.org/html/2606.05481#bib.bib59)]，要么仅在合成数据上训练[14 (https://arxiv.org/html/2606.05481#bib.bib14)]，要么结合实际测量值和合成生成的样本[12 (https://arxiv.org/html/2606.05481#bib.bib12),2 (https://arxiv.org/html/2606.05481#bib.bib2)]。第三类通过在领域相关数据集上直接训练来创建特定领域的TSFM，例如用于生物医学文献的BioBert[33 (https://arxiv.org/html/2606.05481#bib.bib33)]或用于电力系统任务的PowerPM[54 (https://arxiv.org/html/2606.05481#bib.bib54)]。他们的想法是提高特定领域任务的性能，尽管降低了泛化能力。 大多数TSFM作品专注于单变量预测，将每个时间序列独立处理[17 (https://arxiv.org/html/2606.05481#bib.bib17)]，因此没有有效利用多变量时间序列输入的协方差依赖关系。一些出版物试图通过展平操作[59 (https://arxiv.org/html/2606.05481#bib.bib59)]或子采样[37 (https://arxiv.org/html/2606.05481#bib.bib37)]从多元序列构建新序列来缓解这一影响。最近的研究认识到上下文学习在协变量信息集成方面的潜力，并逐渐转向TSFM的上下文学习[1 (https://arxiv.org/html/2606.05481#bib.bib1)]。 ### 2.2 表格基础模型 表格基础模型（TFMs）最近作为基于Transformer的FMs出现，用于处理二维数据，包括表格和关系数据库。TFM通过利用相邻行和列的上下文信息来预测表格中的单元格，从而能够填充缺失值、外推行和列以及检测异常。这是通过在大量表格数据上训练，结合捕捉行级和列级依赖关系的二维注意力机制实现的。这些能力有效地使TFM成为表格类数据的通用模式识别器，并在多个表格预测任务上取得了最先进的性能。TFM在注意力机制的实现方式以及训练数据的性质上有所不同，导致文献中有多种实现。*Tabular Prior-Fitted Network*（TabPFN）[[26 (https://arxiv.org/html/2606.05481#bib.bib26),27 (https://arxiv.org/html/2606.05481#bib.bib27)]]，通过对原始表格数据应用注意力来模拟表格上的贝叶斯推理，并在大规模因果生成的合成数据集上训练；*TabDPT*结合了合成和实际数据集以提高泛化能力和一次性能力[38 (https://arxiv.org/html/2606.05481#bib.bib38)]；*TabICL*使用统计行嵌入来压缩表格，实现了无需微调即可扩展到数十万样本的能力[45 (https://arxiv.org/html/2606.05481#bib.bib45)]；*Carte*以图结构方式嵌入表格，以提取特征列之间的语义连接[31 (https://arxiv.org/html/2606.05481#bib.bib31)]。 TFM的成功使得这些模型被用于各种二维信号，包括多变量时间序列。这通常通过将时间序列表示为表格并将时间标记嵌入为额外的特征列来实现。[28 (https://arxiv.org/html/2606.05481#bib.bib28)]